la construccion de indicadores validos en la investigacion
TRANSCRIPT
-
7/23/2019 La Construccion de Indicadores Validos en La Investigacion
1/16
InvestigarlaComunicacinhoyRevisindepolticascientficasyaportacionesmetodolgicas
Actas del 2 Congreso Nacional sobre Metodologa de la Investigacin en Comunicacin
ISBN: 9788461641246
Pgin
a429
LACONSTRUCCINDEINDICADORESVLIDOSENLAINVESTIGACINENCOMUNICACIN
Belindade
Frutos
Torres
UniversidaddeValladolid.CampusPblicoMaraZambrano,[email protected]
ResumenElprocesodemedicinen la investigacincuantitativaaplicadaa lascienciassocialesesunade lascuestionesclavesen lametodologaa laquenosiemprese lededica laatencin debida.Enelmbitodelainvestigacinaplicadaacomunicacintendemosaconfiar en escalas creadas para medir actitudes, en buscar indicadores de
comportamiento
respecto
a
usuarios,
o
en
medir
los
efectos
de
los
mensajes
sinanalizar el proceso de medida, es decir, el procedimiento por el que el indicador
elegidoo los indicadoreselegidosestnrepresentandoadecuadamentea lavariable,conceptooconstructobajoestudio.Tomandocomopuntodepartida la teorade lamedidaplanteadaporRossiter(2011)quecriticaelmodelopsicomtricotradicional,eltrabajoplantealanecesidaddegarantizarlavalidezdeconstructoenlaconstruccinyuso de indicadores aplicados a las ciencias sociales,en particular en el mbito de lacomunicacin. Para ello se propone una tcnica de valoracin interjueces como unprocedimientoquegraciasalaindependenciadelasevaluacionespermitagarantizarlavalidez de constructo de los indicadores. As mismo se analiza la importancia de
garantizar
la
validez
de
la
escala
de
respuesta
a
fin
de
que
se
ajuste
lo
ms
adecuadamenteposiblealtipoderespuestadelosusuarios.
Palabrasclave:Procesodemedida, teorademedidaencienciassociales,validezdecontenido,validezderespuesta.
1. Introduccin
Unode losaspectosms importantesen lametodologade investigacincuantitativaes el proceso de medicin. La caracterstica principal de las tcnicas cuantitativas esprecisamente,ycomosupropionombreindica,cuantificaromediarlasvariablesbajoestudio. El proceso mediante el que se realizar una asignacin numrica al evaluarcadavariableseconocecomocuantificacin.Lamedicinoasignacinnumricaenelproceso de investigacin ha de seguir unas reglas explcitas, que indican lacorrespondencia entre el nmero asignado y alguna propiedad o caracterstica delobjeto de medicin. Como indican Wimmer y Dominick (1996, pp. 51) las reglasmediante lasquesehanasignado losnmerosson laclavedelsistemademedida,siestasfallanoresultandefectuosastodoelsistemafallara. Enalgunoscasoslareglaesbastanteexplcitayelprocesodemedicinevidente,siquieroconocer larelacinentre laedadyelvisionado depelculas deaccin, puedomedir la primeravariable
-
7/23/2019 La Construccion de Indicadores Validos en La Investigacion
2/16
InvestigarlaComunicacinhoyRevisindepolticascientficasyaportacionesmetodolgicas
Actas del 2 Congreso Nacional sobre Metodologa de la Investigacin en Comunicacin
ISBN: 9788461641246
Pgin
a430
registrando laedadcronolgicaexpresadaenaosde laspersonasbajoestudio.Sinembargo,encomunicacinmuchasvariableshacenreferenciaaprocesospsicolgicosdonde no resulta tan evidente esta correspondencia. La credibilidad de un mensajepublicitario o la preferencia hacia los contenidos audiovisuales del gnero de accin
son
ejemplos
de
variables
que
requieren
un
proceso
ms
complejo
para
su
medicin,
puestoqueimplicanprocesosinternosquenoseevidenciandeformatangible.Enestecaso, la metodologa de las ciencias sociales ha confiado en el desarrollo de escalasparamedirconstructospsicolgicosquenopodanserobservablesexternamente.Eldesarrollo de dichas medidas asume que para evaluar el proceso psicolgico lo msapropiado es confiar en la informacin que proporcionan los propios individuos,puestoquenohay indiciosexternosdelconceptobajoestudio.Paraelloseformulanpreguntasoafirmaciones,en lamayorpartede loscasos,quepermitanconocersusrespuestasyqueasuvezsecuantificanmedianteescalas. EnelmbitodelascienciassocialeselmtododeescalamientoquemsseutilizaeslaescalapropuestaporLikert,en el que ante una afirmacin las personas que responden declaran su grado deacuerdocon laafirmacinpresentada.Larespuestasegradaconcinconiveles:muydeacuerdo,deacuerdo,neutral,desacuerdoomuydesacuerdo;demodoqueacadanivel se le asigna un nmero que suele ir del 1 al 5. Otra de las tcnicas deescalamientomsutilizadasenlainvestigacineseldiferencialsemnticodeOsgood,queadiferenciadelaanteriortienecomoobjetivomedirelsignificadoqueparacadaindividuo tiene determinado asunto (Osgood, Suci y Tannenbaum, 1957). El aspectomscaractersticodeesta formadeescalamientoesque la respuestaserecogenenuna escala bipolar con un nmero impar de tramos 5 7 en cuyos extremos sedisponen adjetivos del tipo: agradable/desagradable, honesto/deshonesto,justo/injusto,etc. ThusthoneyGuttamnpropusieronotras tcnicasdeescalamiento
algo
ms
complejas
en
su
procedimiento,
que
no
han
sido
tan
utilizadas
posteriormenteporlaliteraturacientficaWimmeryDominick(1996).
2. Fiabilidadyvalidezenelprocesodemedida
Laaplicacindeunaescalanogarantizaelxitoenelprocesodemedicin.Lateorapsicomtrica ha sido dominante en la medicin aplicada a las ciencias sociales yplantea la necesidad de garantizar la fiabilidad y validez en los instrumentos demedida.Antesdeanalizarcmoseplanteanambaspropiedadesdebemosanalizardos
supuestosde
la
teora
psicomtrica.
El
primer
supuesto
de
la
teora
clsica
de
test,
segnfueplanteadaporSpearman(1904), asume queelresultadode laevaluacinconun instrumentodemedia (Observacin)eselresultadodesumar lapuntuacinverdadera del individuo en la variable bajo estudio ms un error aleatorio. Estoserroresaleatoriosocurrenduranteelprocesodemedicin, seatribuyenaalevaluadory pueden deberse a circunstancias del momento de la evaluacin (ej. Cansancioacumulado, tendencia a marcar el punto medio en las escalas bipolares, adivinar larespuesta deseada, omitir respuestas, por enumerar algunas de las fuentes dedistorsinreconocidas).Lateoraclsicadetestreconocelaexistenciadeestetipodeerroressibienalteneruncarcteraleatoriosumancerositenemosunbuennmero
detems
ycalculamos
la
puntuacin
media
observada.
De
aqu
se
deriva
un
segundo
supuesto, para poder inferir la puntuacin verdadera es necesario obtener varias
-
7/23/2019 La Construccion de Indicadores Validos en La Investigacion
3/16
InvestigarlaComunicacinhoyRevisindepolticascientficasyaportacionesmetodolgicas
Actas del 2 Congreso Nacional sobre Metodologa de la Investigacin en Comunicacin
ISBN: 9788461641246
Pgin
a431
puntuacionesobservadas,elloimplicadesarrollarunaescalaformadaporvariostemsdirigidosamedirelobjetoycuyovalorpromedioreflejarlapuntuacinverdadera.
Lafiabilidadesunapropiedadquerecogelaestabilidadycoherenciadel instrumentode medicin. Elplanteamiento esque si se mide, porejemplo, la actitud haciaunamarca,elresultadoobtenidoseaconsistenteeneltiempo,esdecir,quesisevuelvearepetirlamedicinenuntiempoprudencialseobtendrn resultadossemejantes.Noobstantelateorapsicomtricaadmitequepuedehaberunavariacinoerrordeunaocasin de medicin a otra. Por lo tanto, si consigo desarrollar un instrumento demedidaquemeaportapuntuacionesyestssonestableseneltiempo,podrafirmarqueelinstrumentoquehedesarrolladoesfiable,esdecir,consistenteeneltiempo.EnlaprcticalafiabilidadsemideconelndicedeconsistenciainternaocoeficientealphadesarrolladoporCronbach,ypocasocasionesse informadeunapruebadetestrest.El ndicealphadeCronbachreflejaelgradoderelacinentre los temsdesarrolladospara medir la misma variable o constructo, es decir, su correlacin. Por tanto, esteindicadordebera interpretarsecomoelgradodecoherenciade lostemsentres.Enlaprctica,elndicealphaseutilizaparadepurarlostemsquecomponenunaescala,eliminandoaquellosquetienencorrelacionesbajasconelrestode lostems.Ademsnopuedeaplicarsesislohayunindicadorparamedirunavariable.
Continuando con las propiedades psicomtricas de los instrumentos de medida, lafiabilidaddeunaherramientaporssolanogarantizasuutilidad,puestoqueparasuuso es necesario garantizar tambin la segunda propiedad que es la validez. En una
primeraaproximacin
diremos
que
un
instrumento
es
vlido
si
evala
adecuadamente
suobjetivo, talpropiedadque fueenunciadaporKelly (1927),planteadeuna formabastantesencillaqueun instrumentoservlidosimide loquepretendemedir.Esdecir, se busca la correspondencia semntica entre la definicin conceptual de unconstructo y su medida. Wimmer y Dominick denominan a este tipo como validezaparente, planteandoquesedacuandoexaminandoelinstrumentodemedicindalaimpresinasimplevistaquemideloqueparecemedir(WimmeryDominick,1996,pag.61). Lapsicometranoobstantesehaocupadodecuantificarempricamente lavalidez a travs del comportamiento de las mediciones con otras ya existentes, demodo que la validez se establece a travs de la validez predictiva, la validez
discriminantey/o
la
validez
concurrente.
Ninguna
de
ellas
se
dirige
de
forma
directa
a
las propiedades de medicin del instrumento respecto al constructo que pretendemedir.Siexaminamos,porejemplolavalidezpredictiva,estaevalaelgradodeajusteentre las puntuaciones obtenidas por el instrumento de medida y los resultadosobtenidos en otra variable. Por ejemplo, podramos ver la validez predictiva de laactitudhaciaunamarcay lacompraposteriordeunproductopertenecienteadichamarca. ComoWimmeryDominick(1996)sealanlavalidezpredictivaindicaelgradode relacincon otra variable, queen estecaso esde tipocomportamental,pero nogarantizasimide adecuadamenteel concepto quese desea medir. Lomismo puedeplantearse con la validez concurrente, esto es, la correlacin entre el instrumento y
otras
medidas
o
elementos
de
comparacin;
o
con
la
validez
discriminante,
que
-
7/23/2019 La Construccion de Indicadores Validos en La Investigacion
4/16
InvestigarlaComunicacinhoyRevisindepolticascientficasyaportacionesmetodolgicas
Actas del 2 Congreso Nacional sobre Metodologa de la Investigacin en Comunicacin
ISBN: 9788461641246
Pgin
a432
verificaenqumedidaelinstrumentodiscriminarespectoaotrasvariablesconlasquetericamentenoguardarelacin.
La importancia de la validez de contenido es crucial en todo proceso de medicin
emprica,
a
pesar
de
que
un
instrumento
pueda
alcanzar
los
estndares
de
fiabilidad
o
haya sido utilizado en anteriores trabajos de investigacin publicados es necesariogarantizar la validez de contenido. Con bastante frecuencia los investigadorestendemos a utilizar las mismas medidas que en otros trabajos de investigacinpublicadosdandoporhechosuvalidezparanuestrosobjetivosdeinvestigacin.
3. ElmodeloCOARSE
Elpresentetrabajoafrontacmodesarrollarinstrumentosdemedidaqueasegurenlavalidez de contenido, para ello vamos a seguir el modelo COARSE formulado por elprofesor Rossiter (2002, 2010). La propuesta de Rossiter plantea la construccin deinstrumentos de medida basados en la argumentacin racional o deduccin lgicapartiendo de la conceptualizacin terica, a diferencia de la tradicional psicometraque se apoya nicamente en las pruebas empricas. Esta teora no se planteanecesariamente comounaalternativa a los indicadores psicomtricosde fiabilidad yvalidez, sino como un complemento a dichos indicadores, en este sentido, la teoradebeconsiderarsecomounpasoprevio.
ParaRossiter(2002,2010)slolavalidezdecontenidoesimportanteparaeldesarrollodeunaescala,puestoqueestetipodevalidezaseguralarelacinentreelconstructoy
la
medida
que
se
ha
desarrollado
para
su
medicin.
Posteriormente,
desde
la
psicometra se puede comprobar la relacin entre la medida y las puntuacionesobtenidas. Para este autor, slo podemos validar la correspondencia entre unconstructo y su medida, en el sentido de que sea apropiada y representativa delconstructo que pretende medir. Otros aspectos de la validez como la capacidadpredictivaodiscriminativadeunaescalanotienesentidosuaplicacinentantoqueseestutilizandounreferenteajenoalpropioconstructodepartida.Tampocolavalidezdeconstructotienesentidoaplicarlaenlamedidaenqueestesedesarrollaapartirdeunateoraydeberaserdesdeesemarcodondesedeterminarasiesapropiadoono(Rossiter,2002).
El primer paso en la construccin de un instrumento de medida es la definicin delconstructo,queimplicasudefinicinentrminosdelobjetoquevaaserevaluado,elatributo que va a ser evaluado y la entidad del evaluador. En ciencias sociales elconstructoesunaentidadcreadaporlosinvestigadores,queseinfieresuexistenciaapartirdesusmanifestacionesosusefectos,peroquenopuedeversedirectamente.Apesar de que la definicin de un constructo sea una abstraccin su definicin y suscomponentes deben ser reales y concretos. Para la validez de contenido, no slodebemos asegurar la correspondencia semntica entre el objeto de estudio y sudefinicin, tambin se debe asegurar la correspondencia de la forma en la que
recogemosla
respuesta,
de
forma
que
esta
sea
relevante
para
el
evaluador,
de
otro
modoestaramoscometiendounerrorsistemticoasociadoalinstrumentodemedida.
-
7/23/2019 La Construccion de Indicadores Validos en La Investigacion
5/16
InvestigarlaComunicacinhoyRevisindepolticascientficasyaportacionesmetodolgicas
Actas del 2 Congreso Nacional sobre Metodologa de la Investigacin en Comunicacin
ISBN: 9788461641246
Pgin
a433
Por lo tanto para que una medida sea vlida debe cumplir con las siguientespropiedades:
High
item
content
validity:
This
means
that
the
semantic
content
of
the
questionpartofthetemcorrespondscloselywithaconstituentorcomponentof the object in the conceptual definition of the construct and with acomponentoftheattribute intheconceptualdefinitionunlesstheattribute isintheanswerpart.High answercontent validity: This means that the semantic content of theanswer part of the item allows the rater to see only the main answersalternativesthatheoshehasinmind,andtoeasilychooseoneanswerthatfitshis or her true score. The answer part of the scale is always an attribute.(Rossiter,2010:14).
Figura.1.RepresentacingrficadelateoradeRossiter(2010)
Segn plantea este autor en el proceso de medicin estn implicados, adems delpropioconstructo lossiguienteselementos:
Elobjeto
que
vamos
aevaluar
oconjunto
de
tems
que
hemos
desarrollado
para
ser
evaluados.
Elatributoenelquevamosacentrar laevaluacin,esdecir, ladimensinen laquequeremosqueseevaledichoobjeto.
Elevaluador,esdecir,lapersonaquevaa llevaracabolaevaluacin.Puedetratarsedeunexperto,uncodificador,undirectivo,unconsumidorounindividuo.
Eltipodetemsylaescaladerespuestaquesevaautilizar.
-
7/23/2019 La Construccion de Indicadores Validos en La Investigacion
6/16
InvestigarlaComunicacinhoyRevisindepolticascientficasyaportacionesmetodolgicas
Actas del 2 Congreso Nacional sobre Metodologa de la Investigacin en Comunicacin
ISBN: 9788461641246
Pgin
a434
Las reglas de asignacin numrica, es decir, cmo cuantificar las puntuacionesrecogidasporlaspersonasqueresponden.
Veamoscondetenimientoelplanteamientodeestateora,paradespus llevarauna
aplicacin
prctica
en
el
proceso
de
creacin
de
una
herramienta
para
medir
valores
publicitarios enjvenes. Una primera recomendacin que realiza Rossiter (2010) esdistinguir el tipo de objeto bajo anlisis, diferenciando entre objetos concretos oabstractos. Cuando el objeto a evaluar es un estmulo concreto este debe serrepresentadodeformaconcretaparasuevaluacin.Unejemplode estmuloconcretopuedeserunapelcula,unaseriedetelevisinounservicio.Enelcasodeproductosconcretos cuanto ms directa es la evaluacin ms exacta ser la medida, de modoque cuando el objeto tiene una representacin icnicapor ejemplo un productoreconocibleporellogotipodelamarcaalaquepertenece debeserrepresentadodelamismamaneraparaasegurarlaexactituddelaevaluacin.
Otratipologadeobjetosaevaluarsonlosdetipoabstractodetipocolectivo,enestacategora encontramos a categoras de objetos que constituyen una abstraccincolectiva,peroestasehaformadoapartirderealidadesconcretas.Unejemplodeestacategoradeobjetoslaencontramosenlatelevisin,elmedioesunaentidadabstractaperoqueseconcretaencanalesquesonconcretos.Sienunainvestigacinqueremosconocerlavaloracindelatelevisin,nosreferimosa lacategoraabstracta,enestoscasos, para asegurarnos que en la valoracin sea lo ms exacta posible debemosasegurarqueenlavaloracinincluimosunamuestrarepresentativadeentidadesquepertenecientesalacategora.Sinosecuentaconunnmerosuficientementeamplioyvariadodeentidadespertenecientesalacategoracorremoselriesgodellevaracabo
unaevaluacin
estereotipada.
La
tercera
yltima
tipologa
de
objetos
de
evaluacin
se refiere aentidadesabstractascreadas (Abstractformedobjects),queson las msdifcilesdeevaluaren tantoencuantopertenecenaentidadesabstractasquenosehancategorizadoapartirdeentidadesconcretascomoenelcasoanterior,sinoqueson entidades creadas que tienen componentes que constituyen los principalessignificadosdelobjeto.Elcasoesmsclarodeestetipodeentidadesloencontramosen la evaluacin de los valores, el tipo de objeto que se pretende medir en estetrabajo. Es evidente que los valores son entidades abstractas, que pueden definirsecomo las metas duraderas que una persona se plantea en la vida. En este caso, elinvestigadordebeserexplcitosobresusignificadoyelprincipalsignificadodebeser
incluido
en
la
medida,
como
parte
del
objeto
a
evaluar.
Este
debe
ser
lo
suficientementeexplcitoparaquesecomprendaadecuadamentepor lapersonaquevaaresponder.
Lasegundadimensindelavalidezvienedelformatodelarespuesta.Aligualqueenlaconstruccindeunaescaladebemosasegurarsucorrespondenciasemnticaconelconstructo o concepto que se pretende medir, debemos asegurarnos de que elformatode larespuestasecorrespondeconelatributoquesedeseamedir.Enestesentido, la primera recomendacin es analizar el tipo de atributo que est siendoevaluadodemodoqueelformatoderespuestaoeltipodeescalapropuestoseajuste
lomximo
posible.
Si
por
ejemplo,
tratamos
de
evaluar
la
percepcin
de
una
serie
de
atributosenunamarca,estamosanteunaevaluacindecreenciassobrelapresenciao
-
7/23/2019 La Construccion de Indicadores Validos en La Investigacion
7/16
InvestigarlaComunicacinhoyRevisindepolticascientficasyaportacionesmetodolgicas
Actas del 2 Congreso Nacional sobre Metodologa de la Investigacin en Comunicacin
ISBN: 9788461641246
Pgin
a435
nodeun atributo determinado, paraRossiter (2010) se trata de un objeto concreto(CONCOB) y un atributo perceptual (CONCPERC), por lo tanto, lo ms adecuado esutilizar una medida binaria, es decir, que el evaluador asigne si el atributo estpresenteenelobjetoono. Lomismopodradecirsesi loqueestamosevaluandoun
rasgo
de
personalidad,
el
evaluador
(encuestado)
se
sentir
identificado
o
no
con
ese
rasgo de personalidad. Rossiter recomienda elegir un formato de respuesta que searealmente discriminante, en este caso, lo verdaderamente discriminante es ladireccin que toma la respuesta (aceptacin o rechazo), de modo que lo msapropiadoseraunarespuestadicotmicadeSNo,siendoestetipoderespuestasmsprecisasyestables. En investigacinsocialnormalmenteacudimosa lasescalaspara posicionar la respuesta, asumiendo que graduar la respuesta llevar a unamedicinmsprecisa.Elplanteamientoesquesimplementeaadirmsposibilidadesde respuesta no va incrementar la precisin de la medida, al contrario, puedeconvertirseenunafuentededistorsin.Las fuentesdesesgoenelescalamientosonbienconocidas,destacamosporejemplo latendenciaasealarelpuntomediode laescala (si es impar), la aquiescencia o tendencia a estar de acuerdo con todas lasafirmaciones o la tendencia a responder de forma extrema. La ventaja de lasevaluaciones bipolares es que se eliminan las diferencias individuales a la hora dedimensionar la intensidad de la respuesta. Las escalas tienen sentido si se estmidiendo por ejemplo un test de habilidad, y entonces, es interesante graduar laspuntuacionessegnelniveldehabilidad.
Otra tipologade temsson losquese refierena laevaluacindecreencias,enestecaso,elatributoqueestsiendoevaluadonoessiunrasgoestpresenteoausente,sinohacerunaevaluacindelmismoytienesentidoqueelevaluadorcuantifiquesu
intensidad,
el
caso
ms
frecuente
de
este
tipo
de
atributos
son
las
actitudes.
El
componente de la actitud es una valoracin positiva o negativa hacia el objeto oentidadqueestsiendoevaluada.Elformatoderespuestaenestecasotienesentidoque sea bipolar (negativa o positiva), y para ello se puede ayudar de las escalas derespuestatipoLikert,cuyosextremossecorrespondenconelcalificativodeMuydeacuerdo Muyendesacuerdo.Anenestoscasosdondese recomiendaelusodeescalasbipolareslagradacindelarespuestanosetraducenecesariamenteenmayorfiabilidad ni validez. Segn demostr Pebody (1962) la mayor variabilidad de laspuntuaciones obtenidas en una escala bipolar proceden de la direccin que toma laevaluacin (positiva o negativa), siendo muy poca la variabilidad que se debe a las
diferenciasen
intensidad
de
las
respuestas.
Otro
resultado
bastante
ilustrativo
sobre
la artificialidad de la medida lo aportan Swain, Waeathers y Niedrich (2008),demostrandoque los temsredactadosensentido inversoenunaescalatipoLikertque habitualmente son la mitad de los tesms son tan confusos para los queresponden,quegeneralmenteseagrupanen un segundo factordelanlisis factorialcompletamenteartificial,unresultadoquehepodidocomprobarenmiexperienciaeneldesarrolloyanlisisdeescalasdeactitudes.
4. Procedimiento
-
7/23/2019 La Construccion de Indicadores Validos en La Investigacion
8/16
InvestigarlaComunicacinhoyRevisindepolticascientficasyaportacionesmetodolgicas
Actas del 2 Congreso Nacional sobre Metodologa de la Investigacin en Comunicacin
ISBN: 9788461641246
Pgin
a436
Siguiendo losaspectosenunciadosenelplanteamientodeltrabajoacontinuacinsedescribeelprocedimientoutilizadoparadesarrollar laherramientadirigidaaevaluarvalores publicitarios enjvenes (Snchez y Frutos, 2011). Al tratarse de un tipo deobjeto creado y de carcter abstracto se consider oportuno dos cuestiones en el
proceso,
la
primera
es
que
la
bsqueda
de
significados
o
tipologas
de
valores
deban
serrelevantespara laspersonasqueactuarancomoevaluadores,porelloseapostporunprocesodeabajoarriba.Elsegundoaspecto importanteeraasegurarque losindicadores creados fueran explcitos sobre su significado, para ello se recurri alconsensointerjueces.
Rossiter(2010)recomiendaacudira lospropiossujetosconpreguntasabiertassobresus metas, objetivos o propsito de la vida, para identificar los valores yposteriormenteserclasificadoenlasdistintastipologas.En laescalaquesepresentaen este trabajo se recurri a un trabajo de investigacin previo que de formasistemticahabarecogidolatipologadevalorespresentesenlapublicidaddirigidaajvenes, que era el grupo al que se dirige nuestra investigacin. La forma deidentificacinde losvaloresesrelevantepuestoquedeberepresentareluniversodevaloresometasfinalistasdelaspersonasquevanarealizarlaevaluacin.EltrabajodeSnchez,MegasyRodrguez(2004)seadecuaaesteprocesopuestoquelaextraccindeafirmacionessobremetasuobjetivosen lavida fueronobtenidosapartirdeunamuestra de campaas publicitarias dirigidas ajvenes procedentes de televisin,publicidad exterior y prensa. El conjunto de valores estaba formado por 30afirmaciones sobre metas u objetivos finalistas que se haban agrupado en ochocategoras: valores ligados al pragmatismo y la competitividad, valores idealistas,valoresvinculadosconlatransgresinylaaventura,valoresligadosalasociabilidado
decarcter
gregario,
valores
altruistas,
valores
hedonistas
ypresentistas,
valores
de
carcter normativo, y por ltimo, valores centrados en la imagen personal. Cadaafirmacindescribedeformaexplcitaeltipodemetauobjetivoenlavida,demodoquesuinterpretacinfueraexplcita. Apesardequelosvaloreshabansidoutilizadosenuntrabajoprevio,serealizunavalidacinde losmismosconunamuestrade34campaas publicitarias elegidas en internet, la valoracin se llev a cabo con tresjueces expertos que formaban parte del equipo de investigacin (Snchez y Frutos,2011).Unadelasclavesdeesteprocesodevalidacinesqueadiferenciadelestudiopreviode Snchez,MegasyRodrguez(2004),lavalidacininterjuecesserealizconuncriteriodicotmico,demodoqueeltipoderespuestaenevaluacinera0sielvalor
no
estaba
presente
y
1
si
este
estaba
presente.
El
hecho
de
utilizar
una
categora
dicotmica sin duda contribuy a alcanzar un alto grado de consenso interjueces,garantizando as lavalidez de lasafirmacionescuyo consenso promedio fuedel88%(Frutos,SnchezyVzquez,2012).
Con el objeto de garantizar la validez de la escala de respuesta y siguiendo con elmodelo COARSE se analiza el tipo de atributo sobre el que se va a realizar laevaluacin.Los valoressedefinencomounametaduraderaenlavida,bienporquesebuscaen lavida (valorespositivos)obienporqueseevita (valoresnegativos),por lotanto, el tipo de atributo bajo anlisis es la evaluacin positiva o negativa hacia el
objeto.Por
otra
parte,
el
evaluador
debe
pronunciarse
sobre
su
propia
percepcin
de
siseidentifica(aceptacin)onoconelvalor(rechazo). Paraevitarladistorsindela
-
7/23/2019 La Construccion de Indicadores Validos en La Investigacion
9/16
InvestigarlaComunicacinhoyRevisindepolticascientficasyaportacionesmetodolgicas
Actas del 2 Congreso Nacional sobre Metodologa de la Investigacin en Comunicacin
ISBN: 9788461641246
Pgin
a437
respuestaconescalasquegradan la intensidadde larespuestasehaoptadopor lamodalidad de respuesta de eleccin forzada. La presentacin de las afirmaciones serealizaentriadasyelevaluadordebeelegirlaafirmacinconlaquemsseidentifica(aceptacin)ylaafirmacinconlaquemenosseidentifica(rechazo).
Las tcnicas ipsativas o de eleccin forzada han sido utilizadas en la evaluacin deconstructospsicolgicosduraderos,comoporejemplolosrasgosdepersonalidad,porla relevancia de identificar la prevalencia de unos rasgos sobre otros. Una revisinsobreestetipodetcnicasponedemanifiestociertacontroversiasobresuusoporsudificultaddeaplicacinde losparmetrosestandarizadosdelasescalaspsicomtricas(Saville & Willson, 1991; Cornwell y Dunlap, 1994). El principal problema que hapresentadoestametodologaesquenosepuedenaplicarlosestndaresdefiabilidadyvalidez alnocumplirelsupuestode independencia de los temsque componen laescala.CornwellyDunlap(1994)planteanquesi lastcnicas ipsativasnosebasanenlateoraclsicadetest(observacin=puntuacinverdadera+error),notienemuchosentido tratar de estimar su error. Si es cierto que no tienen sentido utilizar laconsistencia internade laescala,alser laspuntuacionesobtenidasencada temcodependientes, pero ello no implica que no se pueda estimar su estabilidad en eltiempo a travs de una prueba de tesretest. Incluso varios autores han informadoreiteradamentedeunamayorestabilidadenlasescalasipsativasprecisamenteporsuformatoderespuestaforzada(Saville& Willson,1991;2011;Bartram,1996;).Ademsdelaestabilidaddelarespuesta, laverdaderaventajadeestetipodetcnicasestenelcontrolsobrealgunosde lossesgosquenormalmenteafectanaotrasmodalidadesde escalamiento como es la deseabilidad social, la aquiescencia o la tendencia apuntuarenelpuntomediodelaescala (SavilleandWillson,1991).Laeleccinforzada
deuna
respuesta
evita
la
tendencia
aestar
de
acuerdo
con
todas
las
afirmaciones
de
lasescala,aspectoqueesespecialmenterelevantealahoradeevaluarvaloresconlosque en alguna medida todas las personas se pueden sentir identificados. Al mismotiempo,elformatoderespuestaprevienede ladeseabilidadsocialpuestoqueelquerespondedebeelegirentrerespuestasqueenaparienciasonigualmentefavorablesodesfavorables. Por ltimo, al no tratarse de una escala de intensidad se evitan latendenciahaciaelpuntomediodelaescalaolasdiferenciasindividualesalahoradeinterpretarlaintensidaddelasrespuestas.
Por ltimo, antes de comentar los resultados analizaremos como se ha procedido a
asignarlas
puntuaciones
de
los
encuestados.
La
eleccin
de
cada
afirmacin
ha
sido
asignada la puntuacin de un punto positivo, mientras que el rechazo de cadaafirmacin ha sido asignada la puntuacin de un punto negativo. Las puntuacionesobtenidasencada tipologade valoresse hanobtenido trassumar laspuntuacionesobtenidasensus tems.En latabla1seapreciaqueelrangodevaloresobtenidossesitaentreloscuatropuntosnegativosyloscuatropuntospositivos.Elvalornumricoindicaelnmerodeocasionesen lasque losencuestadoshanrechazadooaceptadoalguna afirmacin perteneciente dicho valor. La escala de valores publicitarios seaplicaunamuestraformadapor320 jvenesentre15y20aosdeedad,alosquese contact a travs de sus centros de estudios (centros de enseanza media y
universidad).
-
7/23/2019 La Construccion de Indicadores Validos en La Investigacion
10/16
InvestigarlaComunicacinhoyRevisindepolticascientficasyaportacionesmetodolgicas
Actas del 2 Congreso Nacional sobre Metodologa de la Investigacin en Comunicacin
ISBN: 9788461641246
Pgin
a438
5.Resultados
El
anlisis
de
las
puntuaciones
se
centra
en
el
comportamiento
de
la
escala
frente
a
los
sesgosmsfrecuentesencienciassociales.Enlafigura2semuestranladistribucindelaspuntuacionesobtenidas.Sianalizamoslasimetradelaescala,esdecir,elrangodelaspuntuacionesporencimaypordebajodelpuntomedio,sepuedeapreciarquelascategoras de valores se encuentran muy equilibradas, slo en tres de las ochocategoras el ndice de asimetra es mayor que 0,5. Este resultado implica que losparticipantessehansituadotantoenelladopositivodelaescala(aceptacin)comoenel ladonegativode laescala (rechazo). Lascategorasdevaloresquehanmostradomenosequilibriohansidolanormativaconunaasimetranegativa,esdecir,hahabidomenorporcentajedecasosquehanrechazadolasafirmacionespertenecientesaestacategoraymayorporcentajedecasosquehanaceptadosusafirmaciones.Algosimilarocurreenlaescalaidealistaquetambinpresentaasimetranegativa,esdecir,mayorproporcindepersonasquesehanidentificadoconlasafirmacionesdeestacategora.La imagenpersonal tambinharesultado tenerasimetra,sibienenestecasoesdesigno positivo, de modo que ha habido mayor proporcin de personas que hanrechazadolasafirmacionespertenecientesaestacategoradevalores.
Tabla1.Distribucindelaspuntuacionesobtenidasenlaescaladevalorespublicitarios
Categorasdevalores
Competitivo
Transgr
esor
Altruist
a
Hedonista
Gregario
Normativo
Idealist
a
Imagen
personal
Puntuaciones %col. %col. %col. %col. %col. %col. %col. %col.
4,00 25,6 27,8 ,0 ,0 5,0 2,2 3,4 ,0
3,00 0 ,3 27,3 16,9 0 ,6 ,0 44,2
2,00 19,1 24,4 ,3 ,6 18,8 7,2 9,4 ,6
1,00 1,3 ,3 23,5 25,4 ,6 ,0 ,6 21,6
,00 17,5 15,6 ,6 1,3 27,6 19,1 22,8 ,3
1,00 ,3 ,9 19,1 35,7 22,6 ,0 29,1 19,4
2,00
21,6
13,8
,6
,6
0
26,0
,3
,9
3,00 ,0 ,3 28,5 19,4 ,0 1,3 ,0 12,9
4,00 14,7 16,6 ,0 ,0 25,4 43,6 34,4 ,0
N 320,0 320,0 319,0 319,0 319,0 319,0 319,0 319,0
Asimetra(estadsticoFdeFisher)
,121 ,360 ,025 ,172 ,189 ,897 ,655 ,581
Otrade lascuestionesanalizadases la tendenciaasituarseenelpuntomediode laescala. Segn se puede apreciar los participantes no se agrupan en torno al punto
mediode
la
escala,
slo
tres
categoras
han
agrupado
un
porcentaje
de
respuestas
elevadoenelpromedio,setratadelosvaloresdetipogregario,normativoeidealista.
-
7/23/2019 La Construccion de Indicadores Validos en La Investigacion
11/16
InvestigarlaComunicacinhoyRevisindepolticascientficasyaportacionesmetodolgicas
Actas del 2 Congreso Nacional sobre Metodologa de la Investigacin en Comunicacin
ISBN: 9788461641246
Pgin
a439
Tabla2.Distribucindelaspuntuacionesobtenidasenlaescaladevalorespublicitarios
Rechazo Neutral Aceptacin
%defila %defila %defila
Competitivo
9,3
73,1
17,6
Transgresor 27,9 55,4 16,7
Idealista 3,4 62,2 34,4
Normativo 2,8 52,9 44,3
Gregario 5,0 70,0 25,1
Hedonista 16,7 64,1 19,2
Altruista 26,9 44,9 28,2
Imagenpersonal 43,7 43,7 12,7
Porltimo,unareferenciaalaspuntuacionesglobalesdelasescalaspermitedescribircmo
se
identifican
los
participantes
con
los
valores
publicitarios.
En
la
tabla
2
se
muestran losresultadosde losparticipantessegnsu identificacinen lascategorasdevalores.Sehanclasificadoenelgrupoderechazoalosquehanobtenidoentre3 y4puntosnegativos;losquehanobtenidounapuntuacinentre3y4puntospositivosse han asignado en lacategora de aceptacin. Podramos decir que los valores quetienenmayoraceptacinsonlosnormativos(44,3%),seguidosdelosidealistas(34,4%)y los gregarios (25,1%). En contraste, hay mayor proporcin de participantes querechazanlosvalorescentradosenlaimagenpersonal(43,7%),latransgresin(27,9%)yelaltruismo(26,9%).Lainterpretacindelosresultadosdebecentrarseenelperfildelos participantes, en detrimento de las puntuaciones medias u otras medidas de
tendenciacentral,
debido
precisamente
ala
codependencia
de
las
elecciones.
6.Conclusiones
Eltrabajoabordadeunaformaexplcitaelprocesodeelaboracindeunaescalaparamedirvalorespublicitariosqueaseguren lavalidezdecontenidosiguiendoelmodeloCOARSE formuladoporelprofesorRossiter.Elprimeraspectode lavalidezsecentraen la construccin de los indicadores relevantes para el objeto de estudio que sepretende medir, en este sentido se ha apostado por un procedimiento explcito
partiendo
de
los
mensajes
publicitarios
que
ha
sido
consensuado
a
travs
de
la
valoracininterjuecesconunaltogradodeconsenso.
Paragarantizarlavalidezdelarespuestasehaoptadoporunformatoderespuestadeeleccinforzada,quesegn losresultadosobtenidos,hatenidounbuenrendimientofrente a los sesgos ms frecuentes en las tcnicas de escalamiento. As se hacomparadoquesehaevitadolatendenciadepuntuarenelpuntomediodelaescala,hecho que facilita la clasificacin de los participantes en sus preferencias hacia losvalores.Asmismo,sehamostradounaltogradodesimetraenlaspuntuacionesenlamayor parte de las escalas, evitando as la aquiescencia en las escalas que miden
valores.Por
ltimo,
la
escala
permite
clasificar
alos
participantes
segn
su
aceptacin
-
7/23/2019 La Construccion de Indicadores Validos en La Investigacion
12/16
InvestigarlaComunicacinhoyRevisindepolticascientficasyaportacionesmetodolgicas
Actas del 2 Congreso Nacional sobre Metodologa de la Investigacin en Comunicacin
ISBN: 9788461641246
Pgin
a440
o rechazo en las ocho categoras de valores publicitarios, indicativo de que esteinstrumentohasidodiscriminanteenelprocesodemedida.
Porltimo,elprocesodeconstruccinseveracompletadosiseevalalaconsistencia
de
la
escala
en
el
tiempo
a
travs
de
un
prueba
re
test,
que
permite
valorar
la
fiabilidad de la medida. Este aspecto se completar en la siguiente fase de lainvestigacin.
7.Bibliografayreferenciasmetodolgicas
BARTRAM,D.(2011)"Therelationshipbetween ipsatizedandnormativemeasuresofpersonality."JournalofOccupationalandOrganizationalPsychology69.1:2539.
CORNWELL, J. M., and DUNLAP, W. P. (1994). "On the questionable soundness offactoringipsativedata:AresponsetoSaville&Willson(1991)."JournalofOccupationalandOrganizationalPsychology67.2(1994):89100.
FRUTOS TORRES, B., SNCHEZVALLE, M. & BARRIO, T. (2012). Empirical analysis ofvalues on interactive advertisement aimed at a teenage audience. Comunicacin ySociedad,25(2),17x202.
KELLEY,T.L.(1927).Interpretationofeducationalmeasurements.Mcmillian:NewYork.Likert, R. (1932). A technique for the measurement of attitudes. Archives ofpsychology.140:155.
OSGOOD, C. E., SUCI, G. J., & TANNENBAUM, P. H. (1957). The measurement ofmeaning.Urbana:UniversityofIllinoisPress.
PEABODY, D. (1962). Two components in bipolar scales: Direction and extremeness.PsychologicalReview,69,65.
ROSSITER, J.R. "The COARSE procedure for scale development in marketing."InternationalJournalofResearchinMarketing19.4(2002):305335.
ROSSITER,J.
R.
(2010).
Measurement
for
the
social
sciences:
The
COAR
SE
method
and
whyitmustreplacepsychometrics.Springer.
SNCHEZ,L.,MEGAS,I.,&RODRGUEZ,E.(2004).Jvenesypublicidad.Valoresen lacomunicacin publicitaria para jvenes. Madrid: Fundacin de Ayuda contra laDrogadiccin.InstitutodelaJuventud.
SNCHEZVALLE, M., & FRUTOS, B. (2011). La convergencia de metodologas para elestudio de los efectos de la publicidad en medios interactivos. In III CongresoInternacionalLatinadeComunicacinSocial.
-
7/23/2019 La Construccion de Indicadores Validos en La Investigacion
13/16
InvestigarlaComunicacinhoyRevisindepolticascientficasyaportacionesmetodolgicas
Actas del 2 Congreso Nacional sobre Metodologa de la Investigacin en Comunicacin
ISBN: 9788461641246
Pgin
a441
SAVILLE, P. & WILLSON, E. "The reliability and validity of normative and ipsativeapproaches in the measurement of personality."JournalofOccupationalPsychology64.3(2011):219238.
SAVILLE,
P.
&
WILLSON,
E.
"The
reliability
and
validity
of
normative
and
ipsative
approaches in the measurement of personality."JournalofOccupationalPsychology64.3(1991):219238.SPEARMAN,C.(1904)."GeneralIntelligence,"ObjectivelyDeterminedandMeasured.TheAmericanJournalofPsychology,15(2),201292.
SWAIN S. D., WEATHERS, D. & NIEDRICH R. W. (2008). Assessing three sources ofmisresposetoreversedLikertitems.JournalofMarketingResearch,451:116131.
WIMMER,R.D.,&DOMINICKJ.R.(1996).La investigacincientficade losmediosdecomunicacin :Una introduccin a sus mtodos. Bosch comunicacin. Vol. 18.Barcelona:Bosch.
-
7/23/2019 La Construccion de Indicadores Validos en La Investigacion
14/16
InvestigarlaComunicacinhoyRevisindepolticascientficasyaportacionesmetodolgicas
Actas del 2 Congreso Nacional sobre Metodologa de la Investigacin en Comunicacin
ISBN: 9788461641246
Pgin
a442
Anexo1.AfirmacionesutilizadasparaexpresarlosvalorespublicitariosdesarrolladasapartirdeSnchez,MegasyRodrguez(2004)
TIPOLOGA AFIRMACIONES
Altruismo Colaborarconotraspersonascomotusobretodoensituacionesdifciles
Ayudardesinteresadamenteapersonasenapurosoquepasanpordificultadesdecualquiertipo
Apoyarylucharporlosmsnecesitados
Normativo Elesfuerzoylasuperacinpersonalparasuperarlasadversidadesylosobstculos
Prepararseparaelfuturoaunquecueste
Cuidarlasaludymantenerseenbuenaformafsica
Vivirenarmonaconlaspersonasqueterodeanymostrartuafectoatusseresqueridos
Gregario Conectarconpersonasquepiensancomot
Sentirseparte
de
un
grupo
con
el
que
compartes
experiencias,
aficiones
e
intereses
Ganarselaconfianzayelafectodesinteresadodelaspersonas
Sabersertumismoynodejartellevarporlaspresionesdetuspadres
Hedonismo Dejarsellevarporlosplaceresdelavida
Viviraldaydisfrutardecadamomentoporquenosabesquetedeparaelfuturo
Divertirseysaberdisfrutardeltiempolibreydelocio
Idealismo Tenerlibertadparaactuarypoderelegirloquequieres
Poderelegirenlasopcionesqueteofrecelavida
Seruno
mismo
yexpresar
tu
propia
personalidad,
tu
manera
de
ser
Serindependiente,tomartuspropiasdecisionesalmargendelosdems
Imagenpersonal
Cuidarlaimagenantelosdems
Sentirsefsicamenteatractivo
Saberseducir,tenergancho
Competitivo Tenerxitoprofesional,serreconocidoporlosdems
Iraportodasyconseguirserelmejor
Lucharparaganaryestarentrelosmejores
Podercomprarodisfrutardelascosasbuenasdelavida
Transgresor
Romperlos
moldes
yresistir
alas
presiones
del
entorno
Arriesgarseynodejarsellevarporloestablecido
Experimentarnuevassensacionesyemociones
Notenerqueajustarsealoestablecidoyaloqueesperandeti
-
7/23/2019 La Construccion de Indicadores Validos en La Investigacion
15/16
InvestigarlaComunicacinhoyRevisindepolticascientficasyaportacionesmetodolgicas
Actas del 2 Congreso Nacional sobre Metodologa de la Investigacin en Comunicacin
ISBN: 9788461641246
Pgin
a443
VALIDMEASUREMENTFORCOMMUNICATIONRESEARCH
BelindadeFrutosTorres
Universidadde
Valladolid.
Campus
Pblico
Mara
Zambrano,
Segovia
AbstractThemeasurementprocess inquantitativeresearchappliedtosocialsciences isakeyissue in methodology which not always devotes due attention. In communicationresearchoftenwetendtotrustonscalespreviouslycreatedtomeasureattitudes,totrustatusersperformanceindicatorsormeasuretheeffectsofthemessageswithoutanalyzingthemeasurementprocess. Itsquite frequentchoosean indicatorwithout
questioning
if
it
does
represent
the
variable,
concept
or
construct
under
study.
This
paper discusses the need to ensure the construct validity on the use of indicatorsappliedsocialsciences,particularly inthefieldofcommunication.TakingtheCOARSEtheory, proposed by Rossiter (2011), which criticizes the traditional psychometricmodel,weanalysesthekeyson themeasurementprocessandweproposean interrater evaluation process with independentjudges that would ensure the constructvalidityoftheindicators.Italsodiscussestheimportanceofensuringthevalidityoftheresponsescaletofitasbestaspossiblethetypeofuserresponse.
Keywords: measurement process, measurement theory in social science, contentvalidityandanswervalidity.
-
7/23/2019 La Construccion de Indicadores Validos en La Investigacion
16/16
InvestigarlaComunicacinhoyRevisindepolticascientficasyaportacionesmetodolgicas
Actas del 2 Congreso Nacional sobre Metodologa de la Investigacin en Comunicacin
Pgin
a444