NECESIDAD
ESTADO DEL ARTE
NUEVOS AUTORES
GLOBAL Gracian
WILKINSON
HARRIS
SMITH
AMBRE
Health Summit Working Group
LUZ
Fund. health on the net
1997 1997 1997 1997 1997 1999 2000 2000GENERAL Visitas
Comunicados
Productos cientif icos
ACCESO Acceso
Facilidad de encontrarla
Audiencia
Costo
De propiedad intelectual
DISEÑO Problemas o limitaciones
Calidad y oportunidad
Navegación
Estructura y organización
Legibilidad de textoFormato y presentación
Facilidad de mantenimiento
Facilidad para entender el alcance del recursoFacilidad de uso
Carga rápida del sitioAmigabilidad
Aspectos estéticos
Calidad de enlaces
Calidad de sitio e información
Navegación
Retroalimentación
Salon de charla
DivulgaciónDisponibilidad plena
PROPUESTA
+1/3 consultas sobre salud
¿qué % en paginas validas?
CRECIMIENTO DE LA RED
INFORMACIÓN Y PODER. Pero solamente una parte de la información es poder: la información confiable (Harris, 1997)
PROBLEMAS EN LA RED
VARIABILIDAD DE INFORMACION
Debido a : potencial de interacción con distintos medios confiabilidad de la información exactitud de los datos ofrecidos en la red ponderación que se da a la información la categorías:
literatura académica, literatura tipo “vanity”
literatura “gris”, documentos de publicidad
(Harris, 1997; Health Summit Working Group, 1999; Tillman, 2000).
NECESIDAD DE CONTROL DE CALIDAD
CRECIMIENTO LOGARITMICO.CREDIBILIDADACCESO SENCILLO VS NO NORMAS NI CONTROL ( Ambré 1997)
PROBLEMAS EN LA RED
ESTRATEGIAS DE CONTROL DE CALIDAD :
1 Criterios e indicadores predeterminados (coherencia )a)estandarizados tipo revista (Convención de Vancouver
(####), la American Psychological Association (1994) y la Modern Language Association (1985)
b)no estandarizados y no universales para documentos grises ,medios,publicidad (December, 1997; Grassian, 1997; Kim, 1999; Smith, 1997; Tillman, 1996, etc)
2 Evaluación de la efectividad (Organización Internacional para la Estandarización: CALIDAD: la totalidad de características de una entidad que determinan su capacidad para satisfacer las necesidades, sean éstas implícitas o explícitas, de los consultantes (ISO/TC, 1994).
Contexto en que se expresa y usa:a quien va dirigida( investigador, profesional o población) para hacer congruente recursos terminologías y la evaluación
3 Proceso :en diseño e implementación , contenidos y nuevos recursos (December 1996 )
“El control de calidad de la información debe ser parte de las normas éticas y de honor en la construcción de cualquier sitio que contenga información en salud”
( Health on the Net Foundation, 1997).
ORGANISMOS E INSTITUCIONES :
Fundación Health on the Net, Génova, Suiza :
código de conducta para la información publicada en la red;
Health Summit Working Group del Instituto de Tecnologías de Información en Salud,Virginia, USA:
con sus criterios para evaluar la información en la red.
CERTIFICACION
Uso de un criterio de evaluación permanente
•Uso de expertos: con commpetencias: en información,stadisticas y significado del dato y conocimiento cientifico específico
Gardois P Evaluating the quality of medical information on the Internet: a brief bibliography 1
METODOLOGIA DE BUSQUEDA INICIAL
MEDIOS :
Motores de busqueda: Altavista, Google, Excite, Lycos y otros
Bases de datos en línea Medline (Internet Grateful Med), Proquest, y la misma BVS de Bireme y Scielo.
PALABRAS CLAVES:
Evaluacion, alidad, control, INTERNET, información en salud
aisladas y combinadas ( 2 y 3 o más)
+ 200
Pertinentes: 20
Más por bibliografia
50 finales
Primera fase
Segunda fase
Lectura en profundidad: ATLAS TI 28 categorías de análisis –calidad, tipos de documentos, criterios, información, contexto,
clasificaciónRedes semanticas identificar los criterios que desarrolla cada autor y la forma en que interactúa con el contexto referido en los mismos.
38
ComunicadosProductos cientificos
ACCESO AccesoFacilidad de encontrarlaCosto
CONSUMO VisitasAudiencia
ACCESO
DISEÑO CONTROL
DIFUSION
Facilidad de mantenimientoProblemas o limitaciones
ORGANIZACIÓN LOGICA
NavegaciónEstructura y organización
COMUNICABILIDAD Legibilidad de textoMotor de búsquedaCalidad de enlacesFacilidad para entender el alcance del recurso
USABILIDAD Facilidad de usoCarga rápida del sitioAmigabilidadDisponibilidad plena
INTERACTIVIDAD RetroalimentaciónSalon de charla
ATRACTIBILIDAD Formato y presentaciónAspectos estéticos
CRITERIOS DE ACCESO Y DISEÑO
FUENTES: Caywoord 1995; Ciolek 1995; Tilamn 1995; Smith 1996 Gracian 1997, Wilkinson 1997; Harris 1997; Smith 1997, Ambre 1997
Health Summit Work Group 1999,Luz 2000, Fund Health on the Net 2000
CRITERIOS DE CONTENIDO
CONTENIDOINTENSIONES Declaracion propositos
Auditorio, contactoComplementariedad hacia otros sistemas
OriginalidadEstabilidad de la informaciónPrecisión y equilibrioFuente y fechaIdentificación y ubicación del autoridentificación del recurso VeracidadEstructura y diseño de informaciónCompletoInformación objetivaSin falacias ni sesgosCorroboración de fuentesJjerarquía de evidenciaNotificación de omisionesUso de metadatos
CREDIBILIDADUtilidad y confiabilidad Relevancia y alcanceActualidadAutoridadEvaluaciónContextoRevisón editorial
No conflictivaDerechos de autorPrivacíaSeguridadHonestidad en publicidadResponsabilidades
LIGASCONTROLPERFIL
Calidad de enlaces
Evidencia de control de calidadApoyo organizacional
CONTENIDO
DERECHOS Y DEBERES
Table 2. FREQUENCY OF EXPLICIT CRITERIA FOR EVALUATION OF HEALTH RELATED WEB SITES BY CRITERIA GROUPS
Criteria groupsFrequency
(%)
(n=165)CONTENT OF SITE30 (18)
DESIGN AND AESTHETICS22 (13)
DISCLOSURE OF AUTHORS, SPONSORS, DEVELOPERS20 (12)
CURRENCY OF INFORMATION14 (8)
AUTHORITY OF SOURCE11 (7)
EASE OF USE9 (5)
ACCESSIBILITY AND AVAILABILITY9 (5)
LINKS5 (3)
ATTRIBUTION AND DOCUMENTATION5 (3)
INTENDED AUDIENCE3 (2)
CONTACT ADDRESSES OR FEEDBACK MECHANISM2 (1)
USER SUPPORT2 (1)
MISCELLANEOUS33 (20)
BMJ 1999;318:647-649 ( 6 March )
Individuo Institución OtrosFUENTES
SALIDASMEDIOS Y AREA DE SALIDA
PROCESORECEPCIÓN-CLASIFICACIÓN
Control de calidad
modificar
TrabajoServicios
FamiliaDerechos
MediosSIDa
EscuealS mental
EmbarazoCalle
AccidentesEducacion
sexualNutrición ParesUIESSA
INVITADOS
FORMATO SALIDA
COMITÉ EDITORIAL
PPROYECTO DE CONTROL DE CALIDAD DE LA INFORMACIÓN
PROBLEMA DE INVESTIGACIÓN
Alrededor de las consideraciones precedentes, surge la necesidad de generar un planteamiento metodológico para resolver el problema de cómo evaluar la calidad del sistema de información y de los contenidos difundidos por el mismo, mediante procedimientos de control específicos. El propósito del proyecto será generar un sistema de evaluación del control de calidad de la red BVS ADOLEC México a fin de generalizar su implementación en los otros sistemas participantes de la red BVS en América Latina.
OBJETIVOS -Diseñar un modelo teórico conceptual del sistema de información ADOLEC México. - Sistematizar el proceso de control de calidad del sistema de información ADOLEC México, mediante la descripción de algoritmos básicos de su desarrollo. - Evaluar la calidad de los procesos de funcionamiento del sistema de información y de la página web (en los indicadores de acceso, diseño y contenido).
METAS Un documento que recoga el estado del arte y exprese el diseño de un modelo del sistema de información de ADOLEC México.
Un documento que describa los algoritmos básicos para el proceso de control de calidad del sistema de información ADOLEC México.
Un reporte de resultados ,evaluación de procedimientos y recomendaciones del
análisis de control de calidad
del sistema de información ADOLEC México.
METODOLOGÍA
El proceso de control de calidad comprenderá la evaluación de tres componentes generales del sistema de información BVS ADOLEC México:
a) la calidad del sistema de acceso: b) la calidad de diseño de la página; y c) la calidad del contenido de la página.
A) CONTROL DE CALIDAD DEL SISTEMA DE ACCESO
La evaluación incluirá las medidas propuestas desde el estado de arte para sondear el progreso del sitio y desarrollar elementos de decisión para generar modificaciones en el sistema de acceso:
- La medición se realizará mediante instrumentos de
codificación y conteo programados en los mecanismos de acceso a la página. En el caso de la encuesta de opinión, se incorporará un cuestionario estructurado en la página.
[1] Gordon, A. Assessing web site success. Convene 71, 1 de abril de 2000, http://www.
B) CONTROL DE CALIDAD DEL ACCESO Y EL DISEÑO DE LA PAGINA
El proceso de acceso y diseño de la página se someterá –en forma permanente- a un control de calidad que considerará los criterios de evaluación seleccionados del estado del arte
C) CONTROL DE CALIDAD DE LOS CONTENIDOS DE LA PÁGINA El control de calidad de los contenidos de la página cubrirá documentos científicos,documentos vanity, documentos grises y multimedia.
La evaluación se basará en la aplicación de criterios específicos validados en la comunidad científica internacional o los mayor calidad encontrados -
CRONOGRAMA DE ACTIVIDADES
Las actividades del proyecto comprenderán un período de un año y tres meses, con un total de tres etapas generales que se describen en el cronograma siguiente:
ETAPAS
AÑO 20011 2 3 4 5 6 7 8 9 10 11 12
AÑO 2002 1 2 3
Preparación del modelo y algoritmos
Organización y contacto con instituciones
fuentes de información
Recepción de información y análisis de control de calidad
Reporte final del proyecto
CREDIBILIDAD
La credibilidad es definida como la cualidad o poder de inspirar lo creíble, y lo creíble es lo que puede o merece ser creído.
•FUENTE.- la autoridad como el “crédito y fe que se da a una persona en determinada materia” (a grupos organizados de expertos más autoridad que expertos individuales).
•AUTORIDAD O CREDENCIALES.- Ccurriculum de personas involucradas, y la de sus asociados
•CONFLICTO DE INTERESES.- Cualquier conflicto de intereses deberá ser explicitado.
•SESGOS.- Intereses financieros, o por la posición de alguna persona.
•CONTEXTO objetivo que motiva la presentación de la información .
•ACTUALIDAD Fecha en que se actualizó el contenido de la página.
•RELEVANCIA/UTILIDAD La relevancia :que tan cercano está el contenido del documento con el propósito de la página. La utilidad:l provecho práctico que proporciona la página para que el lector alcance su objetivo al consultarla.
•REVISIÓN EDITORIAL En la comunidad científica el control editorial implica el proceso de revisión por pares. Una revisión de pares podría beneficiar cualquier revisión editorial. Dejar en claro cuál es el proceso de revisión editorial, y que requisitos se tomaran en cuenta para que un documento se presente en ese espacio.
CONTENIDO
•PRECISIÓN Se basa en la evidencia y su verificación: presentar los datos en los que basa sus conclusiones.
•JERARQUÍA DE LA EVIDENCIA En el contexto de la investigación cuantitativa orden de mayor a menor evidencia :
ensayos clínicos aleatorizados, ensayos no aleatorizados, estudios de cohorte, casos y controles, y, estudios descriptivos.
Falta identificar una escala semejante basada en la tipología de los estudios cualitativos, (ej entrevistas en profundidad e historias de vida, entrevistas focalizadas, grupos focales,grupos de discusión, estudios observacionales , estudios exploratorios)
•ESTABLECIMIENTO DE FUENTES ORIGINALES
•ACLARACIONES :limitaciones, propósito, alcance, autoridad y actualidad de la información y fuentes dadas a conocer
•NOTAS DE OMISIÓN Los trabajos deben incluir una revisión completa de la información relevante, procurando presentar un tema balanceado
PRESENTACIÓN (INTENCIÓN)
· PROPÓSITO DEL SITIO la misión y objetivo del sitio así visitantes puedan comprender
cómo utilizar la información presentada.
· PERFIL la información necesaria para obtener una idea clara de quién financia, cuál es el propósito del sitio, si la información que ellos proporcionan es retenida y cual es el curso que sigue (especificando si ésta es confidencial, o si se proporciona a otros)
VÍNCULOS
· SELECCIÓN Criterios de selección y ligarse balanceadamente
· ARQUITECTURA Facilidad de “navegación” en la red. Organización de su presentación y existencia de iconos
· CONTENIDO Al establecer ligas con otros sitios la página otorga cierto respaldo a los sitios que propone visitar. Por lo tanto, los sitios a ligar deberán ser evaluados en cuanto a precisión, actualidad, credibilidad y relevancia.
· SITIOS QUE LO VINCULAN Investigar qué sitios ajenos recomiendan la página.
ORGANIZACIÓN LÓGICA El diseño deberá ser simple y fácil de usar.. La estructura lógica y el lenguaje deberán ser acordes al nivel de los usuarios.Debe existir un balance entre texto, figuras, colores, sonidos y movimientos.
MOTOR DE BÚSQUEDA INTERNA Este es un componente crítico. El alcance y la función de éste deberán ser especificados con claridad.
MECANISMOS DE RETROALIMENTACIÓN Dirección electrónica para recibir los comentarios o preguntas de los usuarios a ser atendidos y respondidos en un tiempo pertinente.
ESPACIO DE CHARLA Existirá la oportunidad de mantener “charlas electrónicas” entre los diferentes usuarios, y probablemente entre los organizadores y patrocinadores de la página.
SEGUIMIENTO Y CONSULTA Mecanismo mediante el cual pueden realizar consultas
• ALERTAS: advertencias
INTERACTIVIDAD
DISEÑO
ACCESIBILIDAD Accesible a los equipos que cuenten con menos recursos.
1.MAGNITUD DEL PROBLEMA Y RELEVANCIA2.ANTECEDENTES Y RACIONALIDAD DEL ESTUDIO?3.DEFINICIÓN PROBLEMA4.CONSECUENCIAS DE NO HACERLO Y BENEFICIOS DE HACERLO5.OBJETIVOS Y ALCANCES
CUALITATIVO CUALITATIVO Y CUANTITATIVO CUANTITATIVO
. INTRODUCCIÓN
MÉTODOS
SUJETOS
1.CONTEXTO DEL ESTUDIO Y DE LA
PROCEDENCIA DE LOS SUJETOS
2 CRITERIOS DE INCLUSIÓN, NO
INCLUSIÓN Y EXCLUSIÓN
3.ESTRATEGIAS DE MUESTREO
1.CRITERIOS DE SELECCIÓN DE
CONTEXTOS
2.CARACTERÍSTICAS
SOCIO-ECONÓMICAS Y
CULTURALES DE CONTEXTOS
3.CARACTERÍSTICAS DE LOS
SUJETOS INFORMANTES?
DISEÑO
1.TIPOS DE APROXIMACIÓN
TEÓRICA
2.INSTRUMENTOS Y SUS
PRINCIPALES DIMENSIONES
CONCEPTUALES?
3.CAMBIOS Y PREGUNTAS
GENERADOS EN EL PROCESO
1.CLARIDAD DEL DISEÑO
2.AUTORES DICEN QUE HICIERON Y
LO QUE HICIERON?
3.ELEMENTOS SUFICIENTES SOBRE
DISEÑO
4.ESTRATEGIAS DE RECOLECCIÓN DE
DATOS
5.PROCEDIMIENTOS Y TÉCNICAS DE
ANÁLISIS DE LA INFORMACIÓN?
1.PLANTEAMIENTO DE
HIPÓTESIS
2.VARIABLES ESTUDIADAS Y
MEDICIÓN).
3.DEFINICIÓN DE LAS
VARIABLES PRINCIPALES
3. ASPECTOS ÉTICOS
CRITERIOS DE EVALUACION DE DOCUMENTOS CIENTIFICOS
Day RA. “Cómo escribir y publicar trabajos científicos”. OPS: Washington, 1990.
[1] Miles, M.B. & Huberman, A.M. Producing reports. En: Qualitative Data Analysis. Thousand Oaks, Sage, 1994, pp. 298-306.
[1] Roth, J.P. Writing and reporting. En: Undertaking Qualitative Research. Edmonton, The University of Alberta Press, 2000, pp. 159-163.
1.ASPECTOS ÉTICOS EN RECOLECCIÓN DE DATOS, ANÁLISIS Y DIFUSIÓN DE LA INFORMACIÓN
BIBLIOGRAFIA
Felman S Berlin J Fletcher S Fletcher R Manuscript quality before and after peer review and editing at Annals of Internal Medicina Ann Intern Med 1994;121:11-21
4. RESULTADOS
1.FORMATO: DE DETALLES TEXTUALES U
MATRICES O REDES DE RELACIONES
QUE RESUMEN DATOS IMPORTANTES
2.INCLUYE SEGMENTOS DE TEXTOS PARA
LA INTERPRETACIÓN PROPUESTA
3.ESTILO DE AUTORIDAD : DESCRIPCIÓN
DE PRÁCTICAS Y VISION DE
INFORMANTES O SU VOZ Y
ARGUMENTOS
4.ESTRATEGIAS FORTALECEN VALIDEZ DE
HALLAZGOS (triangulación de fuentes y
métodos, perfil de patrones e
idiosincrasias, plausibilidad, contrastes y
comparaciones, contradicciones, casos
extremos, etc.)
5.SUSTENTO ANALÍTICO AMPLIO
RELACION DATOS EMPÍRICOS CON
ARGUMENTOS TEÓRICOS?)
1.INFORMACIÓN COMPLETA DE
SUJETOS PARTICIPARON Y LOS
NO INCLUIDOS
2. VIOLACIONES AL PROTOCOLO?
3. CUÁN APROPIADO ES EL
BALANCE ENTRE DETALLE Y
RESUMEN DE RESULTADOS
4.RESULTADOS QUE MAYORÍA DE
LA AUDIENCIA COMPRENDA
1.ASOCIACIONES Y MANEJO DE VARIABLES DE CONFUSIÓN E INTERACCIÓN;
2.VERIFICACION DE HIPÓTESIS
3.PERTINENCIA DEL MANEJO ESTADÍSTICO, INCLUYENDO SIGNIFICANCIA ESTADÍSTICA (PRUEBAS DE HIPÓTESIS O INTERVALOS DE CONFIANZA;
4.PERTINENCIA DE LOS DATOS REPORTADOS EN CUADROS Y FIGURAS.
5. REPORTE DE LOS DENOMINADORES (PROMEDIOS , PORCENTAJES, TASAS, ETC)
6.MAGNITUDES DE LOS EFECTOS REPORTADOS (EFECTOS INCLUYE :OR, DIFERENCIAS DE RIESGO, COEFIC EGRESION,ETC)
5. DISCUSIÓN Y CONCLUSIONES
1.APORTE A CONOCIMIENTOS EN SU CAMPO
CONFRONTACIÓN CON LA EVIDENCIA DE OTROS AUTORES
2.LIMITACIONES DEL ESTUDIO: GENERALIZACIÓN
PREGUNTAS PARA ESTUDIOS POSTERIORES?
3.CONCLUSIONES ENMARCADA EN LÍMITES DEL ESTUDIO
6. REFERENCIAS
COMPLETAS Y ACUERDO AL TEXTO Y EN ESTILO VANCOUVER
CUALITATIVO CUALITATIVO Y CUANTITATIVO CUANTITATIVO
.
CRITERIOS EVALUACION DOCUMENTOS CIENTIFICOS
EN APA-STYLE?
CRITERIOS DE CONTENIDO
CONTENIDOINTENSIONES Declaracion propositos
Auditorio, contactoComplementariedad hacia otros sistemas
OriginalidadEstabilidad de la informaciónPrecisión y equilibrioFuente y fechaIdentificación y ubicación del autoridentificación del recurso VeracidadEstructura y diseño de informaciónCompletoInformación objetivaSin falacias ni sesgosCorroboración de fuentesJjerarquía de evidenciaNotificación de omisionesUso de metadatos
CREDIBILIDADUtilidad y confiabilidad Relevancia y alcanceActualidadAutoridadEvaluaciónContextoRevisón editorial
No conflictivaDerechos de autorPrivacíaSeguridadHonestidad en publicidadResponsabilidades
LIGASCONTROLPERFIL
Calidad de enlaces
Evidencia de control de calidadApoyo organizacional
CONTENIDO
DERECHOS Y DEBERES