NECESIDAD

ESTADO DEL ARTE

NUEVOS AUTORES

GLOBAL Gracian

WILKINSON

HARRIS

SMITH

AMBRE

Health Summit Working Group

LUZ

Fund. health on the net

1997 1997 1997 1997 1997 1999 2000 2000GENERAL Visitas

Comunicados

Productos cientif icos

ACCESO Acceso

Facilidad de encontrarla

Audiencia

Costo

De propiedad intelectual

DISEÑO Problemas o limitaciones

Calidad y oportunidad

Navegación

Estructura y organización

Legibilidad de textoFormato y presentación

Facilidad de mantenimiento

Facilidad para entender el alcance del recursoFacilidad de uso

Carga rápida del sitioAmigabilidad

Aspectos estéticos

Calidad de enlaces

Calidad de sitio e información

Navegación

Retroalimentación

Salon de charla

DivulgaciónDisponibilidad plena

PROPUESTA

+1/3 consultas sobre salud

¿qué % en paginas validas?

CRECIMIENTO DE LA RED

INFORMACIÓN Y PODER. Pero solamente una parte de la información es poder: la información confiable (Harris, 1997)

PROBLEMAS EN LA RED

VARIABILIDAD DE INFORMACION

Debido a : potencial de interacción con distintos medios confiabilidad de la información exactitud de los datos ofrecidos en la red ponderación que se da a la información la categorías:

literatura académica, literatura tipo “vanity”

literatura “gris”, documentos de publicidad

(Harris, 1997; Health Summit Working Group, 1999; Tillman, 2000).

NECESIDAD DE CONTROL DE CALIDAD

CRECIMIENTO LOGARITMICO.CREDIBILIDADACCESO SENCILLO VS NO NORMAS NI CONTROL ( Ambré 1997)

PROBLEMAS EN LA RED

ESTRATEGIAS DE CONTROL DE CALIDAD :

1 Criterios e indicadores predeterminados (coherencia )a)estandarizados tipo revista (Convención de Vancouver

(####), la American Psychological Association (1994) y la Modern Language Association (1985)

b)no estandarizados y no universales para documentos grises ,medios,publicidad (December, 1997; Grassian, 1997; Kim, 1999; Smith, 1997; Tillman, 1996, etc)

2 Evaluación de la efectividad (Organización Internacional para la Estandarización: CALIDAD: la totalidad de características de una entidad que determinan su capacidad para satisfacer las necesidades, sean éstas implícitas o explícitas, de los consultantes (ISO/TC, 1994).

Contexto en que se expresa y usa:a quien va dirigida( investigador, profesional o población) para hacer congruente recursos terminologías y la evaluación

3 Proceso :en diseño e implementación , contenidos y nuevos recursos (December 1996 )

“El control de calidad de la información debe ser parte de las normas éticas y de honor en la construcción de cualquier sitio que contenga información en salud”

( Health on the Net Foundation, 1997). 

ORGANISMOS E INSTITUCIONES :

Fundación Health on the Net, Génova, Suiza :

código de conducta para la información publicada en la red;

Health Summit Working Group del Instituto de Tecnologías de Información en Salud,Virginia, USA:

con sus criterios para evaluar la información en la red.

 

CERTIFICACION

Uso de un criterio de evaluación permanente

•Uso de expertos: con commpetencias: en información,stadisticas y significado del dato y conocimiento cientifico específico

Gardois P Evaluating the quality of medical information on the Internet: a brief bibliography 1

METODOLOGIA DE BUSQUEDA INICIAL

MEDIOS :

Motores de busqueda: Altavista, Google, Excite, Lycos y otros

Bases de datos en línea Medline (Internet Grateful Med), Proquest, y la misma BVS de Bireme y Scielo.

PALABRAS CLAVES:

Evaluacion, alidad, control, INTERNET, información en salud

aisladas y combinadas ( 2 y 3 o más)

+ 200

Pertinentes: 20

Más por bibliografia

50 finales

Primera fase

Segunda fase

Lectura en profundidad: ATLAS TI 28 categorías de análisis –calidad, tipos de documentos, criterios, información, contexto,

clasificaciónRedes semanticas identificar los criterios que desarrolla cada autor y la forma en que interactúa con el contexto referido en los mismos.

38

ComunicadosProductos cientificos

ACCESO AccesoFacilidad de encontrarlaCosto

CONSUMO VisitasAudiencia

ACCESO

DISEÑO CONTROL

DIFUSION

Facilidad de mantenimientoProblemas o limitaciones

ORGANIZACIÓN LOGICA

NavegaciónEstructura y organización

COMUNICABILIDAD Legibilidad de textoMotor de búsquedaCalidad de enlacesFacilidad para entender el alcance del recurso

USABILIDAD Facilidad de usoCarga rápida del sitioAmigabilidadDisponibilidad plena

INTERACTIVIDAD RetroalimentaciónSalon de charla

ATRACTIBILIDAD Formato y presentaciónAspectos estéticos

CRITERIOS DE ACCESO Y DISEÑO

FUENTES: Caywoord 1995; Ciolek 1995; Tilamn 1995; Smith 1996 Gracian 1997, Wilkinson 1997; Harris 1997; Smith 1997, Ambre 1997

Health Summit Work Group 1999,Luz 2000, Fund Health on the Net 2000

CRITERIOS DE CONTENIDO

CONTENIDOINTENSIONES Declaracion propositos

Auditorio, contactoComplementariedad hacia otros sistemas

OriginalidadEstabilidad de la informaciónPrecisión y equilibrioFuente y fechaIdentificación y ubicación del autoridentificación del recurso VeracidadEstructura y diseño de informaciónCompletoInformación objetivaSin falacias ni sesgosCorroboración de fuentesJjerarquía de evidenciaNotificación de omisionesUso de metadatos

CREDIBILIDADUtilidad y confiabilidad Relevancia y alcanceActualidadAutoridadEvaluaciónContextoRevisón editorial

No conflictivaDerechos de autorPrivacíaSeguridadHonestidad en publicidadResponsabilidades

LIGASCONTROLPERFIL

Calidad de enlaces

Evidencia de control de calidadApoyo organizacional

CONTENIDO

DERECHOS Y DEBERES

 Table 2. FREQUENCY OF EXPLICIT CRITERIA FOR EVALUATION OF HEALTH RELATED WEB SITES BY CRITERIA GROUPS  

Criteria groupsFrequency

(%)

(n=165)CONTENT OF SITE30 (18)

DESIGN AND AESTHETICS22 (13)

DISCLOSURE OF AUTHORS, SPONSORS, DEVELOPERS20 (12)

CURRENCY OF INFORMATION14 (8)

AUTHORITY OF SOURCE11 (7)

EASE OF USE9 (5)

ACCESSIBILITY AND AVAILABILITY9 (5)

LINKS5 (3)

ATTRIBUTION AND DOCUMENTATION5 (3)

INTENDED AUDIENCE3 (2)

CONTACT ADDRESSES OR FEEDBACK MECHANISM2 (1)

USER SUPPORT2 (1)

MISCELLANEOUS33 (20)

BMJ 1999;318:647-649 ( 6 March )

Individuo Institución OtrosFUENTES

SALIDASMEDIOS Y AREA DE SALIDA

PROCESORECEPCIÓN-CLASIFICACIÓN

Control de calidad

modificar

TrabajoServicios

FamiliaDerechos

MediosSIDa

EscuealS mental

EmbarazoCalle

AccidentesEducacion

sexualNutrición ParesUIESSA

INVITADOS

FORMATO SALIDA

COMITÉ EDITORIAL

PPROYECTO DE CONTROL DE CALIDAD DE LA INFORMACIÓN

PROBLEMA DE INVESTIGACIÓN 

Alrededor de las consideraciones precedentes, surge la necesidad de generar un planteamiento metodológico para resolver el problema de cómo evaluar la calidad del sistema de información y de los contenidos difundidos por el mismo, mediante procedimientos de control específicos. El propósito del proyecto será generar un sistema de evaluación del control de calidad de la red BVS ADOLEC México a fin de generalizar su implementación en los otros sistemas participantes de la red BVS en América Latina.

OBJETIVOS -Diseñar un modelo teórico conceptual del sistema de información ADOLEC México. - Sistematizar el proceso de control de calidad del sistema de información ADOLEC México, mediante la descripción de algoritmos básicos de su desarrollo. - Evaluar la calidad de los procesos de funcionamiento del sistema de información y de la página web (en los indicadores de acceso, diseño y contenido). 

METAS      Un documento que recoga el estado del arte y exprese el diseño de un modelo del sistema de información de ADOLEC México.

     Un documento que describa los algoritmos básicos para el proceso de control de calidad del sistema de información ADOLEC México.

Un reporte de resultados ,evaluación de procedimientos y recomendaciones del

análisis de control de calidad

del sistema de información ADOLEC México.

METODOLOGÍA 

El proceso de control de calidad comprenderá la evaluación de tres componentes generales del sistema de información BVS ADOLEC México:

a) la calidad del sistema de acceso: b) la calidad de diseño de la página; y c) la calidad del contenido de la página.

 

A) CONTROL DE CALIDAD DEL SISTEMA DE ACCESO 

La evaluación incluirá las medidas propuestas desde el estado de arte para sondear el progreso del sitio y desarrollar elementos de decisión para generar modificaciones en el sistema de acceso:

 - La medición se realizará mediante instrumentos de

codificación y conteo programados en los mecanismos de acceso a la página. En el caso de la encuesta de opinión, se incorporará un cuestionario estructurado en la página. 

[1] Gordon, A. Assessing web site success. Convene 71, 1 de abril de 2000, http://www.  

B) CONTROL DE CALIDAD DEL ACCESO Y EL DISEÑO DE LA PAGINA

 El proceso de acceso y diseño de la página se someterá –en forma permanente- a un control de calidad que considerará los criterios de evaluación seleccionados del estado del arte

C) CONTROL DE CALIDAD DE LOS CONTENIDOS DE LA PÁGINA  El control de calidad de los contenidos de la página cubrirá documentos científicos,documentos vanity, documentos grises y multimedia.

La evaluación se basará en la aplicación de criterios específicos validados en la comunidad científica internacional o los mayor calidad encontrados -        

CRONOGRAMA DE ACTIVIDADES 

Las actividades del proyecto comprenderán un período de un año y tres meses, con un total de tres etapas generales que se describen en el cronograma siguiente:

 ETAPAS

AÑO 20011 2 3 4 5 6 7 8 9 10 11 12

AÑO 2002 1 2 3

Preparación del modelo y algoritmos

   

Organización y contacto con instituciones

fuentes de información

   

Recepción de información y análisis de control de calidad

 

 

 

Reporte final del proyecto

 

CREDIBILIDAD

La credibilidad es definida como la cualidad o poder de inspirar lo creíble, y lo creíble es lo que puede o merece ser creído. 

•FUENTE.- la autoridad como el “crédito y fe que se da a una persona en determinada materia” (a grupos organizados de expertos más autoridad que expertos individuales).

•AUTORIDAD O CREDENCIALES.- Ccurriculum de personas involucradas, y la de sus asociados

•CONFLICTO DE INTERESES.- Cualquier conflicto de intereses deberá ser explicitado.

•SESGOS.- Intereses financieros, o por la posición de alguna persona.

•CONTEXTO objetivo que motiva la presentación de la información .

•ACTUALIDAD Fecha en que se actualizó el contenido de la página.

•RELEVANCIA/UTILIDAD La relevancia :que tan cercano está el contenido del documento con el propósito de la página. La utilidad:l provecho práctico que proporciona la página para que el lector alcance su objetivo al consultarla.

•REVISIÓN EDITORIAL En la comunidad científica el control editorial implica el proceso de revisión por pares. Una revisión de pares podría beneficiar cualquier revisión editorial. Dejar en claro cuál es el proceso de revisión editorial, y que requisitos se tomaran en cuenta para que un documento se presente en ese espacio.

CONTENIDO

•PRECISIÓN Se basa en la evidencia y su verificación: presentar los datos en los que basa sus conclusiones.

•JERARQUÍA DE LA EVIDENCIA En el contexto de la investigación cuantitativa orden de mayor a menor evidencia :

ensayos clínicos aleatorizados, ensayos no aleatorizados, estudios de cohorte, casos y controles, y, estudios descriptivos.

Falta identificar una escala semejante basada en la tipología de los estudios cualitativos, (ej entrevistas en profundidad e historias de vida, entrevistas focalizadas, grupos focales,grupos de discusión, estudios observacionales , estudios exploratorios)

•ESTABLECIMIENTO DE FUENTES ORIGINALES

•ACLARACIONES :limitaciones, propósito, alcance, autoridad y actualidad de la información y fuentes dadas a conocer

•NOTAS DE OMISIÓN Los trabajos deben incluir una revisión completa de la información relevante, procurando presentar un tema balanceado

PRESENTACIÓN (INTENCIÓN)

·     PROPÓSITO DEL SITIO la misión y objetivo del sitio así visitantes puedan comprender

cómo utilizar la información presentada.

·      PERFIL la información necesaria para obtener una idea clara de quién financia, cuál es el propósito del sitio, si la información que ellos proporcionan es retenida y cual es el curso que sigue (especificando si ésta es confidencial, o si se proporciona a otros)

VÍNCULOS

·  SELECCIÓN Criterios de selección y ligarse balanceadamente

·   ARQUITECTURA Facilidad de “navegación” en la red. Organización de su presentación y existencia de iconos

·  CONTENIDO Al establecer ligas con otros sitios la página otorga cierto respaldo a los sitios que propone visitar. Por lo tanto, los sitios a ligar deberán ser evaluados en cuanto a precisión, actualidad, credibilidad y relevancia.

·     SITIOS QUE LO VINCULAN Investigar qué sitios ajenos recomiendan la página.

ORGANIZACIÓN LÓGICA El diseño deberá ser simple y fácil de usar.. La estructura lógica y el lenguaje deberán ser acordes al nivel de los usuarios.Debe existir un balance entre texto, figuras, colores, sonidos y movimientos.

MOTOR DE BÚSQUEDA INTERNA Este es un componente crítico. El alcance y la función de éste deberán ser especificados con claridad.

MECANISMOS DE RETROALIMENTACIÓN Dirección electrónica para recibir los comentarios o preguntas de los usuarios a ser atendidos y respondidos en un tiempo pertinente.

ESPACIO DE CHARLA Existirá la oportunidad de mantener “charlas electrónicas” entre los diferentes usuarios, y probablemente entre los organizadores y patrocinadores de la página.

SEGUIMIENTO Y CONSULTA Mecanismo mediante el cual pueden realizar consultas 

• ALERTAS: advertencias

INTERACTIVIDAD

DISEÑO

ACCESIBILIDAD Accesible a los equipos que cuenten con menos recursos.

1.MAGNITUD DEL PROBLEMA Y RELEVANCIA2.ANTECEDENTES Y RACIONALIDAD DEL ESTUDIO?3.DEFINICIÓN PROBLEMA4.CONSECUENCIAS DE NO HACERLO Y BENEFICIOS DE HACERLO5.OBJETIVOS Y ALCANCES

CUALITATIVO   CUALITATIVO Y CUANTITATIVO   CUANTITATIVO

    . INTRODUCCIÓN    

    MÉTODOS    

    SUJETOS    

1.CONTEXTO DEL ESTUDIO Y DE LA

PROCEDENCIA DE LOS SUJETOS

2 CRITERIOS DE INCLUSIÓN, NO

INCLUSIÓN Y EXCLUSIÓN

3.ESTRATEGIAS DE MUESTREO

1.CRITERIOS DE SELECCIÓN DE

CONTEXTOS

2.CARACTERÍSTICAS

SOCIO-ECONÓMICAS Y

CULTURALES DE CONTEXTOS

3.CARACTERÍSTICAS DE LOS

SUJETOS INFORMANTES?

    DISEÑO  

    

 

1.TIPOS DE APROXIMACIÓN

TEÓRICA

2.INSTRUMENTOS Y SUS

PRINCIPALES DIMENSIONES

CONCEPTUALES?

3.CAMBIOS Y PREGUNTAS

GENERADOS EN EL PROCESO

1.CLARIDAD DEL DISEÑO

2.AUTORES DICEN QUE HICIERON Y

LO QUE HICIERON?

3.ELEMENTOS SUFICIENTES SOBRE

DISEÑO

4.ESTRATEGIAS DE RECOLECCIÓN DE

DATOS

5.PROCEDIMIENTOS Y TÉCNICAS DE

ANÁLISIS DE LA INFORMACIÓN?

1.PLANTEAMIENTO DE

HIPÓTESIS

2.VARIABLES ESTUDIADAS Y

MEDICIÓN).

3.DEFINICIÓN DE LAS

VARIABLES PRINCIPALES

    3. ASPECTOS ÉTICOS    

CRITERIOS DE EVALUACION DE DOCUMENTOS CIENTIFICOS

       Day RA. “Cómo escribir y publicar trabajos científicos”. OPS: Washington, 1990.

[1] Miles, M.B. & Huberman, A.M. Producing reports. En: Qualitative Data Analysis. Thousand Oaks, Sage, 1994, pp. 298-306. 

[1] Roth, J.P. Writing and reporting. En: Undertaking Qualitative Research. Edmonton, The University of Alberta Press, 2000, pp. 159-163.

1.ASPECTOS ÉTICOS EN RECOLECCIÓN DE DATOS, ANÁLISIS Y DIFUSIÓN DE LA INFORMACIÓN

BIBLIOGRAFIA

Felman S Berlin J Fletcher S Fletcher R Manuscript quality before and after peer review and editing at Annals of Internal Medicina Ann Intern Med 1994;121:11-21

    4. RESULTADOS    

1.FORMATO: DE DETALLES TEXTUALES U

MATRICES O REDES DE RELACIONES

QUE RESUMEN DATOS IMPORTANTES

2.INCLUYE SEGMENTOS DE TEXTOS PARA

LA INTERPRETACIÓN PROPUESTA

3.ESTILO DE AUTORIDAD : DESCRIPCIÓN

DE PRÁCTICAS Y VISION DE

INFORMANTES O SU VOZ Y

ARGUMENTOS

4.ESTRATEGIAS FORTALECEN VALIDEZ DE

HALLAZGOS (triangulación de fuentes y

métodos, perfil de patrones e

idiosincrasias, plausibilidad, contrastes y

comparaciones, contradicciones, casos

extremos, etc.)

5.SUSTENTO ANALÍTICO AMPLIO

RELACION DATOS EMPÍRICOS CON

ARGUMENTOS TEÓRICOS?)

1.INFORMACIÓN COMPLETA DE

SUJETOS PARTICIPARON Y LOS

NO INCLUIDOS

2. VIOLACIONES AL PROTOCOLO?

3. CUÁN APROPIADO ES EL

BALANCE ENTRE DETALLE Y

RESUMEN DE RESULTADOS

4.RESULTADOS QUE MAYORÍA DE

LA AUDIENCIA COMPRENDA

 

 

1.ASOCIACIONES Y MANEJO DE VARIABLES DE CONFUSIÓN E INTERACCIÓN;

2.VERIFICACION DE HIPÓTESIS

3.PERTINENCIA DEL MANEJO ESTADÍSTICO, INCLUYENDO SIGNIFICANCIA ESTADÍSTICA (PRUEBAS DE HIPÓTESIS O INTERVALOS DE CONFIANZA;

4.PERTINENCIA DE LOS DATOS REPORTADOS EN CUADROS Y FIGURAS.

5. REPORTE DE LOS DENOMINADORES (PROMEDIOS , PORCENTAJES, TASAS, ETC)

6.MAGNITUDES DE LOS EFECTOS REPORTADOS (EFECTOS INCLUYE :OR, DIFERENCIAS DE RIESGO, COEFIC EGRESION,ETC)

    5. DISCUSIÓN Y CONCLUSIONES    

1.APORTE A CONOCIMIENTOS EN SU CAMPO

CONFRONTACIÓN CON LA EVIDENCIA DE OTROS AUTORES

2.LIMITACIONES DEL ESTUDIO: GENERALIZACIÓN

PREGUNTAS PARA ESTUDIOS POSTERIORES?

3.CONCLUSIONES ENMARCADA EN LÍMITES DEL ESTUDIO

    6. REFERENCIAS    

COMPLETAS Y ACUERDO AL TEXTO Y EN ESTILO VANCOUVER

CUALITATIVO   CUALITATIVO Y CUANTITATIVO   CUANTITATIVO

    .    

CRITERIOS EVALUACION DOCUMENTOS CIENTIFICOS

 

EN APA-STYLE?

CRITERIOS DE CONTENIDO

CONTENIDOINTENSIONES Declaracion propositos

Auditorio, contactoComplementariedad hacia otros sistemas

OriginalidadEstabilidad de la informaciónPrecisión y equilibrioFuente y fechaIdentificación y ubicación del autoridentificación del recurso VeracidadEstructura y diseño de informaciónCompletoInformación objetivaSin falacias ni sesgosCorroboración de fuentesJjerarquía de evidenciaNotificación de omisionesUso de metadatos

CREDIBILIDADUtilidad y confiabilidad Relevancia y alcanceActualidadAutoridadEvaluaciónContextoRevisón editorial

No conflictivaDerechos de autorPrivacíaSeguridadHonestidad en publicidadResponsabilidades

LIGASCONTROLPERFIL

Calidad de enlaces

Evidencia de control de calidadApoyo organizacional

CONTENIDO

DERECHOS Y DEBERES