Revisiones sistemáticas: 6º. Evaluación

Antes de utilizar los estudios incluidos en su revisión sistemática, debes evaluar críticamente la calidad metodológica y el riesgo de sesgo de cada uno de ellos. 

Todas las revisiones sistemáticas incorporan un proceso de crítica o valoración de la evidencia de la investigación. El propósito de esta valoración es evaluar la calidad metodológica de un estudio y determinar hasta qué punto un estudio ha abordado la posibilidad de sesgo en su diseño, realización y análisis. Todos los artículos seleccionados para su inclusión en la revisión sistemática (es decir, los que cumplen los criterios de inclusión descritos en el protocolo) deben ser sometidos a una evaluación rigurosa por parte de dos evaluadores críticos. Los resultados de esta valoración pueden utilizarse para informar sobre la síntesis e interpretación de los resultados del estudio.  

La distinción entre la evaluación crítica de la calidad metodológica y la evaluación crítica del riesgo de sesgo es que la evaluación de la calidad metodológica es la evaluación de la inclusión de garantías metodológicas dentro de un estudio, y la evaluación del riesgo de sesgo se refiere a la implicación de la inclusión de dichas garantías para los resultados del estudio. El sesgo es un error sistemático o desviación de la verdad.

Consulte a continuación el siguiente cuadro de texto que define la diferente terminología utilizada para describir la calidad del estudio¹¹ 

Sin embargo en los últimos años se ha iniciado una controversia sobre cuál es la mejor forma de reflejar la calidad metodológica de los estudios. Frente a las clásicas escalas o modificaciones de éstas que contemplan la valoración de elementos metodológicos individuales, la Colaboración Cochrane aboga, y así lo hace desde hace unos años, por evitar hablar del término calidad y prefiere que se considere este paso de la revisión, como evaluación del riesgo de sesgo en los estudios incluidos.^{1, 2}

Una revisión sistemática refleja las limitaciones de los estudios que incluye; por lo tanto, cada estudio elegible para su inclusión en una revisión sistemática requiere una evaluación crítica para determinar si el estudio no ha respondido correctamente a su pregunta de investigación de una manera libre de sesgos.

    Para más información, consulta la siguiente infografía de Concepción Campos-Asensio sobre evaluación del riesgo de sesgo

    Es clave desarrollar la habilidad de lectura crítica de las publicaciones. Te sugerimos consultes las siguientes claves del pensamiento crítico en salud

La evaluación del riesgo de sesgo (a veces llamada "evaluación de calidad" o "evaluación crítica") ayuda a establecer la transparencia de los resultados y hallazgos de la síntesis de evidencia. A menudo se realiza una evaluación del riesgo de sesgo para cada estudio incluido en su revisión. Las síntesis de evidencia se esfuerzan por eliminar el sesgo en sus hallazgos. Los estudios individuales que se incluyen en una síntesis pueden incluir sesgos en sus resultados o conclusiones, por ejemplo, fallas de diseño que plantean dudas sobre la validez de los hallazgos o una sobreestimación del efecto de la intervención. La evaluación del riesgo de sesgo generalmente no se requiere con métodos de síntesis de evidencia fuera de las revisiones sistemáticas. Sin embargo, esto puede depender del método de síntesis de evidencia que esté utilizando.³

El sesgo (por ejemplo, las limitaciones del estudio) se refiere al riesgo de que los estudios sobrestimen o subestimen sistemáticamente el verdadero efecto de la intervención en función de un error en su realización o diseño. El sesgo también es distinto del concepto de calidad del estudio (es decir, qué bien se pudo haber realizado el estudio).

La evaluación crítica trata de detectar los posibles conflictos de validez de los resultados de las investigaciones en la bibliografía científica, lo que permite a los investigadores tomar decisiones informadas sobre la calidad de las pruebas que presentan. La valoración crítica forma parte del proceso de la práctica basada en la evidencia.⁴

La valoración crítica puede realizarse de forma no organizada, leyendo la investigación de forma crítica a medida que se avanza, o puede hacerse de forma estructurada utilizando una Herramienta de Valoración Crítica (Critical Appraisal Tool: CAT). Las CAT son listas de verificación estandarizadas que permiten comparar la calidad metodológica de un estudio con un conjunto de criterios.

Cuando se examinan varios trabajos, una de las ventajas de emplear una CAT es que se puede aplicar un nivel de uniformidad. Sin embargo, una desventaja es que pueden no indagar sobre una posible fuente de sesgo que sea relevante para los temas del estudio en cuestión. Además es importante tener en cuenta que estas herramientas son una ayuda, es decir, el evaluador debe conocer la estructura de cada tipo de estudio, su finalidad, su metodología y conocer los posibles sesgos que se pueden dar.⁵

Te sugerimos consultes estos vídeos para introducirte en estos conceptos:  

 Vídeo sobre "Critical appraisal"    

            Vídeo: "Introduction to critical appraisal"

            Vídeo sobre: "Risk of bias"

            Vídeo sobre: Quality Assessment & Risk of Bias

La capacidad o habilidad de evaluación crítica te permite valorar la fiabilidad, la pertinencia y los resultados de los artículos publicados para poder decidir si son creíbles y útiles.

El paso de la evaluación crítica es muy importante ya que ayuda a los revisores a conocer la calidad metodológica de los estudios identificados como potencialmente a ser incluidos en la revisión. Antes de extraer la información relevante de estos estudios identificados, debes analizar y describir cual es la calidad metodológica de los mismos. Por tanto, la evaluación crítica es una evaluación sistemática y formal de la calidad de los estudios incluidos. Para hacerlo, de manera general, hay que evaluar:

 - la validez interna del estudio: ¿Cómo de bien se ha llevado a cabo el estudio?

- la validez externa del estudio: si los resultados del estudio pueden tener una aplicación práctica en mi entorno (población, pacientes, problema, sociedad, etc.)

 Existen numerosas herramientas para realizar la evaluación crítica de los estudios, las cuales ayudan a comprender y revisar la investigación en su práctica clínica. Hay aspectos fundamentales de la evaluación crítica para diferentes diseños de investigación experimental y observacional, ya que los diferentes tipos de preguntas de investigación requieren diferentes diseños de estudio: revisiones sistemáticas y metaanálisis; ensayos controlados aleatorizados (ECA); estudios de cohorte; estudios de casos y controles; estudios transversales; estudios de diagnóstico. Conviene conocer en qué situaciones debe emplearse mejor un diseño de estudio para responder a una pregunta de investigación. Las herramientas de evaluación crítica, ayudan a evaluar los diferentes diseños de investigación y para ello se equiparan con las herramientas críticas y analíticas necesarias para evaluar los hallazgos de la investigación y ponderar la evidencia de acuerdo a su validez, la confiabilidad de los resultados, así como su valor potencial y su relevancia para un contexto de práctica. 

   Para usar estas herramientas de evaluación crítica, debes de conocer:

- los conceptos de evaluación crítica y su papel en una práctica basada en la evidencia. 

- comprender los diferentes diseños de investigación y conocer si los investigadores utilizaron la metodología más adecuada para responder a su pregunta de investigación. 

   ¿Dónde localizar herramientas de evaluación crítica? tipología de herramientas de evaluación crítica:

- A través de las herramientas o lista de verificación del programa de habilidades de evaluación crítica, también conocida como lista de verificación CASP (CASPe, en español), podrá evaluar los resultados de la investigación, su validez y su relevancia para su práctica. Consulta a continuación las herramientas: 

• Critical Appraisal Skills Programme: CASP:⁶ https://casp-uk.net/  // https://casp-uk.net/casp-tools-checklists/
• CASPe (español):⁷ https://redcaspe.org/materiales/
• Serie de videos sobre evaluación crítica de los diferentes diseños de estudios de investigación

- Las herramientas JBI (Joanna Briggs Institute) de valoración crítica sirven también para evaluar la fiabilidad, relevancia y resultados de trabajos publicados: https://jbi.global/critical-appraisal-tools.⁸

Estas herramientas de valoración crítica han sido desarrolladas por el JBI y sus colaboradores y aprobadas por el Comité Científico del JBI tras una extensa revisión por pares. Aunque han sido diseñadas para su uso en revisiones sistemáticas, las herramientas de valoración crítica del JBI también pueden utilizarse al crear Temas con Valoración Crítica en los clubes de revistas y como herramienta educativa.⁴

- Más herramientas de evaluación crítica:

• Critical Appraisal Checklists BMJ
• Risk of Bias Assessment Tool ROBIS (para evaluar críticamente las revisiones sistemáticas)
• SR Toolbox Quality assesment
• The Systematic Review Toolbox (systematicreviewtools.com)
• Entendiendo las curvas ROC (utilidad y evaluación de las pruebas diagnósticas)
• University of Southampton Library
• Weill Cornell Medical College Library