Ir al contenido principal

BIBLIOGUÍAS

Revisiones sistemáticas: 6º. Evaluación

Guía introductoria sobre qué es una revisión sistemática, los tipos de revisiones, los pasos para realizar una revisión sistemática y otros recursos de utilidad.

Sexto paso: Evaluación

Antes de utilizar los estudios incluidos en su revisión sistemática, debes evaluar críticamente la calidad metodológica y el riesgo de sesgo de cada uno de ellos. 

Todas las revisiones sistemáticas incorporan un proceso de crítica o valoración de la evidencia de la investigación. El propósito de esta valoración es evaluar la calidad metodológica de un estudio y determinar hasta qué punto un estudio ha abordado la posibilidad de sesgo en su diseño, realización y análisis. Todos los artículos seleccionados para su inclusión en la revisión sistemática (es decir, los que cumplen los criterios de inclusión descritos en el protocolo) deben ser sometidos a una evaluación rigurosa por parte de dos evaluadores críticos. Los resultados de esta valoración pueden utilizarse para informar sobre la síntesis e interpretación de los resultados del estudio.  

La distinción entre la evaluación crítica de la calidad metodológica y la evaluación crítica del riesgo de sesgo es que la evaluación de la calidad metodológica es la evaluación de la inclusión de garantías metodológicas dentro de un estudio, y la evaluación del riesgo de sesgo se refiere a la implicación de la inclusión de dichas garantías para los resultados del estudio. El sesgo es un error sistemático o desviación de la verdad.

Consulte a continuación el siguiente cuadro de texto que define la diferente terminología utilizada para describir la calidad del estudio11 

Término.

Definición.

Referencias.

Fiabilidad. “La calidad inherente de un informe de prueba o publicación relacionada con una metodología preferiblemente estandarizada y la forma en que se describen el procedimiento y los resultados experimentales para dar evidencia de la claridad y plausibilidad de los hallazgos” ECHA, 2011 ; Klimish et al. 1997 ; OCDE, 2005
Validez interna “Medida de la credibilidad de los hallazgos del estudio que refleja la capacidad del diseño y la realización de un estudio para proteger contra errores sistemáticos que pueden sesgar (sobreestimar o subestimar) los resultados o la estimación del efecto” Rooney et al., 2016
Riesgo de sesgo El riesgo de errores sistemáticos (sesgo) que pueden conducir a la subestimación o sobreestimación del verdadero efecto en un estudio. Higgins y verde 2011
Calidad del estudio “Una idea compleja con diferentes significados para diferentes grupos que incluyen uno o más de los siguientes: calidad de los informes, aplicabilidad y riesgo de sesgo”. Rooney et al., 2016
Calidad Metodológica En qué medida es probable que se hayan evitado los errores sistemáticos (sesgo) como resultado del diseño y la realización del estudio, lo que da como resultado la detección de hallazgos "verdaderos". Olivo et al., 2008 , Samuel et al., 2016
Calidad de los informes La medida en que se proporciona una descripción completa y transparente del diseño, la realización y el análisis del estudio. Moher et al., 1995

 

Sin embargo en los últimos años se ha iniciado una controversia sobre cuál es la mejor forma de reflejar la calidad metodológica de los estudios. Frente a las clásicas escalas o modificaciones de éstas que contemplan la valoración de elementos metodológicos individuales, la Colaboración Cochrane aboga, y así lo hace desde hace unos años, por evitar hablar del término calidad y prefiere que se considere este paso de la revisión, como evaluación del riesgo de sesgo en los estudios incluidos.1, 2

Una revisión sistemática refleja las limitaciones de los estudios que incluye; por lo tanto, cada estudio elegible para su inclusión en una revisión sistemática requiere una evaluación crítica para determinar si el estudio no ha respondido correctamente a su pregunta de investigación de una manera libre de sesgos.

    Para más información, consulta la siguiente infografía de Concepción Campos-Asensio sobre evaluación del riesgo de sesgo

    Es clave desarrollar la habilidad de lectura crítica de las publicaciones. Te sugerimos consultes las siguientes claves del pensamiento crítico en salud

La evaluación del riesgo de sesgo (a veces llamada "evaluación de calidad" o "evaluación crítica") ayuda a establecer la transparencia de los resultados y hallazgos de la síntesis de evidencia. A menudo se realiza una evaluación del riesgo de sesgo para cada estudio incluido en su revisión. Las síntesis de evidencia se esfuerzan por eliminar el sesgo en sus hallazgos. Los estudios individuales que se incluyen en una síntesis pueden incluir sesgos en sus resultados o conclusiones, por ejemplo, fallas de diseño que plantean dudas sobre la validez de los hallazgos o una sobreestimación del efecto de la intervención. La evaluación del riesgo de sesgo generalmente no se requiere con métodos de síntesis de evidencia fuera de las revisiones sistemáticas. Sin embargo, esto puede depender del método de síntesis de evidencia que esté utilizando.3

El sesgo (por ejemplo, las limitaciones del estudio) se refiere al riesgo de que los estudios sobrestimen o subestimen sistemáticamente el verdadero efecto de la intervención en función de un error en su realización o diseño. El sesgo también es distinto del concepto de calidad del estudio (es decir, qué bien se pudo haber realizado el estudio).

La evaluación crítica trata de detectar los posibles conflictos de validez de los resultados de las investigaciones en la bibliografía científica, lo que permite a los investigadores tomar decisiones informadas sobre la calidad de las pruebas que presentan. La valoración crítica forma parte del proceso de la práctica basada en la evidencia.4

La valoración crítica puede realizarse de forma no organizada, leyendo la investigación de forma crítica a medida que se avanza, o puede hacerse de forma estructurada utilizando una Herramienta de Valoración Crítica (Critical Appraisal Tool: CAT). Las CAT son listas de verificación estandarizadas que permiten comparar la calidad metodológica de un estudio con un conjunto de criterios.

Cuando se examinan varios trabajos, una de las ventajas de emplear una CAT es que se puede aplicar un nivel de uniformidad. Sin embargo, una desventaja es que pueden no indagar sobre una posible fuente de sesgo que sea relevante para los temas del estudio en cuestión. Además es importante tener en cuenta que estas herramientas son una ayuda, es decir, el evaluador debe conocer la estructura de cada tipo de estudio, su finalidad, su metodología y conocer los posibles sesgos que se pueden dar.5

Te sugerimos consultes estos vídeos para introducirte en estos conceptos:  

 Vídeo sobre "Critical appraisal"    

            Vídeo: "Introduction to critical appraisal"

            Vídeo sobre: "Risk of bias"

            Vídeo sobre: Quality Assessment & Risk of Bias

La capacidad o habilidad de evaluación crítica te permite valorar la fiabilidad, la pertinencia y los resultados de los artículos publicados para poder decidir si son creíbles y útiles.

El paso de la evaluación crítica es muy importante ya que ayuda a los revisores a conocer la calidad metodológica de los estudios identificados como potencialmente a ser incluidos en la revisión. Antes de extraer la información relevante de estos estudios identificados, debes analizar y describir cual es la calidad metodológica de los mismos. Por tanto, la evaluación crítica es una evaluación sistemática y formal de la calidad de los estudios incluidos. Para hacerlo, de manera general, hay que evaluar:

 - la validez interna del estudio: ¿Cómo de bien se ha llevado a cabo el estudio?

- la validez externa del estudio: si los resultados del estudio pueden tener una aplicación práctica en mi entorno (población, pacientes, problema, sociedad, etc.)

 Existen numerosas herramientas para realizar la evaluación crítica de los estudios, las cuales ayudan a comprender y revisar la investigación en su práctica clínica. Hay aspectos fundamentales de la evaluación crítica para diferentes diseños de investigación experimental y observacional, ya que los diferentes tipos de preguntas de investigación requieren diferentes diseños de estudio: revisiones sistemáticas y metaanálisis; ensayos controlados aleatorizados (ECA); estudios de cohorte; estudios de casos y controles; estudios transversales; estudios de diagnóstico. Conviene conocer en qué situaciones debe emplearse mejor un diseño de estudio para responder a una pregunta de investigación. Las herramientas de evaluación crítica, ayudan a evaluar los diferentes diseños de investigación y para ello se equiparan con las herramientas críticas y analíticas necesarias para evaluar los hallazgos de la investigación y ponderar la evidencia de acuerdo a su validez, la confiabilidad de los resultados, así como su valor potencial y su relevancia para un contexto de práctica. 

   Para usar estas herramientas de evaluación crítica, debes de conocer:

- los conceptos de evaluación crítica y su papel en una práctica basada en la evidencia. 

- comprender los diferentes diseños de investigación y conocer si los investigadores utilizaron la metodología más adecuada para responder a su pregunta de investigación. 

   ¿Dónde localizar herramientas de evaluación crítica? tipología de herramientas de evaluación crítica:

- A través de las herramientas o lista de verificación del programa de habilidades de evaluación crítica, también conocida como lista de verificación CASP (CASPe, en español), podrá evaluar los resultados de la investigación, su validez y su relevancia para su práctica. Consulta a continuación las herramientas: 

- Las herramientas JBI (Joanna Briggs Institute) de valoración crítica sirven también para evaluar la fiabilidad, relevancia y resultados de trabajos publicados: https://jbi.global/critical-appraisal-tools.8

Estas herramientas de valoración crítica han sido desarrolladas por el JBI y sus colaboradores y aprobadas por el Comité Científico del JBI tras una extensa revisión por pares. Aunque han sido diseñadas para su uso en revisiones sistemáticas, las herramientas de valoración crítica del JBI también pueden utilizarse al crear Temas con Valoración Crítica en los clubes de revistas y como herramienta educativa.4

- Más herramientas de evaluación crítica:

Proceso

  • Realizar una prueba de valoración con 3–6 estudios.
  • Valoración en parejas: los evaluadores deben conocer la metodología y han de ser expertos en el contenido.
  • Definir cómo se resolverán las discrepancias.
  • Definir cómo se aclarará la información no clara (Protocolo de estudio, contactar con los autores).
  • Determinar qué herramienta se va a utilizar. Ej. Cochrane “Risk of bias” tool (RoB), RoB2, Ecala PEDro, etc.
  • Detallar qué dominios se considerarán críticos para resumir el riesgo de sesgo.
  • Detallar cómo se resumirá el riesgo de sesgo: resumen por resultado para cada estudio o   resumen por resultado a lo largo de todos los estudios.

Herramientas para valorar el riesgo de sesgo

Ensayos clínicos

Estudios no aleatorizados

Revisiones sistemáticas

Estudios de factores pronósticos

Estudios diagnósticos


BIBLIOGRAFÍA

1. Riesgo de sesgo | Primum non nocere 2022. (n.d.). Retrieved September 28, 2022, from https://rafabravo.blog/2014/03/06/riesgo-de-sesgo/

2. Evaluación riesgo sesgo Video - YouTube. (n.d.). Retrieved September 28, 2022, from https://www.youtube.com/watch?v=gCSVSPoFZaA&t=8s

 3. Risk of Bias Assessment - A Guide to Evidence Synthesis - LibGuides at Cornell University. (n.d.). Retrieved September 27, 2022, from https://guides.library.cornell.edu/evidence-synthesis/bias

4.  Herramientas para ayudar en la evaluación crítica. 1a parte. - AlterBiblio. (n.d.). Retrieved September 27, 2022, from https://alterbiblio.com/herramientas-para-ayudar-en-la-evaluacion-critica-1a-parte/

5.  Herramientas para ayudar en la evaluación crítica. 2a parte. - AlterBiblio. (n.d.). Retrieved September 27, 2022, from https://alterbiblio.com/herramientas-para-ayudar-en-la-evaluacion-critica-2a-parte/

6.  CASP Checklists - CASP - Critical Appraisal Skills Programme. (n.d.). Retrieved September 27, 2022, from https://casp-uk.net/casp-tools-checklists/

7. Materiales – Redcaspe. (n.d.). Retrieved September 27, 2022, from https://redcaspe.org/materiales/

8. Critical Appraisal Tools | JBI. (n.d.). Retrieved September 27, 2022, from https://jbi.global/critical-appraisal-tools

9. Training - Health - Systematic Reviews - LibGuides@Southampton at University of Southampton Library. (n.d.). Retrieved November 23, 2022, from https://library.soton.ac.uk/systematic-reviews/health#s-lg-box-wrapper-17407868

10. Critical Appraisal - Evidence-Based Medicine - LibGuides at Weill Cornell Medical College. (n.d.). Retrieved November 25, 2022, from https://med.cornell.libguides.com/c.php?g=761619&p=5461218

11.  Waspe J, Bui T, Dishaw L, Kraft A, Luke A, Beronius A. Evaluating reliability and risk of bias of in vivo animal data for risk assessment of chemicals – Exploring the use of the SciRAP tool in a systematic review context. Environ Int. 2021 Jan 1;146:106103. https://doi.org/10.1016/j.envint.2020.106103

12. Entendiendo las Curvas ROC - YouTube. (n.d.). Retrieved May 8, 2023, from https://www.youtube.com/watch?v=Y1XAP6omGzo

13. KSR Evidence. (n.d.). Retrieved May 26, 2023, from https://www.ksrevidence.com/

14. ROBIS | Bristol Medical School: Population Health Sciences | University of Bristol. (n.d.). Retrieved May 26, 2023, from https://www.bristol.ac.uk/population-health-sciences/projects/robis/

14. Red Española de Agencias de Evaluación de Tecnologías Sanitarias y Prestaciones del Sistema Nacional de Salud. (n.d.). Retrieved May 26, 2023, from https://redets.sanidad.gob.es/

15. Pensamiento crítico en salud | Cochrane Iberoamérica. (n.d.). Retrieved June 30, 2023, from https://es.cochrane.org/es/divulgacion/pensamiento-critico-en-salud

16. (Cochrane) Pensamiento crítico en salud – El rincón de Sísifo [Internet]. [cited 2024 Sep 11]. Available from: https://elrincondesisifo.org/2024/09/10/cochrane-pensamiento-critico-en-salud/

Document