¿Cómo se lee críticamente una Revisión Sistemática?

Una revisión sistemática (RS) es un artículo que busca sintetizar evidencia disponible acerca de un estudio de interés con el objetivo de responder una pregunta especifica.

La finalidad de este artículo es entender cómo interpretar conceptos esenciales (metaanálisis), los puntos claves para evaluación y realización de una RS, valoración de las listas-guía para una correcta interpretación, los criterios de inclusión y exclusión; así como saber identificar posibles sesgos y problemáticas para realización del mismo.

Introducción

Como se sabe cada año se publican millares de artículos científicos en la literatura médica lo que dificulta mantenerse actualizado con tanta cantidad de información. Para eso las revisiones sistemáticas (RS) nos permiten estar al día con los temas de interés sin necesidad de invertir demasiado tiempo. Sin embargo, no siempre este tipo de estudio garantiza calidad, veracidad y validez resultados. Dicho eso expongo 2 problemáticas: primero, es que los autores no especifiquen el proceso que han seguido para investigar, reunir y valorar toda la información recopilada que los han llevado a sus conclusiones y segundo, que, debido a la ausencia de esta información, los lectores no sean capaces de verificar y repetir los resultados de las revisiones. Una revisión sistemática consiste en una búsqueda exhaustiva de aspectos cuantitativos y/o cualitativos de estudios relevantes de un tema en particular, incluso con resultados contradictorios, con el objetivo de evaluar y resumir toda la información existente.                                                                            Estas pueden incluir o no una síntesis estadística llamada Metaanálisis (MA), que es el proceso que lleva a obtener los resultados de estudios que al combinarse (matemáticamente) ofrecen conclusiones significativas. Una MA necesita de, al menos, dos estudios para obtener una estimación o suma única del efecto de la intervención en salud que se está evaluando. Si sólo encontramos un estudio, al de no poder combinarlo con otro, no se ha realizado un metaanálisis. Ha de esclarecer que el acto de combinar estadísticamente estudios no es garantía de una respuesta válida y segura, ya que la RS y/o MA debe seguir un proceso sistemático y minucioso, asegurar la ausencia de sesgos y heterogeneidad, y que sea publicado con claridad y precisión, para que así otros autores puedan replicar. Con la finalidad de resolver discrepancias para la lectura crítica de una RS se han desarrollado herramientas que ayudan a evaluar de forma rápida y sistemática la calidad y validez de los estudios. Estas son las listas-guía, cuestionarios o check-lists de información, que además de valorar se los métodos utilizados y los resultados recopilados son adecuados y verosímiles, cumplen también un importante valor informativo, tanto en la evaluación crítica de diversos tipos de estudios publicados como en la evaluación de protocolos.

Guías de valoración crítica de artículos

Para llevar a cabo una RS y/o MA, o para revisar una, es de suma utilidad emplear una guía de verificación (tabla 1) para descubrir errores importantes y guiar la lectura crítica. La evaluación sistemática de estas preguntas ayuda a corroborar validez (aproximación a la verdad) y aplicabilidad (utilidad clínica) a los resultados de la investigación publicados, con la finalidad de incorporarlos al cuidado de los pacientes y mejorar así la calidad de la asistencia.⁸ A partir de las pautas de valoración critica de artículos establecidas por el Evidence Based Medicine Working Group, surgió en Inglaterra un programa para facilitar la evaluación de la literatura científica: Critical Appraisal Skills Programme (CASP). En España se denomina CASPe (Critical Appraisal Skills Programme español), que es una organización sin fines de lucro y sin conflictos de interés creada en 1998, cuyo objetivo es proporcionar las habilidades necesarias para la “lectura crítica de la evidencia clínica”.⁹ Cada herramienta de evaluación del CASPe gira en torno a 3 preguntas esenciales(tabla 2): – ¿Es válido el estudio? – ¿Cuáles son los resultados? – ¿Son aplicables en tu medio? Existen también otras guías de verificación y cuestionarios como los criterios CONSORT para evaluar ensayos clínicos controlados, los criterios AGREE para valorar guías de práctica clínica y los criterios QUORUM para revisiones sistemáticas.

Fortalezas y limitaciones de las Revisiones Sistemáticas

En base a estos aspectos fundamentales a valorar en una RS y/o MA, para que ésta sea considerada de calidad y pueda ser replicada es necesario entender del inicio como se conduce una revisión sistemática en términos generales y como procede la lectura crítica de una.

¿Como se conduce una revisión sistemática?

1) Formulación de una pregunta

¿Se hizo la revisión sobre un tema claramente definido?

“Una pregunta confusa conduce a una respuesta confusa”. (Sáenz, 2001)

La definición de la pregunta para una revisión sistemática requiere que sea clara, inequívoca y estructurada, acorde con el problema en cuestión y que implique en una intervención de interés y resultados apropiados. La pregunta primaria, formulada a priori, determinará el enfoque principal de la revisión y las preguntas secundarias, también formuladas al inicio, forman la base de los análisis secundarios, como son los de subgrupos y de sensibilidad.²                                                                                            Un método para estructuración y formulación de la pregunta principal es dividirla en formato PICO: P (paciente, población de interés), I (intervención a realizar), C (comparación), O (“Outcomes” / resultados). P.e ¿Se debe administrar la vacuna(I) contra la infección por VPH a mujeres(P) ya infectadas por el vírus o que tienen cambios en las células del cuello uterino(C) para evitar otros tipos de VPh de alto riesgo(R)?.

2) Criterios de selección

¿Buscaron los autores el tipo de artículos adecuados? ¿Estaban incluidos los estudios importantes y relevantes?

La búsqueda de estudios debe ser extensa. Por lo tanto, al evaluar una revisión sistemática debe observarse si la estrategia utilizada por el autor fue lo suficientemente completa para asegurar que estudios relevantes no pasaran por alto lo que no permitiría una elaboración de una revisión fidedigna. Con una pregunta bien formulada, los criterios de selección tanto los de inclusión como los de exclusión surgen de manera clara, y nos guían a estudios que realmente estén de acuerdo con la idea principal. Con eso es preciso que los autores especifiquen los estándares metodológicos utilizados para selección de estudios, la población de estudio, el ámbito de las intervenciones evaluadas, el tipo de diseño, los grupos control y de comparación, y los resultados clínicos que se interesa estudiar, de forma que se incluyan estudios relativamente homogéneos en cuanto al problema de salud y al abordaje metodológico. Hay que tener en cuenta que diferencias en estos criterios de selección podrían llevar a diferentes resultados en estudios de revisión que inicialmente se planteaban una misma pregunta clínica.

Considerar que la búsqueda por red cuantifica el 60-75% de todos los estudios relevantes existentes mientras que la búsqueda manual de revistas no indexadas es laboriosa y no está al alcance de todos. Para superar estas limitaciones y maximizar los beneficios de las RS en las decisiones en salud, un grupo internacional de voluntarios autores (Colaboración Cochrane), que tienen acceso a recursos de capacitación gratuitos y textos de referencia, prepara, mantiene y disemina RS de calidad homologada. La Colaboración Cochrane es una organización sin fines lucrativos dedicada a publicar información actualizada y precisa, cuyo objetivo es mejorar la toma de decisiones de atención a la salud y los efectos en el mundo. Esas revisiones sistemáticas se publican en la Base de datos Cochrane dentro de la Biblioteca Cochrane (http://thecochranelibrary.com). La búsqueda realizada exclusivamente por medios electrónicos ( TripDatabase, Medline, PEDro, Embase, SciELO, LILACS) con frecuencia es insuficiente, por lo que los autores deberían hacer un seguimiento de las referencias de los estudios identificados y además buscar información en la llamada «literatura gris», que corresponde a estudios no publicados, no indexados, tesis, abstracts, publicaciones médicas no científica, entre otras, estimando aproximadamente el 10% de la información existente sobre un problema determinado.

3) Validez y calidad de los estudios

¿Ha hecho el autor lo suficiente para valorar la calidad de los estudios incluidos? ¿Si los resultados de los diferentes estudios han sido mezclados para obtener un resultado “combinado”?, ¿sera razonable hacer esto?

La valorización se determina mediante el uso de guías de evaluación crítica general y listas de verificación de calidad basadas en el tipo de diseño del estudio y los criterios de inclusión y exclusión utilizados. Es necesario la elaboración de una planilla con toda la información recopilada de los artículos primarios (año de publicación, autores, revista, resultados) para maximizar la veracidad de la RS. Por tanto, la validez sería cuán cerca está de la verdad o si se encuentra libre de sesgos,²es decir que, cuanto más valido sea el estudio más confiables son las conclusiones.                                                                  Dado que toda evaluación está sujeta a variabilidad, es necesario que se haya realizado de forma independiente por más de un observador (revisores) y que se haya evaluado su grado de concordancia en cuanto a qué estudios incluir y qué datos extraer de ellos.

Para una RS de calidad es necesario obtener los 6 puntos que validan el estudio:

1.- Si la pregunta clínica está bien formulada. 2.- Si los criterios de inclusión y exclusión utilizados fueron apropiados. 3.- Si existe la posibilidad de que se haya perdido o no localizado algún estudio importante. 4.- Si se evaluó la calidad y veracidad de los estudios incluidos. 5.- Si la evaluación de los estudios es reproducible en la práctica clínica. 6.- Sí los resultados fueron similares entre los diversos estudios.

4) Necesidad de un protocolo de investigación

Este protocolo describe quién será responsable de la recopilación de datos (p.ej. revisores, expertos en el tema), si los artículos serán cegados (anonimato de los autores), la calidad metodológica que evaluará los estudios y cómo se incorporará esto en las conclusiones finales. Cegar es la mejor manera de prevenir el sesgo.⁷ 

5) Resultados

¿Cuál es el resultado global de la revisión?, ¿han sido interpretados con sentido común?¿Cuán precisos son los resultados? ¿Y se pueden aplicar a su medio?

Al redactar los resultados la base de la revisión es la sistematización que debe ser clara, realista y detallada en todo el proceso, con la finalidad de que cualquier lector que desee repetir el estudio pueda realizarlo. De ahí la importancia del metaanálisis, proceso estadístico en la cual la síntesis de resultados se obtiene por medio de dos etapas: la primera etapa y la principal, es la recopilación de datos de cada estudio individual y el cálculo de un resultado para cada estudio (la “estimación puntual “o “resumen estadístico”) con una estimación de la variación al azar (el “intervalo de confianza”). Y la segunda etapa que implica decidir si es apropiado calcular un resultado promedio agrupado entre los estudios. ¹ Cualquier resultado numérico, por más preciso y “estadísticamente significativo” que sea, es decir, incuestionable, debe situarse en el contexto práctico de la pregunta a la que la revisión pretende dar respuesta. Un artículo válido, de calidad y de relevancia debe ofrecer la mejor base posible para cuantificar los resultados previstos, pero estos resultados deben seguir considerándose en el contexto de los valores, características y preocupaciones de los pacientes.⁸

Conclusión

Las revisiones sistemáticas aparecen en la parte superior de la jerarquía de evidencia proporcionando una síntesis de la investigación disponible acerca de una pregunta.               Esto refleja el hecho de que, cuando se llevan a cabo rigurosamente, deberían darnos la mejor estimación posible de cualquier estudio.

Sin embargo, se debe tener en cuenta que igual a cualquier estudio de investigación puede contener errores, debido a poca atención a la intervención y estrategia de búsqueda, mala selección de pacientes, pregunta mal formulada o una revisión sistemática que contenga estudios combinados que no deberían estar agrupados.

Por lo tanto, es de suma importancia que los usuarios de revisiones sistemáticas evalúen de manera rutinaria los métodos utilizados por los autores para minimizar el sesgo en los resultados y al comprender en su totalidad como se realizan y las etapas que se deben seguir en su conducta, los médicos están mejor capacitados para reconocer e implementar evidencia confiable en la práctica clínica.

Referencias:

1. Manterola, C., Astudillo, P., Arias, E., & Claros, N. (2013). Revisiones sistemáticas de la literatura. Qué se debe saber acerca de ellas. Cirugia Espanola, 91(3), 149–155. https://doi.org/10.1016/j.ciresp.2011.07.009
2. Sáenz, A. (2001). Leer e interpretar una revisión sistemática. Bol Pediatr, 41(177), 215–221. https://www.sccalp.org/documents/0000/0833/BolPediatr2001_41_206-215.pdf
3. Henderson, L. K., Craig, J. C., Willis, N. S., Tovey, D., & Webster, A. C. (2010). How to write a Cochrane systematic review. Nephrology, 15(6), 617–624. https://doi.org/10.1111/j.1440-1797.2010.01380.x
4. Hussain, N., Hussain, F., Bhandari, M., & Morshed, S. (2011). Systematic Reviews and Meta-Analysis. Evidence-Based Orthopedics, 46(6), 25–29. https://doi.org/10.1002/9781444345100.ch5
5. Siddaway, A. P., Wood, A. M., & Hedges, L. V. (2018). 如何写综述. Annual Review of Psychology, 70(1), 747–770. https://doi.org/10.1146/annurev-psych-010418-102803
6. Khan, K., Kunz, R., Kleijnen, J., & Antes, G. (2003). RESEARCH METHODOLOGY Five steps to conducting a systematic review. Journal of the Royal Society of Medicine, 96(3), 118–121
7. De Vet, H. C. W., Verhagen, A. P., Logghe, I., & Ostelo, R. W. J. G. (2005). Literature research: Aims and design of systematic reviews. Australian Journal of Physiotherapy, 51(2), 125–128. https://doi.org/10.1016/S0004-9514(05)70041-6
8. Gonz, J., Santamar, A. B., & Joan, H. S. (2008). Revisión sistemática y metanálisis (II): evaluación crítica de la revisión sistemática y metánalisis. Evidencias En Pediatría, 4(Ii), 1–10
9. Olmo, R. S. (2017). Programa de Habilidades en Lectura Crítica Español (CASPe) NefroPlus. NefroPlus., 9(1), 100–101. https://www.revistanefrologia.com/es-programa-habilidades-lectura-critica-espanol-articulo-X1888970017612483