El exceso de publicaciones en revistas científicas y biomédicas dificulta a los clínicos, docentes e investigadores preocupados por mantenerse al corriente de los nuevos progresos. Por esta razón, las revisiones sistemáticas y los metaanálisis se utilizan para buscar, resumir e interpretar estudios primarios de un determinado tema. Por consiguiente, las revisiones y metaanálisis de artículos originales de alta calidad pueden representar el nivel más alto de evidencia para aplicaciones de prevención y tratamiento en medicina basada en la evidencia. Sin embargo, no todos los metaanálisis publicados se realizan rigurosamente. El Dr. Elijah Dixon y colaboradores (Departamento de Cirugía, Universidad de Calgary, Alberta, Canadá), evaluaron la calidad metodológica de los metaanálisis sobre temas de cirugía general publicados en revistas arbitradas (en inglés: "refereed" o "peer-reviewed journals").

Los autores buscaron en MEDLINE (desde enero de 1997 a septiembre de 2002) y en listas de referencias, además de solicitar apoyo a especialistas en cirugía, para identificar los metaanálisis más relevantes. Los criterios de inclusión fueron el uso de métodos meta-analíticos para reunir resultados de estudios primarios en diagnóstico, causalidad, pronóstico o tratamiento. Las estrategias de búsqueda identificaron 487 artículos potencialmente relevantes para finalmente quedar seleccionados 51 metaanálisis que satisficieron los criterios de elegibilidad. En duplicado e independientemente, 2 revisores determinaron la calidad de estas publicaciones utilizando un índice máximo de 10.

La concordancia media entre los 2 revisores fue buena, acuerdo en un 81%, y un K de 0.62 (IC del 95%; 0.55-0.69). De los 51 artículos relevantes, 38 fueron publicados en revistas de cirugía y la mayoría de los estudios tenían defectos metodológicos importantes (promedio de 3.3, escala de 1-7). Los factores asociados con una baja calidad científica incluyeron la ausencia de una publicación anterior por los autores y metaanálisis producidos por miembros de departamentos de cirugía sin colaboración externa.

La conclusión del reporte indica la presencia de frecuentes defectos metodológicos en los metaanálisis publicados sobre cirugía general. La calidad de estos informes limita la validez de los resultados y las inferencias que se puedan hacer sobre los estudios primarios revisados. Para mejorar la futura calidad de este tipo de publicaciones, los autores recomiendan seguir las pautas de conducta y publicación de los metaanálisis en el área de la cirugía.