La revisión por pares (2): fortalezas y debilidades

El proceso de revisión por pares es un momento muy estresante para los autores de una publicación: su trabajo, posiblemente meses o años de investigación, está totalmente en  manos de otras personas a las que no llegará a conocer y a cuyas críticas quizás no pueda responder. Por eso, el rechazo de un artículo puede provocar una gran frustración y la sensación que la revisión por pares no funciona. A nadie le gustan las malas noticias.

Pues bien, Winston Churchill definió una vez la democracia como «la peor forma de gobierno, excepto por todas las otras que han sido probadas». A la revisión por pares le pasa un poco como a la democracia: es el peor sistema de selección de artículos científicos… a excepción de todos los demás que se han ensayado.

Y realmente existe una necesidad real de un filtro en el proceso de publicaciones científicas que separe el grano de la paja. Cada año se genera una cantidad ingente de nuevos artículos científicos, algunos de buena calidad y otros no. Sin este filtro, en el mundo científico existiría un auténtico problema de relación señal/ruido: las publicaciones científicas de calidad quedarían enterradas bajo un mar de pseudociencia, errores metodológicos y resultados irrelevantes. Repasemos primero qué características debería tener un sistema «ideal» de selección de artículos científicos:

1. Con alta probabilidad, los artículos de buena calidad (según criterios estrictamente científicos) deberían ser aceptados.

2. Con alta probabilidad, los artículos de mala calidad (según criterios estrictamente científicos) deberían ser rechazados.

3. La decisión sobre la aceptación/rechazo de un artículo debería producirse en un plazo de tiempo razonable.

4. El coste del proceso de selección debería ser razonable para todas las partes implicadas  (autores, revisores y consejos editoriales y de programa).

Así es cómo debería funcionar el peer review en teoría, pero veamos cuáles son las críticas que se generan en la práctica:

– Rechazo de ideas poco convencionales (fallo del punto 1): Los revisores son humanos y tienen sus ideas preconcebidas sobre el conocimiento en su campo. Esto quiere decir que las ideas revolucionarias y radicales pueden encontrar resistencia y rechazo. Existen numerosos ejemplos de artículos brillantes que hubieran sido rechazados por alguno de sus revisores… aunque finalmente fueron publicados, muestra que el sistema no funciona mal del todo. Un sistema alternativo al peer review para evitar este problema es el que inspira el repositorio público arxiv.org. Cualquiera puede publicar un trabajo en este repositorio… y es el escrutinio público posterior (semejante al escrutinio existente en el software libre) quién permite detectar errores y asignar a cada trabajo el mérito que merece.

– Dificultad para encontrar revisores (fallo del punto 4): Revisar un artículo lleva tiempo y no aporta compensación. Por este motivo, los editores del algunos ámbitos de conocimiento suelen quejarse de la dificultad de encontrar expertos que actúen como revisores. Algunas publicaciones solucionan este tema cobrando una tasa a los autores con la que se remunera, entre otros, a los revisores.

– Tiempo de las respuestas (fallo del punto 3): Algunas publicaciones prestigiosas que reciben muchos artículos a publicar pueden tener un tiempo de respuesta demasiado elevado.

– Calidad de las revisiones (fallo de los puntos 1 y 2): Los revisores son seres humanos y pueden cometer errores. Esto quiere decir que un artículo puede ser aceptado o rechazado por los motivos equivocados. Para evitar este problema hay varios revisores asignados a cada artículo, aunque en congresos o revistas prestigiosos recibir una sola revisión crítica ya puede ser motivo de rechazo. Otro tema a parte son los revisores que no son suficientemente expertos o que no han dedicado el tiempo suficiente a la revisión de un artículo e intentan despachar su revisión con el mínimo esfuerzo. Una posible solución a ambos problemas se ha implantado en la mayoría de revistas y en algunos congresos: la inclusión en el proceso de una fase de rebuttal (refutación) donde los autores pueden responder a los comentarios de los revisores.

– Riesgo de malas prácticas por parte de los revisores (fallo de los puntos 1 y 2): El anonimato otorga un gran poder a los revisores que podría generar la posibilidad de abusos. Por ejemplo, el revisor podría aprovecharse del anonimato para beneficiar a un colaborador o para perjudicar a un competidor. Para evitarlo, generalmente se establecen criterios para identificar los conflictos de intereses: no está permitido revisar artículos realizados por colaboradores, empleadores o amistades/familiares. Por otro lado, el revisor tiene acceso a los resultados del artículo antes de su publicación, y eso le da una ventaja temporal respecto a la comunidad, que puede ampliarse si se acaba rechazando el artículo o se piden cambios. Si el revisor está trabajando en el mismo tema, puede tener la tentación de “retrasar” un artículo para dar tiempo a que se publiquen sus propios resultados o aprovechar los resultados del artículo aún sin publicar para acelerar su propia investigación. Todos estos comportamientos están terminantemente prohibidos por un estricto código ético que la comunidad científica se toma muy en serio.

– Discriminación (fallo de los puntos 1 y 2): Los revisores podrían aplicar criterios diferentes en función de la nacionalidad, género, etc. de los autores del artículo. Este riesgo puede evitarse en teoría si se utiliza un proceso de revisión doble ciego… aunque en la práctica puede resultar sencillo identificar a los autores de una publicación a partir del tema.

En resumen, las principales dificultades se encuentran en la falibilidad de los revisores y el gran esfuerzo que exige una buena revisión. Todas las demás críticas pueden tener solución haciendo alguna modificación al proceso de revisión.

En la próxima entrada, hablaremos del proceso de revisión por pares en informática, comparándolo con el resto de disciplinas.