La revisión por pares (1): el proceso

Hoy empezamos una serie de entradas sobre temas relacionados con la investigación en el campo de la informática. Para iniciar esta serie, hablaremos sobre la revisión de los trabajos por parte de la comunidad científica y sus particularidades en el caso concreto de la informática.

Un momento clave en el proceso de investigación científica es la publicación y difusión de los resultados obtenidos. Para evaluar la calidad de las contribuciones realizadas (resultados, metodología, claridad, reproducibilidad, etc.) la comunidad científica utiliza un método conocido como revisión por pares (en inglés, peer-review). En este paradigma, otros expertos de la comunidad examinan los artículos de forma previa a su publicación, proporcionan feedback al autor para mejorar su calidad y evalúan la metodología utilizada y los resultados obtenidos en relación al estado del arte. Como consecuencia de esta revisión, la publicación de un artículo puede ser rechazada, aceptada condicionada a realizar cambios en el artículo o aceptada sin modificaciones.

Un artículo que en su día no convenció a todos los revisores (será que esto de las bases de datos relacionales no tiene futuro)

Un artículo pionero en bases de datos relacionales criticado por uno de sus revisores: “no hay experimentos y la idea de las claves foráneas es demasiado complicada”.

Los revisores pueden solicitar todo tipo de cambios en un artículo: más experimentos, reescribir parcialmente el artículo, citar otros trabajos previos, usar una metodología diferente y más apropiada, … De hecho, ¡aplicar los comentarios de los revisores puede implicar más trabajo que escribir el artículo original! El grado de exigencia de las revisiones depende del tipo de foro científico al que se esté enviando un artículo. Los talleres (workshop) pretenden exponer trabajos recientes para su discusión, por lo que las revisiones suelen ser poco exigentes. En los congresos (conferencesymposium) se difunden resultados de interés para la comunidad, así que el nivel de calidad esperado es más alto. Finalmente, en las revistas científicas (journal) se presentan resultados consolidados y contrastados que representan un avance del estado del arte, por lo que el nivel de exigencia es máximo.

Para garantizar la imparcialidad de las revisiones, el proceso de revisión acostumbra a ser anónimo: las revisiones generalmente son ciegas (blind), es decir, los autores desconocen la identidad de los revisores de su artículo. De esta forma, el revisor puede expresar sus valoraciones de forma abierta y sin temor a que sus críticas generen animadversión por parte de los autores. También se evita así la tentación de establecer relaciones de quid-pro-quo (te valoro positivamente porque espero que tú hagas lo mismo llegado el momento). En algunos casos, incluso se utiliza un método doble ciego (double blind), de forma que los revisores no conocen la identidad de los autores de los artículos cuando los revisan. Así se evita que la identidad del autor influya en las revisiones, ya sea favorablemente si el autor tiene prestigio o negativamente si es un autor novel.

El proceso de revisión representa un enorme esfuerzo colectivo de la comunidad científica. En informática, cada artículo suele tener unos 3 revisores, de forma que la regla de oro sería que por cada artículo que se escribe habría que revisar como mínimo tres. Y no hay que olvidar que los revisores son otros miembros de la comunidad científica que realizan esta actividad sin recompensa o remuneración alguna (salvo casos muy excepcionales). Esto puede sorprender un poco a quién no está involucrado en el campo de la investigación, pero para quien investiga las revisiones sencillamente forman parte de su trabajo. 

Además del esfuerzo que representan las revisiones, también hay que tener en cuenta toda la burocracia y gestión que implica todo el proceso:

  • Para empezar, hay que gestionar la recepción de los artículos, incluyendo su anonimato en el caso de revisión con doble ciego.
  • Después, alguien tiene que asignar revisores a cada artículo, de forma anónima pero teniendo en cuenta el ámbito de especialidad de los revisores, la temática del artículo y los posibles conflictos de intereses.
  • Posteriormente, hace falta combinar los resultados de las diferentes revisiones, discutiendo las posibles contradicciones entre los revisores.
  • Por último, es necesario tomar la decisión sobre la aceptación o rechazo del artículo, teniendo en cuenta tanto la calidad del artículo a nivel absoluto como su calidad relativa en relación al resto de posibles artículos a publicar.
  • Además, es necesario controlar el calendario de todas estas acciones, para garantizar que los revisores responden a tiempo y que la decisión sobre la aceptación del artículo no se eterniza.

Para controlar todo este proceso  usualmente se utiliza software de gestión hecho a medida como EasyChair o CyberChair  A nivel humano, todo este proceso suele gestionarlo un comité de programa (en el caso de congresos o talleres, liderado por un program chair) o un comité editorial (en revistas científicas, liderado por un editor en jefe o editor-in-chief). La pertenencia a dichos comités es por invitación y suele requerir un cierto prestigio dentro de la comunidad.  Sin embargo, también implica una cantidad considerable de trabajo: hay congresos que reciben más de 400 publicaciones en cada edición (3 revisores por artículo = 1.200 revisiones!).

Os habréis dado cuenta hasta aquí he dado una visión muy neutra del proceso. En la próxima entrada hablaremos de sus fortalezas y debilidades, así como las críticas más comunes a la revisión por pares.

CC BY-NC-SA 4.0 La revisión por pares (1): el proceso por robert está licenciado bajo una Licencia Creative Commons Atribución-NoComercial-CompartirIgual 4.0 Internacional.

Trackbacks/Pingbacks

  1. Bitacoras.com - Información Bitacoras.com Valora en Bitacoras.com: Hoy empezamos una serie de entradas sobre temas relacionados con la investigación en el…
  2. La revisión por pares (1): el proceso | ... - […]   […]

Comentar

Tu dirección de correo electrónico no será publicada. Los campos necesarios están marcados *

Leer entrada anterior
Pokes y cargadores (III)

Como vimos en entradas anteriores [1,2], es posible manipular la lógica de un videojuego, de modo que modificamos las reglas...

Cerrar