La revisión por pares (2): fortalezas y debilidades

El proceso de revisión por pares es un momento muy estresante para los autores de una publicación: su trabajo, posiblemente meses o años de investigación, está totalmente en  manos de otras personas a las que no llegará a conocer y a cuyas críticas quizás no pueda responder. Por eso, el rechazo de un artículo puede provocar una gran frustración y la sensación que la revisión por pares no funciona. A nadie le gustan las malas noticias. Pues bien, Winston Churchill definió una vez la democracia como “la peor forma de gobierno, excepto por todas las otras que han sido probadas”. A la revisión por pares le pasa un poco como a la democracia: es el peor sistema de selección de artículos científicos… a excepción de todos los demás que se han ensayado. Y realmente existe una necesidad real de un filtro en el proceso de publicaciones científicas que separe el grano de la paja. Cada año se genera una cantidad ingente de nuevos artículos científicos, algunos de buena calidad y otros no. Sin este filtro, en el mundo científico existiría un auténtico problema de relación señal/ruido: las publicaciones científicas de calidad quedarían enterradas bajo un mar de pseudociencia, errores metodológicos y resultados irrelevantes. Repasemos primero qué características debería tener un sistema “ideal” de selección de artículos científicos: Con alta probabilidad, los artículos de buena calidad (según criterios estrictamente científicos) deberían ser aceptados. Con alta probabilidad, los artículos de mala calidad (según criterios estrictamente científicos) deberían ser rechazados. La decisión sobre la aceptación/rechazo de un artículo debería producirse en un plazo de tiempo razonable. El coste del proceso de selección...

La revisión por pares (1): el proceso

Hoy empezamos una serie de entradas sobre temas relacionados con la investigación en el campo de la informática. Para iniciar esta serie, hablaremos sobre la revisión de los trabajos por parte de la comunidad científica y sus particularidades en el caso concreto de la informática. Un momento clave en el proceso de investigación científica es la publicación y difusión de los resultados obtenidos. Para evaluar la calidad de las contribuciones realizadas (resultados, metodología, claridad, reproducibilidad, etc.) la comunidad científica utiliza un método conocido como revisión por pares (en inglés, peer-review). En este paradigma, otros expertos de la comunidad examinan los artículos de forma previa a su publicación, proporcionan feedback al autor para mejorar su calidad y evalúan la metodología utilizada y los resultados obtenidos en relación al estado del arte. Como consecuencia de esta revisión, la publicación de un artículo puede ser rechazada, aceptada condicionada a realizar cambios en el artículo o aceptada sin modificaciones. Los revisores pueden solicitar todo tipo de cambios en un artículo: más experimentos, reescribir parcialmente el artículo, citar otros trabajos previos, usar una metodología diferente y más apropiada, … De hecho, ¡aplicar los comentarios de los revisores puede implicar más trabajo que escribir el artículo original! El grado de exigencia de las revisiones depende del tipo de foro científico al que se esté enviando un artículo. Los talleres (workshop) pretenden exponer trabajos recientes para su discusión, por lo que las revisiones suelen ser poco exigentes. En los congresos (conference, symposium) se difunden resultados de interés para la comunidad, así que el nivel de calidad esperado es más alto. Finalmente, en las revistas científicas (journal) se...

Pokes y cargadores (III)

Como vimos en entradas anteriores [1,2], es posible manipular la lógica de un videojuego, de modo que modificamos las reglas que rigen su mundo virtual. Esta circunstancia se puede usar para ajustarlas más a nuestro gusto, o simple y llanamente, hacer trampas. Para evitarlo, el desarrollador puede intentar complicar todo lo posible el formato de la lógica y los datos del programa, dificultando así el proceso de ingeniería inversa. Sin embargo, esta situación llama a la reflexión. En entornos multijugador, es normal intentar mantener a raya a los tramposos, ya que en caso contrario se comete una injusticia contra el resto de jugadores. Pero en una actividad de un solo jugador como son la mayoría de videojuegos ¿qué tiene de malo hacer trampas? En el fondo, es algo personal del propio jugador y su orgullo ante el reto que se le propone. No tiene sentido que el desarrollador intente evitarlo a toda costa. Igual que un libro de pasatiempos tiene las soluciones al final, existen casos donde son los propios desarrolladores los que ofrecen los mecanismos para cambiar las reglas del juego. De este modo, un jugador puede avanzar, pero si se queda encallado por algún motivo, existen pequeños atajos para seguir avanzando igualmente, en vez de tener que dejar apartado el juego. O ¡qué caramba!, a veces también es divertido pasar del reto y vivir una fantasía de poder, alargando la vida útil del juego. Los casos más habituales son los “cheat codes“, o códigos de trampas, que los programadores incorporan en el programa. A través de una oscura combinación de teclas o de alguna contraseña especial, se...