Las mentiras de la evaluación científica

Pues mira, has conseguido que me irrite cinco minutos, pero ya no. Que lo sepas. No te vas sin dedicatoria. El motivo del título de esta entrada es contar una de nuestras recientes y lamentables experiencias con el cacareado sistema de evaluación por pares. El destinatario es un congreso internacional que se encuentra entre los cincuenta primeros del JCR, y que, teóricamente, evalúa con rigor y es serio. Y uno de sus evaluadores. Cancamusa. La historia: enviamos un trabajo a un congreso, evidente, y esperamos los resultados. Siempre supones que los resultados serán consistentes. Sabes que te van a someter a un par de evaluadores ciegos, y que harán la media aritmética (muy científica, una media sin más), y que seguramente serán parecidas. Si no tienes nivel, pues no vas, y aquí paz y después gloria.

Pues ayer recibimos los resultados. La diferencia entre ambas evaluaciones es abismal. Y me voy a tomar la libertad corsaria de copiarlas seguidamente, tal y como son:

• OVERALL RATING: 3 (strong accept)
• REVIEWER’S CONFIDENCE: 2 (medium)
• Technical Quality (Theoretical soundness/methodology): 5 (excellent)
• Presentation (Structure/English): 4 (good)
• Originality (Newness of the ideas expressed): 4 (good)
• Significance (Is the problem worth the given attention?): 5 (excellent)
• Relevance (Paper fits one or more of the topic areas?): 4 (good)

This paper describes parts of a project to… (secreto de sumario, lo siento). It focuses on the use of multiple levels of description, which go well beyond simple XML tags and on how the use of grammatical analysis improves the ability to find correlations among entities and events that should be related in the final product. The paper has a very useful related work section. The paper contains a brief evaluation, which is sufficient to convince the reader or the promise of the approach. However, the authors should include a reference or link to a more complete evaluation. The paper is very well written and organized. …y termina con una detallada descripción de elementos, indicando además correcciones al texto.

• OVERALL RATING: -1 (weak reject)
• REVIEWER’S CONFIDENCE: 3 (high)
• Technical Quality (Theoretical soundness/methodology): 2 (poor)
• Presentation (Structure/English): 3 (fair)
• Originality (Newness of the ideas expressed): 3 (fair)
• Significance (Is the problem worth the given attention?): 2 (poor)
• Relevance (Paper fits one or more of the topic areas?): 4 (good)

I coudn’t find what’s new in the paper. There have been already proposed tremendous amount of similar efforts and achievements on this topic in, say, WWW, I/ESWC and many other conferences. The authors must be aware of them. The research seems in progress and the evaluation is rather weak.

Pero bueno ¿esto que es? La diferencia entre evaluadores es demoledora. Uno que se lo toma en serio y hace bien su trabajo, y otro que se despacha con tres líneas indocumentadas. Lamentablemente el “tipo 2″ parece ser abundante en los congresos internacionales de campanillas. Además de no justificar nada de lo que escribe, aún encima insulta al autor indicando que nos miremos la bibliografía. Además de maleducado, el “tipo 2″ es un ignorante pretencioso. No es por nada, pero de nuestro tema hay más bien poco, y esta propuesta es innovadora. Ah, claro, ya empiezo a ver cual es el problema, que ya he detectado en otros congresos/revistas:

1. Los autores son españoles… lamentable pero cierto. Hemos presentado cosas a congresos que se publicaban en Springer, y entraban en factor de impacto, en los cuales los trabajos se enviaban a los revisores con los nombres y filiaciones de los autores. Ahí es nada. Luego veías trabajos del mismo tipo en el congreso, que no aportaban nada, pero, claro, es que el autor era alemán, estadounidense y de una universidad “que sonaba”… recuerdo uno en el que nos recomendaron enviarlo a otro congreso… para luego descubrir que un estadounidense de una empresa patrocinadora presentaba algo parecido, pero teórico, mientras que el nuestro era operativo.
2. El revisor tiene que proteger el impacto de su propio círculo, algo también muy común… si yo evalúo, o si los míos (o yo) presentamos trabajo/s, castigo a los que me toca evaluar para aumentar las posibilidades de aceptación de los míos. Sí, eso también pasa, puedo dar fe de ello. Este es un problema que nos puede afectar a muchos, pero que procuro evitar. Recuerdo un congreso nacional en el que un revisor estaba en cuatro trabajos presentados y publicados, qué capacidad científica tan loable…

Ya sé, ya sé.. éste se ha picado porque se cree muy listo y le han dado en la testa. Pues no es eso. Hemos presentado trabajos en muchos congresos y revistas, y hemos entrado y nos han rechazado con razones, y no hay más que decir, excepto mejorar para la próxima. Esto es un juego, unas veces ganas y otras pierdes, pero lo menos que podemos pedir a los revisores es que no hagan trampas, no para la casa, sino para ellos mismos. Y si no sabes del juego, pues pásalo a otro revisor, que seguro sabrá de qué va la mano. Cuando he estado de revisor, he sido duro, lo reconozco, pero de lo que no sabía lo enviaba a otro. Cuando me ha tocado coordinar un comité, en caso de duda siempre se ha pedido un tercer revisor. Aquí con un simple promedio solucionan los problemas de evaluación. Interesante… y muy científico.

Todos sabemos que hay gente que se recorre el mundo haciendo turismo, aprovechando su “capacidad” para colocar o ser colocado continuamente en congresos o en cursos y seminarios. Y de congresos cuyo comité científico es un grupo de amigos o coincidentes que se repiten año tras año, y cuya actividad evaluadora tiende a cero. Mi irritación no me hace meter a todos en el mismo saco: hay congresos muy duros, serios y rigurosos, congresos más suaves, pero serios, y gente que realmente cumple bien con su cometido. Mis excusas, y mi confianza, a todos ellos. No hay que generalizar ni pagar justos por pecadores. Pero haberlo, haylo.

Y termino con otro ejemplo real: congreso prestigioso internacional, el segundo o tercero de su temática en el mundo, me toca evaluar un trabajo… me suena, me suena… cáspita, si esto es un trabajo final de curso publicado en el web de un departamento, presentado a evaluar en una revista, y ahora el professor se pone de autor con los estudiantes para presentarlo como investigación original… lo remito con pelos, señales y el url al chairman para que lo retiren… y la respuesta silenciosa es no decirme nada, se acepta como trabajo, se presenta y se publica… sí, como podéis imaginar, los papers se enviaron incluyendo autores y filiación, y claro, a ver quién le dice que no a uno de los popes del tema: ah, el tramullas ese, quién iba a ser…