Declaració: pràctiques i índexs de publicació i el paper de la revisió per iguals en l'avaluació de la recerca

El Comitè per a la Llibertat i la Responsabilitat en la Conducta de la Ciència (CFRS) de l'ICSU li preocupa que algunes de les polítiques i pràctiques que estan adoptant actualment les institucions científiques i els editors de revistes puguin soscavar inadvertidament la integritat de la literatura científica. Això es veu agreujat per l'ús acrític de les mètriques de publicació, com a reemplaçament de la revisió per parells independent, en l'avaluació del rendiment científic. En assenyalar aquestes preocupacions a les organitzacions membres de l'ICSU, s'espera que prenguin mesures per garantir la qualitat del registre científic i promoure un enfocament prudent i crític de l'ús de mètriques de publicació en l'avaluació de la investigació.

Assumptes de preocupació:

• A l'hora de fer nomenaments de carrera i atorgar subvencions, el registre de publicacions dels sol·licitants, i en particular el nombre i el suposat impacte de les publicacions, sovint és un criteri principal. Això crea, sense voler, incentius per a publicacions duplicades, publicacions dividides, publicacions de poc valor i autoria honorífica.
• Els factors d'impacte de la revista donen una indicació del nombre mitjà de cites que s'espera d'un article d'una revista en particular, però aquestes xifres són fàcilment malinterpretades. Per exemple, es poden veure influenciats per la proporció de ressenyes i articles primaris. Les citacions per a qualsevol article individual poden ser molt més altes o inferiors a les esperades del factor d'impacte.
• Tot i que el nombre de cites pot donar una indicació de la qualitat d'una publicació, això no és necessàriament així. Els articles veritablement nous i molt importants poden atraure poca atenció durant diversos anys després de la seva publicació. Un article incorrecte pot generar diverses cites a partir d'articles que el rebutgen, i el nombre de citacions es pot augmentar mitjançant l'autocitació. El nombre de citacions també tendeix a ser més gran per a les ressenyes que per als articles primaris.
• El valor que s'atribueix als registres de publicacions i citacions pot pressionar els científics perquè publiquin massa aviat, o exagerin i sobreinterpretin els resultats. També pot, en situacions extremes, promoure mala conducta científica, en la qual els resultats són fabricats, falsificats o plagiats.
• Com a resultat de la pressió per publicar, un nombre creixent de manuscrits s'envien a diverses revistes abans que finalment siguin acceptats. Això augmenta la càrrega dels revisors, cosa que en última instància disminueix l'exhaustivitat del procés de revisió. Els enviaments i revisions múltiples d'un mateix treball poden retardar la comunicació de resultats importants i es pot argumentar que multiplicar el nombre de ressenyes rarament impedeix la publicació eventual de treballs de mala qualitat.
• Els mitjans alternatius de publicació en arxius electrònics no revisats o no revisats per experts, en pàgines d'inici individuals o institucionals o blocs, són cada cop més populars. Tot i que aquests mitjans obren noves possibilitats i milloren l'accessibilitat general a les publicacions, també augmenten la disponibilitat d'informació menys significativa o possiblement enganyosa.

A CFRS li preocupa que les polítiques i pràctiques actuals puguin tenir efectes greus en la qualitat del treball científic en general i augmentar la càrrega dels revisors de les revistes. Qualsevol augment innecessari del volum de publicacions científiques amenaça un procés de revisió adequat, que és essencial per mantenir els estàndards d'exactitud i integritat.

A més del seu paper en la publicació científica, el Comitè considera que la revisió per parells rigorosa i imparcial és el mecanisme més important per jutjar la qualitat del treball científic i dels projectes científics. Establir i mantenir bons processos de revisió per iguals és en si mateix un repte i es reconeix que pot haver-hi beneficis en utilitzar mesures i mètriques quantitatives com a complement d'aquest procés. Tanmateix, l'aparent simplicitat i l'atractiu d'aquests índexs numèrics no hauria d'amagar el seu potencial de manipulació i interpretació errònia i, per tant, només s'han d'utilitzar amb molta precaució.

Com que les normes per al número de publicació, les convencions d'autoria i les citacions difereixen d'un camp a un altre, els judicis i les polítiques sovint els fan millor els companys amb experiència en la mateixa àrea. CFRS insta les organitzacions membres de l'ICSU a estimular la discussió sobre criteris d'avaluació científica, indicadors de carrera i registres de publicacions, amb l'objectiu de promoure un sistema que pugui servir millor la ciència en general. En lloc d'aprendre a sobreviure en una cultura de "publicar o morir", s'hauria d'encoratjar i donar suport als joves científics per produir comunicacions científiques d'alta qualitat que aportin una contribució real al progrés científic.

Les qüestions a considerar, pel que fa a l'ús de mètriques per avaluar el rendiment de la investigació, inclouen:

• A l'hora de jutjar les sol·licituds de subvencions i posicions, quin és l'equilibri òptim entre la revisió directa per iguals, inclosa la lectura d'articles rellevants, i l'ús de mesures quantitatives basades en els registres de publicacions?
• En avaluar els registres i el rendiment de publicacions, quina ponderació s'ha d'aplicar al número de publicació, factors h, factor d'impacte de la revista, número de citació, publicació primària versus revisió?
• Tenint en compte que les convencions varien considerablement d'un camp a un altre, quant de crèdit s'ha de donar a la primera autoria, l'última, l'autoria mitjana o l'autoria corresponent? En alguns camps, la prevalença de l'"autoria fantasma" també és un tema de considerable preocupació*.
• Quin crèdit s'ha de donar a les publicacions prèvies i altres publicacions electròniques, siguin o no revisades per parells? S'han de tenir en compte índexs d'impacte com ara clics, descàrregues o enllaços?
• S'ha de limitar el nombre de publicacions que compten per a ajuts o nomenaments? Per exemple, només s'han de tenir en compte les tres millors publicacions a l'any? Fins i tot els científics haurien de ser penalitzats per l'autoria de més de, per exemple, 20 publicacions a l'any? [Aquests límits poden semblar contraris a la intuïció, però ajudarien a promoure una cultura en la qual tots els autors hagin contribuït genuïnament a les publicacions en què apareixen els seus noms.]
• Quina ponderació s'hauria de donar a altres mesures quantitatives dels resultats de la recerca, com ara les sol·licituds de patents, les patents concedides o les patents amb llicència?
  El Comitè és conscient que la discussió de moltes d'aquestes qüestions ja està en marxa en alguns països i algunes àrees de la ciència, però suggereix que el debat s'ampliï a tota la comunitat científica internacional. En compartir opcions i estratègies, s'espera que la comunitat científica global pugui beneficiar-se de les experiències d'organitzacions individuals.

*Vegeu, per exemple, Ross et al, JAMA 299, 1800-1812 (2008).

apèndix

Mentre s'estava desenvolupant aquesta declaració, la Unió Matemàtica Internacional va publicar l'informe Estadístiques de cites, que és una anàlisi crítica detallada de l'ús de les dades de cites per a l'avaluació científica. Una conclusió principal d'aquest informe és: tot i que tenir un sol número per jutjar la qualitat és realment senzill, pot conduir a una comprensió superficial d'alguna cosa tan complicada com la investigació. Els números no són inherentment superiors als judicis sòlids.

Informe estadístic de citacions

Sobre aquesta afirmació

Aquesta declaració és responsabilitat del Comitè de Llibertat i Responsabilitat en la Conducta de la Ciència (CFRS), que és un comitè polític del Consell Internacional per a la Ciència (ICSU). No reflecteix necessàriament les opinions de les organitzacions membres de l'ICSU.

Descarrega la declaració