Sulla carta, Ike Antkare figura tra i primi dieci ricercatori del mondo in informatica. Eppure non esiste. Il suo creatore, il ricercatore Cyril Labbé, dimostra così i limiti della valutazione “quantitativa” basata sul numero di citazioni sui motori di ricerca
POLITICA – Nato quest’anno, Ike Antkare è già uno dei primi dieci ricercatori in informatica esistenti e figura tra i cento scienziati più famosi del mondo, davanti anche ad Albert Einstein. Questo piccolo genio dell’International Institute of Technology United Slates of Earth ha pubblicato, secondo Google Scholar, centodue articoli che sono stati ripresi e citati a più riprese: almeno sulla carta.
Già, perché questo celebre ricercatore non esiste. È stato inventato di sana pianta da Cyril Labbé, docente all’Université Joseph Fourier di Grenoble, Francia, per dimostrare la mancanza di affidabilità di una valutazione basata su criteri strettamente bibliometrici. Il risultato della farsa è conclusivo: “l’indice-h di Ike Antkare, che misura il numero di pubblicazioni e citazioni, è salito fino a 98″, precisa l’inventore.
Cyril Labbé, trentasette anni, è ricercatore in informatica. “Lavoro sui database e sui flussi di dati”, specifica. All’interno dei laboratori e delle strutture universitarie, il dibattito sull’utilizzo degli strumenti di valutazione “quantitativa” non cessa di essere al centro delle attenzioni e Labbé è preoccupato: “Quando i docenti e i ricercatori vengono valutati, le commissioni si basano sui loro CV, sui rapporti e sulle pubblicazioni. Utilizzano la bibliometria per misurare il numero di volte in cui sono citati nelle riviste a revisione paritaria (peer reviews) o nelle conferenze”.
Vengono utilizzati strumenti come Wok (ISI Web of Knowledge), Scopus e soprattutto il programma gratuito Google Scholar. “Si ottiene così l’indice-h: un indice-h pari a 10 significa che si hanno dieci pubblicazioni citate almeno 10 volte”. I pericoli di una simile valutazione erano già stati denunciati da Lindsay Waters, responsabile delle edizioni universitarie di Harvard. Labbé sottolinea a sua volta gli effetti perversi del sistema: “Anche se si utilizzano numerosi indici, non si sa come Google Scholar effettui la misura, e ciò rende pericolose le comparazioni”. Le citazioni di Ike Antkare sono prive di fondamento, ma allo stesso tempo un indice-h pari a 98 è un risultato eccellente. In Italia, come negli Stati Uniti, le classificazioni servono sempre più come riferimento, soprattutto in materia di assunzione nelle università.
“Avevo constatato che citazioni di diversi ricercatori apparivano come prese da due articoli differenti, mentre in realtà si trattava dello stesso”, ricorda Labbé. Ha così cominciato a testare Google Scholar mettendo in linea sulla sua pagina web una serie di documenti… che sono stati rapidamente contabilizzati, aumentando il suo indice-h. “Allora ho continuato il test su scala più larga creando questo ricercatore, a cui corrispondono decine di articoli che si citano gli uni con gli altri”. Labbé ha utilizzato un generatore di testi inventato da alcuni studenti dell’MIT (Scigen) che crea articoli che combinano frasi in modo aleatorio. “Il risultato somiglia a un vero articolo scientifico. Viene riportato da Google Scholar anche se non ha assolutamente alcun senso”. A Cyril non restava che trovare un nome per il suo ricercatore, Ike Antkare, un organismo fittizio e una fonte reale per renderlo credibile. “I suoi cento articoli si riferiscono a un articolo che mi cita e che è l’unica vera fonte”.
Per Labbé, l’obiettivo è mettere in guardia gli utenti di Google Scholar, anche se egli stesso ne riconosce l’utilità: “Poter ritrovare gli autori che ci citano e comprendere perché utilizzino i nostri lavori è certamente interessante per le nostre ricerche, a lungo andare”. Basta non affidarvisi troppo.
