Come da tempo sapete (almeno chi frequenta il sito e/o mi conosce di persona), il sottoscritto è appassionato di scienza, di metodo scientifico e dell’evoluzione di questo (quello che il buon Bacone chiamava l’”The Advancement of Learning”). Negli ultimi decenni, anche grazie all’avvento di internet, la “produzione scientifica”, ovvero il numero degli articoli che appaiono su riviste scientifiche è letteralmente “esploso” e i ricercatori, per avere sovvenzioni e finanziamenti (o anche solo per gloria personale), hanno preso a produrre più “paper” possibile, talvolta anche a scapito della qualità (capitolo a parte fanno quelli che falsificano le ricerche, che è il punto di questo breve scritto).
E’ l’ormai famoso (e famigerato) motto “Publish or Perish” (Pubblica o muori) che ha portato non solo una serie di ricercatori a “barare”, ma anche una serie di giornali scientifici a pubblicare la qualsivoglia, senza fare un controllo serio e serrato di ciò che arriva nelle redazioni.
Molti sono stati i tentativi di arginare questa deriva, dalla doppia review (revisione) degli articoli, all’IF (impact factor) delle riviste, ma la cosa sembrava sfuggire di mano. Ecco che, con l’avvento dell’IA, a fronte di centinaia e centinaia di articoli da revisionare per ogni singolo revisore (che, è giusto ricordarlo, nella sta-grandissima maggioranza dei casi lavora GRATIS), veniva in aiuto un sistema semi-automatico che “scansionava” i documenti e trovava velocemente gli errori più pacchiani/evidenti, lasciando poi il lavoro “di fino” al revisore umano.
Tutto bene verrebbe da dire.
E invece, da qualche tempo, i revisori vedevano strani “comportamenti” delle IA, ovvero passavano la prima filtratura dei lavori che, una volta analizzati, apparivano effettivamente falsificati, anche in maniera abbastanza grossolana. Quindi si sono chiesti che cosa non funzionasse, sono andati a controllare in profondità questi documenti e hanno trovato la sorpresa: i documenti nascondevano letteralmente all’occhio umano (usando font bianchi, fonti piccolissimi ed altri trucchi) una serie di contenuti -che, però, erano “visti” dalla IA - e che la “forzavano” a considerarli validi e a passare questa prima revisione. (qui sotto un esempio di come funziona la cosa)
La cosa ha provocato, giustamente, sdegno nella comunità scientifica e anche qualche fondato dubbio sulla affidabilità complessiva delle IA nel lavoro di revisione dei documenti.
Che dire? E’ una buona cosa che il mondo della scienza abbia gli “anticorpi” per difendersi da questi “virus” che vanno ad intaccare la scienza stessa, d’altro canto servirebbe una revisione globale di come viene “prodotta” la scienza nel tempo della IA e della tecnologia avanzata.
Per chi volesse approfondire la cosa, metto il link al bell’articolo (in inglese) che Nature ha dedicato a questa vicenda.
