Lo strumento digitale individua il testo accademico generato da ChatGPT con una precisione del 99%.

LAWRENCE — Heather Desaire, una chimica che utilizza l'apprendimento automatico nella ricerca biomedica presso l'Università del Kansas, ha presentato un nuovo strumento che rileva con una precisione del 99% il testo scientifico generato da ChatGPT, il generatore di testo dell'intelligenza artificiale.

La rivista peer-reviewed Cell Reports Physical Science ha pubblicato una ricerca che mostra l’efficacia del suo metodo di rilevamento dell’intelligenza artificiale, insieme a un codice sorgente sufficiente per consentire ad altri di replicare lo strumento.

Desaire, presidente della cattedra di Chimica Keith D. Wilner presso la KU, ha affermato che sono urgentemente necessari strumenti accurati di rilevamento dell’intelligenza artificiale per difendere l’integrità scientifica.

"ChatGPT e tutti gli altri generatori di testo AI simili inventano fatti", ha detto. "Nell'editoria scientifica accademica - scritti sulle nuove scoperte e sui progressi della conoscenza umana - non possiamo davvero permetterci di inquinare la letteratura con falsità dal suono credibile. Farebbero inevitabilmente strada nelle pubblicazioni se i generatori di testo AI fossero comunemente usati. Per quanto ne so, non esiste un modo infallibile per trovare quelle "allucinazioni", come vengono chiamate, in modo automatizzato. Una volta che si inizia a popolare fatti scientifici reali con sciocchezze inventate sull'intelligenza artificiale che sembrano perfettamente credibili, quelle pubblicazioni diventeranno meno affidabili e meno preziosi."

Ha affermato che il successo del suo metodo di rilevamento dipende dal restringimento dell’ambito della scrittura sotto esame alla scrittura scientifica del tipo che si trova comunemente nelle riviste sottoposte a revisione paritaria. Ciò migliora la precisione rispetto agli strumenti di rilevamento dell’intelligenza artificiale esistenti, come il rilevatore RoBERTa, che mirano a rilevare l’intelligenza artificiale nella scrittura più generale.

"Si può facilmente creare un metodo per distinguere la scrittura umana da quella ChatGPT che sia estremamente accurato, dato il compromesso che ci si limita a considerare un particolare gruppo di esseri umani che scrivono in un modo particolare", ha detto Desaire. "I rilevatori di intelligenza artificiale esistenti sono generalmente progettati come strumenti generali da sfruttare su qualsiasi tipo di scrittura. Sono utili per lo scopo previsto, ma su qualsiasi tipo specifico di scrittura non saranno accurati come uno strumento costruito per quello." scopo specifico e ristretto."

Desaire ha affermato che i docenti universitari, gli enti che erogano sovvenzioni e gli editori necessitano tutti di un modo preciso per rilevare i risultati dell’intelligenza artificiale presentati come lavoro di una mente umana.

"Quando inizi a pensare al 'plagio dell'intelligenza artificiale', un'accuratezza del 90% non è sufficiente", ha detto Desaire. "Non si può andare in giro ad accusare le persone di usare di nascosto l'intelligenza artificiale e sbagliarsi spesso in quelle accuse: l'accuratezza è fondamentale. Ma per ottenere l'accuratezza, il compromesso è molto spesso la generalizzabilità."

I coautori di Desaire provenivano tutti dal suo gruppo di ricerca alla KU: Romana Jarosova, professoressa assistente di ricerca di chimica alla KU; David Huax, analista dei sistemi informativi; e gli studenti laureati Aleesa E. Chua e Madeline Isom.

Il successo di Desaire e del suo team nel rilevare il testo dell'intelligenza artificiale potrebbe derivare dall'alto livello di intuizione umana (rispetto al rilevamento di modelli di apprendimento automatico) impiegato nell'ideazione del codice.

"Abbiamo utilizzato un set di dati molto più piccolo e un intervento molto maggiore da parte dell'uomo per identificare le differenze chiave su cui il nostro rilevatore poteva concentrarsi", ha affermato Desaire. "Per essere precisi, abbiamo costruito la nostra strategia utilizzando solo 64 documenti scritti da persone e 128 documenti di intelligenza artificiale come dati di addestramento. Si tratta forse di 100.000 volte più piccoli della dimensione dei set di dati utilizzati per addestrare altri rilevatori. Le persone spesso sorvolano sui numeri. Ma 100.000 volte: questa è la differenza tra il costo di una tazza di caffè e quello di una casa. Quindi, avevamo questo piccolo set di dati, che poteva essere elaborato molto velocemente, e tutti i documenti potevano essere effettivamente letti dalle persone. Abbiamo usato il nostro cervello umano Per trovare differenze utili nei set di documenti, non ci siamo basati sulle strategie per differenziare gli esseri umani e l’intelligenza artificiale sviluppate in precedenza”.

In effetti, il ricercatore della KU ha affermato che il gruppo ha sviluppato il proprio approccio senza fare affidamento sulle strategie degli approcci passati al rilevamento dell’intelligenza artificiale. La tecnica risultante presenta elementi completamente unici nel campo del rilevamento del testo tramite intelligenza artificiale.

"Sono un po' imbarazzato ad ammetterlo, ma non abbiamo nemmeno consultato la letteratura sul rilevamento del testo tramite intelligenza artificiale finché non abbiamo avuto in mano uno strumento di lavoro tutto nostro", ha detto Desaire. "Lo abbiamo fatto non basandoci su come gli informatici pensano al rilevamento del testo, ma usando invece la nostra intuizione su cosa avrebbe funzionato."