Ormai é considerato uno strumento chiave nell’editoria. Dopo l’ultimo update di Google sui contenuti utili migliaia di “creatori di contenuti” sono dovuti correre ai ripari dopo aver inondato i loro canali di spazzatura (Contenuti 100% AI). In altri articoli abbiamo parlato dei migliori AI detector che esistono sul web. In questo articolo invece vediamo come testare un AI detector da usare per cercare di salvare il salvabile.
Testare un AI detector: fattore precisione
Tra i diversi fattori chiave da considerare, il primo è la precisione. È importante verificare quanto accuratamente identifichi le rigide strutture robotiche nel testo. Dall’altro lato, é necessario che non confonda testi puramente umani con le opere dei sui colleghi “intelligenti”. Tutto questo può essere valutato proponendo al detector dei testi di riferimento ben conosciuti. Inoltre, è utile considerare anche la sensibilità del rilevatore, ovvero la sua capacità di rilevare anche parti del testo meno evidenti. Un rilevatore con una buona scala di sensibilità sarà in grado di sottolineare anche le parti meno sospette.
Testare la velocità di un AI detector
Un altro fattore da considerare è la velocità del rilevatore. Anche se non é fondamentale, un AI detector efficiente dovrebbe essere in grado di analizzare e rilevare la presenza di AI in tempo reale o comunque con tempi di elaborazione molto brevi. La velocità non è particolarmente importante in applicazioni che non richiedono una risposta immediata, ma é sempre apprezzabile. Nel caso si utilizzino APIs, come quelle che offre GPTZero, allora la velocità assume un aspetto molto più rilevante.
Il nostro metodo
Chi si occupa di questo blog ha sia un back ground classico che scientifico e usa spesso testi classici. Per questo motivo, i riferimenti chiave irremovibili per la valutazione di un testo 100% umano sono i classici della letteratura. Ci piace usare sia Dante Alighieri che Alessandro Manzoni. Come strumento useremo Undetectable.ai, comodissimo, molto semplice e intuitivo e ottimo anche per umanizzare testi ai.
Ma ecco i nostri due Maestri dati in pasto per primi all’AI detector:
Con Dante non si scherza e il risultato dato dall’ai detector é corretto. Passiamo al Manzoni e vediamo cosa succede…
Anche qui tutto come previsto, nessuna sorpresa da parte di Undetectable.
Ora vediamo come si comporta con la AI vera. Abbiamo trovato un articolo su The Guardian, “A robot wrote this entire article. Are you scared yet, human?” che pare sia stato scritto completamente dall’intelligenza artificiale (ChatGPT 3 in questo caso). Aspettiamoci di vedere qualche allarme.
E infatti, da buon AI detector, ha scovato perlomeno 3 possibili intelligenze artificiali che ci hanno messo le mani. Questo passaggio dimostra abbastanza bene la sensibilità del detector. Come dicevamo prima, é importante trovare anche i segni più piccoli della presenza di AI.
In realtà ora non ci sarebbe neanche bisogno di testare con ChatGPT & Company poiché i risultati sarebbero scontati. Il pregio più grande di un AI detector rimane comunque quello di non giudicare il lavoro di un umano come qualcosa di scarsa qualità, indipendentemente dal contenuto. Preservare la conoscenza e le abilità umane rimane al primo posto tra i compiti delle macchine. E ormai, sia Google che Amazon (sulla piattaforma di self publishing KDP) riconoscono benissimo tutto ciò che viene generato artificialmente…
Ci siamo occupati del tema umanizzazione dei testi AI in un altro articolo elencando i tool migliori per farlo e anche di come umanizzare un testo AI manualmente. Ma comunque sia, se non usano gli strumenti migliori, si rischia di restare tagliati fuori in ogni caso.
E ora il nostro amico ChatGPT
Ma torniamo a noi ed ecco il risultato con ChatGPT. Gli abbiamo chiesto di scrivere un blog post a modo suo e nella sua madrelingua, l’inglese, pensando potesse esprimersi meglio e con più disinvoltura…
…E questi sono i risultati. Ciò significa che il nostro AI detector funziona bene a ChatGPT non si smentisce.
