Da verktøyet ChatGPT3 ble offentliggjort, ble det tydelig for mange lærere at det fremover vil bli utfordrende å skille mellom hva som er skrevet av deres elever, og hva som er skrevet av kunstig intelligens. Heldigvis finnes det flere verktøy som gjør lærerne i stand til å vurdere om en tekst er menneskeskapt. I denne artikkelen har vi laget en liste over verktøy som finnes tilgjengelig på nett, og som kan brukes til å finne ut om en tekst er skrevet av kunstig intelligens. Vi har også testet om de fungerer med tekst skrevet på norsk.
Metode
For å vurdere om verktøyene fungerer har vi brukt ChatGPT til å skrive en kort tekst som vi brukte de forskjellige verktøyene til å analysere. Denne teksten er 100 prosent skrevet av kunstig intelligens, og resultatene fra analysene vil gi oss en indikator på om de er i stand til å skille mellom tekst skrevet av mennesker og maskiner. Vi har også skrevet en original tekst på norsk, med uvanlig setningsoppbygging og unaturlig ordvalg. Denne teksten vil, på andre siden av skalaen, indikere om verktøyene forstår hva som er skrevet av et menneske. Her er teksten vi bruker i testene:
Tekst 1: Skrevet ved hjelp av kunstig intelligens
Tekst 2: Skrevet av et menneske
Writer.com sin AI Content Detector
På denne siden vil du kunne kopiere inn tekst, og få en prosentvis vurdering av om teksten er skrevet av et menneske eller en maskin. Det fremgår ikke hvordan detektoren fungerer.
https://writer.com/ai-content-detector/
Writer.com sin AI Content Detector sier at det kun er 15% av tekst 1 som er skrevet av et menneske.
Resultatet her vil gi deg en indikator, men kanskje ikke være tilstrekkelig.
Når vi tester om verktøyet klarer å tolke tekst 2 skrevet av et menneske på norsk, ser vi at den treffer veldig bra. Fantastisk!
Gltr.io
GLTR (Giant Language Model Test Room), uttales glitter, er laget av forskere fra MIT og Harvard, og detektorens metode redegjøres grundig. Teksten analyseres ved at man vurderer sannsynligheten for at ett ord kommer etter det forrige ordet. For eksempel er det høy sannsynlighet for at «er» kommer etter jeg. Jeg er. Og det er lav sannsynlighet for at order «fermenterer» kommer etter jeg. Jeg fermenterer.
http://gltr.io/dist/index.html
Ord som er innenfor de topp 10 mest sannsynlige ordene blir markert grønne. Ord som er innenfor topp 100 blir markert gule. Topp 1000 markeres med rødt, og større avvik markeres med lilla.
Med teksten skrevet av ChatGPT får vi disse resultatene:
En tekst med mye grønt og gult antyder at det er en maskin som har som oppgave å finne det neste ordet med høyest sannsynlighet for å være riktig, som har skrevet teksten. Et menneske vil bruke mer tilfeldige ord og setningsoppbygging. Problemet er at dette verktøyet er laget for det engelske språk, og dermed analyserer tekster ut ifra engelske ord. Når vi tester tekst 2, som undertegnede har skrevet, blir dette tydelig.
Her har verktøyet delt opp de norske ordene sånn at de passer med engelske ord. Dermed blir resultatet mye rødt og lilla, basert på ufullstendige ord. Dette verktøyet burde kun brukes på elevenes engelske tekster.
GPT-2 Output Detector Demo
Dette verktøyet fungerer også ved at man kopierer inn tekst, og får en prosentvis vurdering av om teksten er skrevet av et menneske eller en maskin. Metoden er ikke beskrevet, men det presiseres at den blir mer nøyaktig jo mer tekst den får å jobbe med.
https://huggingface.co/openai-detector/
Resultatene fra testen med tekst 1, skrevet av ChatGPT, gir en indikasjon på at 99,98% av teksten er skrevet av kunstig intelligens.
Dette verktøyet virker å ha bedre evne til å vurdere tekst skrevet på norsk. Den gir tekst 2 en vurdering på 99,81% sannsynlighet for at den er skrevet av et menneske.
Oppsummering
Det er altså flere verktøy tilgjengelig på nett som lærere kan bruke til å vurdere om tekstene elevene leverer inn er skrevet av dem selv eller av kunstig intelligens. Vi kan forvente at verktøyene for å oppdage tekst skrevet av kunstig intelligens vil bli bedre i takt med at den kunstige intelligensen utvikler seg.
Kjenner du til andre verktøy som kan brukes, del de gjerne i kommentarfeltet under.
Jeg testet en tekst som var generert via https://chat.openai.com/ på GPT-2 Output Detector Demo, og den kom ut som nesten 100% generert av mennesker….
Har teknologien blitt bedre enn hva lar seg avsløre?
P
Har testet den Huggingface og en til tiltenkt GPT3 med blandet resultater. Disse er stort sett laget for forrige runde av teknologien og vil alltid henge etter. Det er også veldig uklart hvordan de vil fungere på mer skreddersydd verktøy som WordTune. Jeg tror dette er en blindvei i de fleste tilfeller – at tekster som gjennomgåes nøye for å finne ut om de er AI-generert vil være meget tidskrevende og lite sikkert.
Jeg har testet GPT-2 Output Detector Demo på norske 100% KI-genererte tekster, og får samme resultat som Per. Det endrer seg noe om jeg kjører den norske teksten gjennom Google Translate, men for meg virker det som dette verktøyet ikke fungerer veldig bra på norske tekster ennå.
Dette er jo ikke veldig overraskende, siden brorparten av tekstene som utgjør grunnlaget for disse verktøyene er engelske tekster.
Adrian
Hei, kan tekster skrevet ved hjelp av Lingdys komme uheldig ut i chatgpt-avslører-programmene? Har en tekst skrevet av en elev som er dyslektiker og har fått 18 % «human-generated» og «36% human-generated» på fire avsnitt i en tekst. https://writer.com/ai-content-detector/ ble brukt her. Da jeg prøvde en annen KI-detektor https://corrector.app/ai-content-detector/, kom denne eleven mye bedre ut. To elever som ble avslørt ved den første detektoren kom også dårlig ut i den andre detektoren. Kan jeg slutte av dette at dersom detektorene er uenige, kan det være til elevens fordel? Kan Lingdys spille inn uheldig for eleven slik at detektoren tror at det er «machine-made»? Er det andre som har opplevd lignende ting?
Stemte overhodet ikke med tekstene jeg prøvde. Er selv forfatter og testet både hugginface og Gltr. Io. Helt random svar, og når teksten var skrevet av meg så predikere den flere ganger at det var skrevet av AI. Så man bør ikke stole blindt på disse verktøyene.
Man bør absolutt ikke stole blindt på disse testene, og med det tempoet teknologien har endret seg bare på et par måneder er det uvisst om disse verktøyene vil ha noen nytteverdi fremover.