Da verktøyet ChatGPT3 ble offentliggjort, ble det tydelig for mange lærere at det fremover vil bli utfordrende å skille mellom hva som er skrevet av deres elever, og hva som er skrevet av kunstig intelligens. Heldigvis finnes det flere verktøy som gjør lærerne i stand til å vurdere om en tekst er menneskeskapt. I denne artikkelen har vi laget en liste over verktøy som finnes tilgjengelig på nett, og som kan brukes til å finne ut om en tekst er skrevet av kunstig intelligens. Vi har også testet om de fungerer med tekst skrevet på norsk.
Metode
For å vurdere om verktøyene fungerer har vi brukt ChatGPT til å skrive en kort tekst som vi brukte de forskjellige verktøyene til å analysere. Denne teksten er 100 prosent skrevet av kunstig intelligens, og resultatene fra analysene vil gi oss en indikator på om de er i stand til å skille mellom tekst skrevet av mennesker og maskiner. Vi har også skrevet en original tekst på norsk, med uvanlig setningsoppbygging og unaturlig ordvalg. Denne teksten vil, på andre siden av skalaen, indikere om verktøyene forstår hva som er skrevet av et menneske. Her er teksten vi bruker i testene:
Tekst 1: Skrevet ved hjelp av kunstig intelligens
Tekst 2: Skrevet av et menneske
Writer.com sin AI Content Detector
På denne siden vil du kunne kopiere inn tekst, og få en prosentvis vurdering av om teksten er skrevet av et menneske eller en maskin. Det fremgår ikke hvordan detektoren fungerer.
https://writer.com/ai-content-detector/
Writer.com sin AI Content Detector sier at det kun er 15% av tekst 1 som er skrevet av et menneske.
Resultatet her vil gi deg en indikator, men kanskje ikke være tilstrekkelig.
Når vi tester om verktøyet klarer å tolke tekst 2 skrevet av et menneske på norsk, ser vi at den treffer veldig bra. Fantastisk!
Gltr.io
GLTR (Giant Language Model Test Room), uttales glitter, er laget av forskere fra MIT og Harvard, og detektorens metode redegjøres grundig. Teksten analyseres ved at man vurderer sannsynligheten for at ett ord kommer etter det forrige ordet. For eksempel er det høy sannsynlighet for at «er» kommer etter jeg. Jeg er. Og det er lav sannsynlighet for at order «fermenterer» kommer etter jeg. Jeg fermenterer.
http://gltr.io/dist/index.html
Ord som er innenfor de topp 10 mest sannsynlige ordene blir markert grønne. Ord som er innenfor topp 100 blir markert gule. Topp 1000 markeres med rødt, og større avvik markeres med lilla.
Med teksten skrevet av ChatGPT får vi disse resultatene:
En tekst med mye grønt og gult antyder at det er en maskin som har som oppgave å finne det neste ordet med høyest sannsynlighet for å være riktig, som har skrevet teksten. Et menneske vil bruke mer tilfeldige ord og setningsoppbygging. Problemet er at dette verktøyet er laget for det engelske språk, og dermed analyserer tekster ut ifra engelske ord. Når vi tester tekst 2, som undertegnede har skrevet, blir dette tydelig.
Her har verktøyet delt opp de norske ordene sånn at de passer med engelske ord. Dermed blir resultatet mye rødt og lilla, basert på ufullstendige ord. Dette verktøyet burde kun brukes på elevenes engelske tekster.
GPT-2 Output Detector Demo
Dette verktøyet fungerer også ved at man kopierer inn tekst, og får en prosentvis vurdering av om teksten er skrevet av et menneske eller en maskin. Metoden er ikke beskrevet, men det presiseres at den blir mer nøyaktig jo mer tekst den får å jobbe med.
https://huggingface.co/openai-detector/
Resultatene fra testen med tekst 1, skrevet av ChatGPT, gir en indikasjon på at 99,98% av teksten er skrevet av kunstig intelligens.
Dette verktøyet virker å ha bedre evne til å vurdere tekst skrevet på norsk. Den gir tekst 2 en vurdering på 99,81% sannsynlighet for at den er skrevet av et menneske.
Oppsummering
Det er altså flere verktøy tilgjengelig på nett som lærere kan bruke til å vurdere om tekstene elevene leverer inn er skrevet av dem selv eller av kunstig intelligens. Vi kan forvente at verktøyene for å oppdage tekst skrevet av kunstig intelligens vil bli bedre i takt med at den kunstige intelligensen utvikler seg.
Kjenner du til andre verktøy som kan brukes, del de gjerne i kommentarfeltet under.
Man bør absolutt ikke stole blindt på disse testene, og med det tempoet teknologien har endret seg bare på et par måneder er det uvisst om disse verktøyene vil ha noen nytteverdi fremover.