Är texten skriven av AI? Så långt räcker detektorerna

Texten ligger där i högen och är lite för jämn. Meningarna är välbyggda, styckena lagom långa, resonemanget prydligt men märkligt anonymt. Du läser den två gånger och känner det där i magen: det här låter inte som hen.

Och sedan står du med den obekväma frågan. Vad gör du nu, egentligen?

Detektorerna kan inte det du hoppas

Det första många gör är att klistra in texten i en AI-detektor. Problemet är att verktygen inte klarar uppgiften, och att de missar på ett sätt som drabbar fel elever.

En ofta citerad studie i tidskriften Patterns testade sju spridda GPT-detektorer på texter skrivna av människor. På uppsatser av amerikanska högstadieelever var träffsäkerheten närmast perfekt. På TOEFL-uppsatser skrivna av personer med engelska som andraspråk klassades över 61 procent felaktigt som AI-genererade00130-7). Forskarna kunde dessutom visa mekanismen: när de bytte ut enklare ordval mot mer avancerade i andraspråkstexterna sjönk flaggningen, och när de förenklade modersmålstalarnas texter steg den.

Detektorerna mäter alltså inte fusk. De mäter något i stil med förutsägbart språk, och elever som skriver enkelt och regelbundet ser statistiskt ut som en språkmodell. Det gör att risken för falsk anklagelse är störst hos den elev som redan har det tuffast: den som läser svenska som andraspråk, den som just börjat hitta sin skriftspråkliga stil, den som skriver försiktigt och formellt för att inte göra fel.

Skolverket är för sin del rakt på sak i sina råd om AI och chattbottar: det finns inget säkert sätt att avgöra om en text är skriven av AI, och myndigheten avråder från att använda inlämningsuppgifter som betygsunderlag utan kontroll.

Och magkänslan räcker inte heller

Den obekväma delen: forskningen ger inte heller stöd åt att erfarna lärare ser skillnaden. I en studie i Computers and Education: Artificial Intelligence fick både lärarstudenter och verksamma lärare bedöma en blandning av elevtexter och AI-genererade texter. Ingen av grupperna kunde skilja dem åt på ett tillförlitligt sätt, och båda grupperna var samtidigt mer säkra på sin sak än träffbilden motiverade.

Det är ingen anklagelse mot yrkeskåren. Det är samma sak som gäller alla mänskliga bedömningar av text: vi ser mönster, vi fyller i luckor och vi litar mest på oss själva när vi borde tveka. Vi har skrivit om den mekanismen i artikeln om osäkerhet vid betygssättning, och den gäller här också.

Sammantaget betyder det att varken verktyget eller magkänslan bär en anklagelse. Det som återstår är något annat, och faktiskt mer användbart.

Frågan är inte om eleven fuskat, utan om du har underlag

Vänd på problemet. Din uppgift är inte att bevisa vad som hänt utanför klassrummet. Din uppgift är att sätta ett betyg som speglar elevens kunskaper, och för det behöver du underlag du kan lita på.

En text du inte kan knyta till elevens kunnande är inte ett svagt underlag. Den är inget underlag alls. Den slutsatsen kräver ingen utredning, inget detektorpåslag och ingen konfrontation. Den kräver bara att du skaffar ett underlag till, under förhållanden där du vet vad du ser.

Det är också den enda vägen som är rättssäker åt båda hållen. Eleven som faktiskt skrivit själv slipper bli anklagad på lösa grunder. Eleven som lämnat in en AI-text får ändå visa vad hen kan, och betyget landar på kunskaperna i stället för på misstanken. Betyg är inte en disciplinär åtgärd, och ska aldrig användas som en.

Så gör du när misstanken kommer

Ha samtalet, men ställ inte diagnosen. Be eleven berätta om texten. Vad var svårast, varför valdes det här exemplet, vad ströks under vägen? Den som skrivit själv har alltid en process att berätta om.

Fråga efter arbetet, inte efter bekännelsen. Utkast, anteckningar, versionshistorik och källor säger mer än en detektorsiffra, och frågan är ställd till alla, inte riktad mot en.

Skaffa ett kontrollerat underlag. En kortare skrivuppgift i klassrummet, ett muntligt fördjupningssamtal om samma innehåll eller en uppföljande uppgift löser problemet utan att någon behöver anklagas.

Anklaga aldrig utifrån ett verktygsresultat. En detektorprocent är inget bevis, och en felaktig anklagelse kostar förtroende som tar lång tid att bygga tillbaka.

Skriv ner vad betyget vilar på. Om texten inte används som underlag, notera det och notera vad som används i stället. Det är den anteckningen du vill ha den dag betyget ifrågasätts, och den går att förklara utan att någon behöver pekas ut.

Bygg bort problemet i uppgiften

Den långsiktiga lösningen ligger i uppgiftsdesignen, inte i övervakningen.

Skrivande som sker helt eller delvis i klassrummet ger dig ett underlag du sett växa fram. Uppgifter som bygger på det ni faktiskt gjort tillsammans, en text ni läst, en laboration ni genomfört eller en diskussion i klassen, är svårare att lösa utan att ha varit där. Ett kort muntligt försvar av den egna texten fungerar både som bedömningsunderlag och som motiv att skriva själv. Och en genomtänkt AI-policy på skolan gör att gränserna är kända innan de överträds i stället för efter.

Det här är inte ett argument för att förbjuda AI i skolan. Det är ett argument för att veta vilka underlag som bär ett betyg. Mer om hur skolor drar den gränsen finns i genomgången av AI-fusk i elevtexter och i den praktiska guiden till ChatGPT i skolan för lärare.

Därför har Bedoma ingen detektor

Vi säljer inte AI-detektion, och det är ett medvetet val. Det finns ingen metod på marknaden som klarar det med den träffsäkerhet ett betygsbeslut skulle kräva, och att låtsas något annat vore att flytta risken till eleverna.

Det Bedoma gör är det andra ledet: när du väl bestämt vilket underlag du står bakom, läser verktyget texten mot Skolverkets betygskriterier och pekar ut var i texten belägget för varje nivå finns, ett arbetssätt vi går igenom i guiden om vad som gäller för AI-bedömning. I kalibreringen mot tusentals bedömda elevtexter nådde analysen upp till 90 procents överensstämmelse med lärarens bedömning, och metoden ligger öppet på transparenssidan. Det är ett beslutsstöd enligt EU AI Act, och betyget sätter du.

Misstanken i magen är inte ett bevis, men den är en signal värd att ta på allvar. Svara på den med ett bättre underlag i stället för med en anklagelse, så håller både bedömningen och relationen.

Bedoma analyserar elevtexter mot Skolverkets betygskriterier och når upp till 90 procents överensstämmelse med lärarens bedömning, kalibrerat på tusentals bedömda elevtexter. Läs om metoden på /transparens eller prova gratis.