Order effects, varför ordningen i din rättningshög påverkar betygen

Order effects, eller ordningseffekter, är ett samlat begrepp inom bedömningsforskning för fenomen där positionen i en sekvens påverkar utvärderingen. Det är ett av de mest robust replikerade fynden i forskningen om mänsklig bedömning, från sportdomare till anställningsintervjuer till lärares rättningsarbete.

Mekanismen är inte att läraren har dålig bedömningskompetens. Mekanismen är att mänskligt minne, kognitiv energi och referensramar förändras under en lång arbetsuppgift, och dessa förändringar påverkar bedömningens utfall.

Tre dokumenterade typer av order effects

Primacy effects. Den första texten i en hög får ofta annorlunda bedömning än om samma text hade lästs i mitten eller slutet. Den fungerar som ankare för resten av bedömningen. Den exakta riktningen, om primacy gör texten mer eller mindre fördelaktigt bedömd, varierar med kontexten, men effekten är dokumenterad.

Recency effects. Texter som läses sent i en lång session påverkas av kognitiv trötthet. Bedömaren kan vara mer benägen att ge medelbetyg eftersom det kräver minst kognitiv ansträngning, eller alternativt vara mer extrem eftersom kognitiv återhållsamhet sjunker.

Contrast effects. En medelmåttig text som följer på en mycket stark text bedöms ofta lägre än samma text hade bedömts i annan kontext. Och en medelmåttig text som följer på en mycket svag text bedöms ofta högre. Detta är kontrast-effekten i sin renaste form.

Varför svensk skola är särskilt sårbar

Den svenska bedömningstraditionen har historiskt vilat på enskilda lärares professionella bedömning, ofta under tidspress vid terminsslut eller NP-period. Det är ett system som av forskning är dokumenterat sårbart för order effects.

I jämförelse har många andra europeiska skolsystem en starkare tradition av extern bedömning för centrala prov. Sverige rör sig nu mot det med införandet av central rättning av nationella prov från hösten 2026, just för att likvärdigheten inte ska bero på enskilda lärares ordnings-betingade variation.

Men för det dagliga rättningsarbetet i klassrummet, där läraren själv hanterar 30 texter på en eftermiddag, kvarstår sårbarheten.

Forskningens rekommendationer

Slumpvis ordning eller alfabetisk omstart. Att alltid rätta i samma ordning, exempelvis efter inlämningsdatum eller alfabetiskt på elevnamn, kan introducera systematiska skevheter. Slumpvis ordning, eller åtminstone att ordningen varierar mellan rättningstillfällen, dämpar systematik. För nationella prov rekommenderar Skolverkets bedömaranvisningar typiskt att texter ska ordnas slumpvis.

Pauser och fysisk aktivitet. Recency effects är delvis trötthetsdrivna. Pauser om 15 till 30 minuter med fysisk aktivitet eller annan kognitiv typ av uppgift återställer bedömaren mer än korta pauser vid skrivbordet. Forskningen från kognitionsvetenskap stöder detta och har replikerats specifikt för rättningsarbete.

Två-pass-metoden. Genomgång av texter två gånger med olika fokus dämpar både primacy och contrast. Första passet ger preliminärt betyg utan detaljerad motivering. Andra passet bekräftar eller justerar och dokumenterar motivering. Den här metoden hade tidigt forskningsstöd och har replikerats i flera studier.

Aspekt-för-aspekt-rättning. Att bedöma alla texters struktur samlat, sedan alla texters språkriktighet samlat, och så vidare, dämpar order effects eftersom kontrasten sker inom en aspekt istället för inom en hel text.

AI-bedömning är immun mot order effects

Ett AI-system har inte mänskligt minne i den meningen att tidigare lästa texter färgar bedömningen av nästa. Varje analys körs isolerat med samma kursprompt och samma kursplan. Modellen blir inte trött och har inte primacy- eller recency-effekter på det sätt som mänskliga bedömare har.

Det är en av de strukturella fördelarna med AI som referenspunkt. Inte att AI är en bättre bedömare totalt sett, utan att AI:s eventuella systematiska fel är annorlunda än mänsklig order effect. Genom att jämföra mänsklig bedömning med AI-bedömning kan du upptäcka var ordnings-effekter kan ha påverkat ditt arbete.

För Bedoma specifikt har kalibreringen körts på texter i slumpvis ordning vid 300 separata tillfällen för att kontrollera att modellens bedömning inte är beroende av ordning. Resultatet visade att samma text fick samma betyg i 100 procent av fallen vid temperaturinställning 0. Det är en stabilitet som mänskliga bedömare inte har och inte rimligen kan ha.

Praktisk plan för en NP-period

För en lärare som ska rätta 30 nationella provtexter under en vecka kan följande plan ha visst forskningsstöd.

Dag 1. Slumpa ordningen. Läs första passet snabbt, anteckna preliminärt betyg utan detaljerad motivering. Ta en längre paus mellan dag 1 och dag 2.

Dag 2. Andra passet. Sortera texter efter preliminärt betyg och bedöm dem inom kategori. Det dämpar contrast effects mellan kategorier.

Dag 3. Granska gränsfall, gärna med en kollega via sambedömning eller med AI som referens. Anteckna motivering och slutbedömning.

Dag 4. Sammanställning och dokumentation. En mental paus mellan rättning och dokumentation gör det lättare att skriva motiveringen kriteriebaserat snarare än ankrat.

Vad detta betyder för dig som lärare

Order effects är inte en personlig svaghet. De är konsekvens av att mänsklig bedömning sker över tid och att mänsklig kognition inte är konstant. De bästa bedömarna har strukturer för att neutralisera effekterna, inte personliga egenskaper som gör dem immuna.

Skolverkets allmänna råd, helhetsbedömning över terminer baserad på flera underlag, är ett systemskydd mot enskilda rättningssessions order effects. Helheten neutraliserar enskilda biaser. Inom enskilda rättningar kan strukturerade rutiner och en stabil extern referens, exempelvis AI-bedömning, dämpa effekterna ytterligare.

Bedoma kör varje analys isolerat med samma kursprompt och kursplan. Vid temperaturinställning 0 ger samma text samma betyg i 100 procent av fallen. Prova gratis eller läs om kalibreringen.