Vad är rätt betyg? Inte ens provens egna bedömare är överens

Skolverket lät tre bedömare betygsätta samma 100 uppsatser från nationella provet i svenska i årskurs 9. På den tiogradiga skala provet använder för att nyansera betygen satte alla tre samma bedömning på exakt en text.

Bedömarna var inte vilka lärare som helst. En satt i gruppen som konstruerar provet. En hade arbetat med provgruppens utprövningar. En var erfaren svensklärare. De hade bedömningsanvisningarna, de kommenterade exempeltexterna och gott om tid. Ändå landade de olika på 99 texter av 100.

Siffran kommer från en studie som Skolverket lät göra 2009. Den har sina brister, som vi återkommer till. Men den ställer en fråga som ingen lärare kommer undan. Om inte ens de som gör proven kan enas om vad en elevtext ska ha, vad betyder då rätt betyg?

Ett prov med facit och ett prov utan

Skolverkets studie hade fyra delar. I matematik och i läsförståelse var bedömarna i stort sett eniga, både med varandra och med elevernas lärare. Ett tal är rätt eller fel. Ett svar på en läsfråga går att pricka av mot ett facit.

En uppsats är något annat. Där finns inget facit, bara kriterier som ska tolkas: kommunikativ kvalitet, innehåll, sammanhang, språk. Två kunniga läsare kan väga dem olika, och båda kan ha stöd i anvisningarna. Det är i den delen av studien, skrivuppgiften, som det spretar. Och det är den sortens text som betygen i svenska till stor del vilar på.

Vad studien gjorde

Hundra elevtexter från skrivuppgiften våren 2007 drogs slumpmässigt ur det material som lärare skickat in. Tre bedömare fick texterna avidentifierade, utan lärarens betyg, och bedömde var för sig. De använde provets tiogradiga skala, där G täcker stegen 3 till 5, VG stegen 6 till 8 och MVG stegen 9 och 10.

Ett förbehåll hör till bilden. De hundra eleverna hade inte samma lärare utan närmare hundra olika. "Lärarna" i studien är alltså inte en person utan ett genomsnitt av många.

Så olika landade de

Korrelationen mellan bedömarna låg på 0,36 till 0,46. Korrelation är ett mått på hur väl två bedömare rangordnar texterna lika: 1 betyder helt lika, 0 att det inte finns något samband alls. Forskarna hade väntat sig omkring 0,6. I snitt skilde bedömarna 2,7 steg på den tiogradiga skalan. En text fick bedömningar som låg nio steg isär på en skala med tio.

Tabellen gäller bara de tre bedömarna sinsemellan, inte lärarna. Ett betyg på den fyrgradiga skalan täcker högst tre steg i tabellen, så en skillnad på tre steg eller mer betyder alltid olika betyg. Det gällde 41 texter av 100.

I 54 fall av 100 gav bedömarnas genomsnitt samma betyg som elevens egen lärare, räknat i hela betyg. I 37 fall låg bedömarna ett steg lägre, i ett fall två steg lägre, i 8 fall ett steg högre. Lärarnas betyg motsvarade i snitt 5,5 på den tiogradiga skalan, bedömarnas mellan 4,1 och 5,2.

Oenigheten är personlig, inte slumpmässig

Var och en hade en egen profil. Bedömare 1 var strängast och låg lägst i tio av de femton texter där spridningen var störst. Bedömare 3 samlade det mesta kring G och "överanvände" betyget, med forskarnas ord. Bedömare 2 använde hela skalan och låg närmast lärarna.

Det är obehagligare än ren slump. Slump jämnar ut sig över en klass. En bedömarprofil gör det inte. Elevens betyg beror delvis på vem som råkar läsa.

Mest eniga om de svaga texterna

Av de 24 texter där bedömarna var mest överens hade 19 betyget G. Att skilja godkänt från underkänt går bra. Att skilja VG från MVG är där det brister. Konsekvensen är bakvänd: det är de duktiga elevernas betyg som är osäkrast.

Krönikan, en genre som var ny i provet, visar hur tolkning slår igenom. De 21 krönikorna fick i snitt 5,9 av sina egna lärare och 4,5 av bedömarna. Vad som räknas som en bra text beror på vilka krav på genren läsaren bär med sig.

Samtalet ändrar allt

Samma provgrupp hade tidigare bedömt texter efter bedömarmöten, där skrivuppgifterna först diskuterats gemensamt och varje lärare sedan satt sina betyg oberoende av de andra. Då låg korrelationen mellan bedömarna på 0,75 till 0,92. Ensamma: omkring 0,4. Efter samtal: omkring 0,8.

Bedömarna i studien sa själva att de saknade någon att resonera med. Forskaren bakom delstudien skrev att en skrivuppgift som gav så låg samstämmighet som 0,4 vid provgruppens egna möten skulle ha dragits tillbaka. De exempeltexter lärare får i bedömningsanvisningarna har för övrigt bedömts av minst fem lärare som först satt betyg var för sig och sedan diskuterat ihop sig. Facit är i sig resultatet av ett samtal.

Även Skolinspektionens ombedömare landar olika

Studien från 2009 är inte ensam. Skolinspektionen lät under elva år externa legitimerade lärare ombedöma nationella prov. I den sista rapporten, 2019, gjorde ombedömaren en annan bedömning än skolans lärare i 57 procent av fallen. Upplägget är ett annat: en extern bedömare mot skolans lärare, flera ämnen och skolformer, en annan betygsskala. Siffrorna går inte att lägga bredvid 2009 års, och Skolinspektionen är själv tydlig med att ombedömarnas betyg inte ska ses som ett facit. Men bilden är densamma. Två kunniga läsare, en text, ofta olika betyg.

Förbehållen

Studien har tre bedömare, och de är inte slumpmässigt valda. Situationen var ovanlig: bedömarna visste att de skulle granskas, och det gör de flesta noggrannare och strängare. Hundra texter i följd är fler än någon svensklärare är van vid. Skalan var den gamla fyrgradiga, provet är omgjort sedan dess, och forskarna själva kallade utfallet förvånande lågt och manade till försiktighet. Inget av detta gör frågan mindre. Det gör bara svaret ödmjukare.

Så vad är rätt betyg?

Det kan inte betyda "det betyg en tillräckligt kunnig expert skulle ha satt". Något sådant betyg finns inte, det visar studien. Tre experter satte tre olika.

Rätt betyg är i stället det betyg en väl utformad process ger. Kriterierna, lästa mot texten. Exempeltexterna, som referens. Minst två läsningar, egna eller andras. Ett samtal om gränsfallen. En motivering som går att följa. Betyget flyttar då från att vara en mätning, som om det fanns ett sant värde att hitta, till att vara resultatet av ett förfarande som går att granska och upprepa.

Det förändrar vad som är rimligt att kräva av en lärare. Ingen kan kräva att du ensam träffar ett betyg som inte ens provgruppen kan enas om. Det som går att kräva är en bra process. Sambedöm det som är svårt. Gå tillbaka till kriterierna när texten känns svagare än den förra. Skriv motiveringen så att en kollega kan följa den.

En andra läsning behöver inte alltid vara en kollega. Bedoma läser elevtexten mot Skolverkets betygskriterier på samma sätt varje gång och ger en indikation med motivering, en referenspunkt att ställa den egna läsningen mot. Inte ett facit, för något sådant finns inte. Hur ofta indikationen stämmer med lärarens betyg, och hur ofta lärare stämmer med varandra, redovisar vi öppet på /transparens. Betyget sätter du.

Källor: Skolverket (2009), Bedömaröverensstämmelse vid bedömning av nationella prov, dnr 2008:286, 2009-04-14, med delstudien Bedömaröverensstämmelse, ämnet Svenska av Eva Östlund-Stjärnegårdh, Uppsala universitet. Skolinspektionen (2019), Ombedömning av nationella prov 2019, dnr 2019:503.