Inom bedömningsforskningen diskuteras bland annat den tolkningsgemenskap som svensklärarna förväntas ingå i och de problem med interbedömarreliabilitet som uppstår när (mänskliga) bedömare gör olika tolkningar av textens kvaliteter (t.ex. Berge, 2005). Automatisk bedömning av elevtexter förekommer internationellt, men för svenska texter har automatisk bedömning endast prövats i ett fåtal fall. Denna presentation syftar till att diskutera resultat från automatisk analys av elevtexter som tidigare har bedömts av mänskliga bedömare. Materialet för undersökningen är elevtexter från bedömningsanvisningar till nationella prov i gymnasieskolans svenskämne. Texterna är noggrant bedömda av provgruppens referensgrupp och har mellan år 2011 och 2017 utgjort bedömningsexempel för de lärare som ska bedöma proven.
Dessa texter analyseras med hjälp av analysverktyget Swegram (Näsman et al. 2017; Megyesi et al. 2016). Med Swegram kan automatiska analyser enkelt utföras av mått som tidigare visat sig intressanta för textkvalitet och skrivutveckling, såsom textlängd, ordlängd, ordvariation, nominalkvot, ordklassfördelning, ordfrekvenser etc. I analysen undersöks resultat av dessa mått på texter som representerar olika betygssteg. Det blir möjligt att diskutera vilka mått som har relevans för den bedömning som utförts inom provgruppens referensgrupp. Vilka kvantitativa motsvarigheter finns det till referensgruppens kvalitativt utförda bedömning? En följdfråga blir om kvantitativa analyser av elevtext kan fungera som ett komplement till mänsklig bedömning och göra den mer rättvis.
Litteratur
Berge, Kjell Lars, 2005: Studie 3. ”Skriveprøvenes pålitelighet”. I: Berge, K. L., Evensen, L. S., Hertzberg, F., Vagle, W. (red.) Ungdommers skrivekompetanse, Bind 1, Norsksensuren som kvalitetsutvurdering. Oslo: Universitetsforlaget. S. 101–113.
Megyesi, Beáta, Näsman, Jesper & Palmér, Anne, 2016: The Uppsala corpus of student writings: Corpus creation, annotation, and analysis. I: Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC 2016), p. 3192–3199, Paris, France. European Language Resources Association (ELRA).
Näsman, Jesper, Megyesi, Beáta & Palmér, Anne, 2017: SWEGRAM – A Web-Based Tool for Automatic Annotation and Analysis of Swedish Texts. I: The 21st Nordic Conference on Computational Linguistics (NoDaLiDa) on 22–24th of May 2017.University of Gothenburg.