Ds 2001:24

Betyg på skolan - en ESO-rapport om gymnasieskolorna

1. Sammanfattning, slutsatser och förslag

1.1. Ökad lokal frihet ställer krav på uppföljning av skolorna

Utbildning är en av grundstenarna i den långsiktiga politiken för rättvisa. En bra och likvärdig utbildning är betydelsefull för att utjämna människors livschanser och på sikt få en jämn och rättvis inkomstfördelning. Därför är det viktigt att undersöka hur bra inte bara skolan utan även enskilda skolor lyckas.

För att höja den allmänna kvaliteten och samtidigt åstadkomma en effektivisering i skolsystemet ändrades ansvarsfördelning i början av 1990-talet. Ett ökat utrymmet att lokalt bestämma hur man skall arbeta i skolan var en viktig del i detta. Samtidigt ökade valfriheten för föräldrar och elever. Valfriheten sågs både som ett mål i sig och som ett medel att utveckla skolan. Valfriheten skulle skapa ett ökat engagemang och inflytande för elever och föräldrar men också stimulera skolorna att tävla med varandra. Såväl det ökade engagemanget som den ökade konkurrensen förväntades stimulera till utveckling av skolan.

Sedan 1991 ligger huvudansvaret för skolan på kommunerna och de enskilda skolorna har stor frihet att lägga upp arbetet. Men skolan är fortfarande en nationell angelägenhet. Regering och riksdag styr genom att tala om vilka mål och riktlinjer för arbetet som gäller för alla skolor i hela landet.

Behovet av kunskap om skolans resultat har ökat som en följd av det som skett under 1990-talet. Behovet finns hos ansvariga för skolan på nationell nivå, i kommunerna och i den enskilda skolan: På den enskilda skolan behöver man veta om man arbetar på rätt sätt, det vill säga så att målen uppnås. Kommunen behöver veta hur målen uppfylls när de bedömer hur resurserna skall fördelas mellan olika skolor. Regering och riksdag har ett nationellt ansvar för skolans resultat och utveckling, och behöver därför kunskap om tillståndet i skolorna i hela landet.

Det sätt på vilket skolan styrs förutsätter att man kan följa hur målen uppfylls och förändras över tiden. Men kunskap om detta är också viktigt av demokratiska skäl. Det bör vara en självklar rättighet för medborgarna i ett land eller en kommun att få veta hur de skolor som finansieras med offentliga medel fungerar. I än högre grad gäller det dem som är direkt berörda, elever och föräldrar.

1.2. Skolindikatorer kontroversiellt

Intresset för kvantitativa indikatorer som ett sätt att följa upp verksamheten i offentlig sektor har ökat de senaste tio åren. Vissa länder har publicerat skolindikatorer på resultat sedan början av 1990-talet. I Sverige saknas regelmässig nationell publicering av resultat för enskilda skolor. Jämförelsetal för kommunerna har dock redovisats regelbundet sedan 1993.

Det är inte bara i Sverige det finns ett motstånd mot att publicera resultat på skolnivå. Skolindikatorernas vara eller icke vara diskuteras internationellt. Det finns de som ifrågasätter att skolval och konkurrens mellan skolor kan ha positiva effekter för skolutvecklingen och som menar att skolindikatorer därmed inte heller fyller någon funktion. Man anser till och med att skolindikatorer kan vara skadliga om de leder till att skolorna fokuserar sitt arbete mot fel områden och koncentrerar sig på elevgrupper som ger störst effekt på indikatorerna. En annan invändning är att bra skolindikatorer, som tar hänsyn till det komplexa i att mäta skolans resultat, är svåra att förstå och tolka och att man möjligen kan redovisa dem för experter men inte för elever, föräldrar och allmänheten.

Ett sådant synsätt är både förmyndaraktigt och oetiskt, och mot bakgrund att det sätt skolan styrs på förutsätter att ansvariga har tillgång till resultat för alla skolor finns all anledning att ta fram skolindikatorer och göra dem offentliga. Att göra detta till en relativt låg kostnad är möjligt eftersom det i Sverige redan samlas in uppgifter som kan användas.

1.3. Politiskt sammanhang

Skolindikatorer skall användas i ett politiskt sammanhang. De måste därför konstrueras så att de återspeglar de antaganden som finns om hur utbildningssystemet fungerar och vad det skall åstadkomma. Det medför att en enstaka indikator får en mening först i ett visst sammanhang och att den måste tolkas som en del av ett system av indikatorer

som även belyser andra aspekter av utbildningssystemet. Indikatorerna behöver organiseras i ett ramverk som tydliggör deras inbördes relationer. De internationella indikatorer som OECD publicerar och de jämförelsetal för skolhuvudmän som Skolverket publicerar är båda strukturerade efter principen förutsättningar, verksamhet och resultat. Denna rapport illustrerar hur man utifrån redan tillgänglig statistik på ett relativt enkelt sätt kan öka värdet av informationen om resultaten.

Att skolindikatorer skall användas i ett politiskt sammanhang gör arbetet med att ta fram dem till en i hög grad politisk uppgift. Indikatorerna som presenteras i denna rapport skall ses som ett bidrag till en sådan diskussion. Detta är också anledningen till att rapporten inte bara redovisar ett antal indikatorer utan även lägger stor vikt vid tankegångarna som ligger bakom valet av indikatorer, hur de utformas och presenteras.

För att kunna beakta viktiga aspekter på skolornas resultat är det avgörande att det finns kunskap om elevernas förkunskaper. Av den anledningen är det gymnasieskolans resultat som står i fokus. Betygen från grundskolan antas återspegla elevernas förkunskaper och studieförutsättningar och betygen från gymnasieskolan visar vilka kunskapskvaliteter eleverna nått efter fullföljd gymnasieutbildning.

1.4. Undersökningsmetod

De resultat som redovisas i denna rapport bygger på SCB:s statistikdatabaser om betyg m.m. för alla elever som påbörjade en gymnasieutbildning 1993–1995 och/eller avslutade en gymnasieutbildning 1997– 1999. Studien omfattar de 382 gymnasieskolor, som hade minst 30 elever med slutbetyg år 1999. Huvudmetoderna som använts är följande:

Gymnasieskolornas resultat undersöks främst genom att studera elevernas betyg i kärnämnena (matematik, naturkunskap, svenska, engelska, samhällskunskap, estetisk verksamhet, idrott och hälsa samt religionskunskap).

Resultaten visas med olika indikatorer som på olika sätt speglar målen och måluppfyllelsen för gymnasieskolan: medelbetyg, skolornas bidrag till elevernas kunskapsutveckling (value added), skillnader mellan pojkar och flickor, kärnämneskurser med lägst betyget Godkänd bland elever med olika förutsättningar samt i vilken utsträckning eleverna i en skola fullföljer gymnasieutbildningen inom fyra år respektive får behörighet för högskolestudier. Samtliga dessa indikatorer med undantag av medelbetygen och value added kan sägas vara mått på likvärdigheten i utbildningen.

Det värde som talar om hur en skola avviker från det genomsnittliga resultatet för skolor med likartade förutsättningar kallas i den pedagogiska litteraturen value added. En skolas prestation eller value added är ett uttryck för vilka kunskaper (betyg) eleverna når under gymnasietiden, men med hänsyn tagen till förkunskaper och studieförutsättningar vid utbildningens början (dvs. betygen från grundskolan). Vid redovisningen delas skolorna in i grupper efter vilka typer av program som erbjuds vid respektive skola.

En del av dessa indikatorer är kända sedan tidigare. Det unika med denna studie är dels att kunskapstillförandet (value added) mäts för varje skola och under tre år för att se i vilken utsträckning värdet förändras över tiden eller inte, dels den indelning i elevgrupper vilken gör det möjligt att se hur bra olika skolor är på att ta hand om elever med skilda ingångsvärden eller studieförutsättningar.

1.5. De viktigaste resultaten

1.5.1. Vissa gymnasieskolor presterar bra – andra sämre

Skolorna är olika bra på att tillvarata elevernas förutsättningar. Av de 382 undersökta gymnasieskolorna är det 108 skolor som under tre år i följd varit framgångsrika på att bidra till sina elevers kunskapsutveckling. Eleverna på dessa skolor har fått bättre kunskaper i kärnämneskurserna än andra elever på skolor med jämförbara förkunskaper och studieförutsättningar (mätt med grundskolebetygen). För närmare hälften av skolorna varierar prestationen mellan åren och 96 skolor presterar sämre än genomsnittligt under tre år i rad.

Många elever går vidare till gymnasieskolan med svaga betyg från grundskolan. Ett grundläggande mål i gymnasieskolan är att alla elever skall få åtminstone den miniminivå av kunskaper som motsvaras av betyget Godkänd. De framgångsrika gymnasieskolorna är bra på att se till att eleverna med de sämsta förkunskaperna klarar sig i gymnasieskolan. Drygt en tredjedel av de framgångsrika skolorna hör till de skolor som är bäst på att se till att eleverna med de svagaste grundskolebetygen når dessa kunskaper. Det kan jämföras med att endast fem procent av skolorna som presterar stabilt sämre än genomsnittligt har lika goda resultat vad gäller elevgruppen med de lägsta grundskolebetygen.

På skolor med positivt value added får eleverna i något större utsträckning grundläggande behörighet jämfört med eleverna på skolor

med negativt value added. Eleverna fullföljer dock sin utbildning i samma utsträckning, oberoende av hur skolan lyckas i fråga om elevernas kunskapsutveckling.

Elever med höga betyg från grundskolan klarar sig i genomsnitt bra i gymnasieskolan, oavsett om de går i en framgångsrik skola eller inte. Skillnaden i vilken utsträckning dessa elever får de lägst acceptabla kunskaperna i kärnämneskurserna är liten om man jämför skolor som presterar bra och de som presterar sämre. Det är 17 respektive 12 procent som hör till gruppen av skolor som är bäst på att se till att eleverna med de högsta grundskolebetygen når miniminivån på kunskaper i kärnämneskurserna.

Forskning har visat att det finns skolor som har betydelse för elevernas prestationer om man bortser från den ofta kraftiga inverkan som beror på elevernas bakgrund. Det gäller även skolor som har elever med sämre förutsättningar. Skolforskningen har visat på en rad viktiga pedagogiska och sociala faktorer som utmärker framgångsrika skolor, men en diskussion om omfördelning av resurser inom och mellan skolformer etc. kan också behövas. Även här finns forskning som visar att tidiga insatser ger mer resultat.

1.5.2. Medelbetyget missvisande som indikator på hur bra en skola är

Ett av de vanligast förekommande resultatmåtten är medelbetyget. Det används både av tidningar och av Skolverket. Men medelbetyget säger mycket lite om hur framgångsrika gymnasieskolorna är på att bidra till sina elevers kunskapsutveckling. Medelbetyget avspeglar i första hand skolans elevsammansättning. Det finns skolor som får många elever med höga grundskolebetyg men som är mindre framgångsrika och det finns andra skolor med elever som har sämre förutsättningar, men som ändå är framgångsrika.

Medelbetyget visar vilken genomsnittlig nivå eleverna på en skola når, men det säger mycket lite om i vilken utsträckning skolan bidragit till detta. Inte heller säger medelbetyget något om hur bra skolan är på att se till elevgrupper med olika förkunskaper uppnår minimikraven på kunskaper. Slutsatsen är att medelbetyget inte är en bra indikator på hur väl en skola fungerar, det kan till och med vara direkt vilseledande om det inte används tillsammans med andra indikatorer som bättre fångar hur skolan fungerar.

1.5.3. Stora brister i likvärdighet

I vilken utsträckning eleverna fullföljer gymnasieskolan och får de lägst acceptabla kunskaperna är i hög grad beroende av deras förkunskaper och studieförutsättningar när de börjar gymnasieskolan. Den fjärdedel av eleverna som har de högsta grundskolebetygen har fått lägst Godkänd i 92 procent av kärnämneskurserna medan eleverna med de lägsta grundskolebetygen har fått lägst Godkänd endast på hälften av kärnämneskurserna.

Ur likvärdighetsaspekt är detta inte acceptabelt. Enligt skollagen skall utbildningen vara likvärdig för alla oavsett kön, geografisk hemort samt sociala och ekonomiska förhållanden. När resurserna fördelas och undervisningen utformas skall hänsyn tas till elevernas olika förutsättningar, behov och kunskapsnivåer.

Bristen på likvärdighet mellan olika skolor förstärks av skillnaderna i hur bra enskilda skolor är på att se till att de svagaste elevgrupperna når de lägsta acceptabla kunskapsnivåerna och att eleverna fullföljer en gymnasieutbildning. Gymnasieskolan är långt ifrån likvärdig om man ser till slutresultaten av utbildningen.

1.5.4. Ofta lättare nå bra resultat i skolor med stor andel elever på studieförberedande program

Elevernas förkunskaper skiljer sig generellt sett åt mellan olika program. Skolornas elevförutsättningar kommer därför att variera beroende på vilka gymnasieprogram som finns på skolan. På skolor där minst två tredjedelar av eleverna går på naturvetenskapsprogrammet eller samhällsvetenskapsprogrammet har exempelvis 40 procent av eleverna ett grundskolebetyg över 3,14 medan endast 7 procent av eleverna på skolor med enbart program med yrkesämnen har så höga grundskolebetyg.

Skolor med en stor andel elever på naturvetenskapsprogrammet och samhällsvetenskapsprogrammet får genomsnittligt bättre resultat på de indikatorer som inte tar hänsyn till att elevförutsättningarna kan se olika ut.

Men i varje skolgrupp (indelat efter hur stor andel av eleverna som går på naturvetenskaps- eller samhällsvetenskapsprogrammet) finns det enskilda skolor som når lika goda resultat som skolor i övriga skolgrupper. Det finns inte någon skillnad mellan skolor med olika sammansättning av program när det gäller indikatorerna som tar hänsyn till elevförutsättningarna. Skolor med stor andel elever på de studieförberedande programmen är inte bättre på att ta hand om elever med sämre

förkunskaper, och oavsett vilken sammansättning av program skolorna har finns det skolor som är framgångsrika och sådana som är mindre framgångsrika.

Är syftet att göra en bedömning av hur skolorna når målet om likvärdighet skall hänsyn inte tas till olikheter i elevförutsättningar. Det krävs helt enkelt att skolor med sämre elevförutsättningar presterar mer för att detta mål skall kunna nås. Resultaten tyder också på att det finns skolor som lyckas bra trots att de har sämre förutsättningar.

1.5.5. Några bra skolor

Det finns inget värderingsfritt sätt att avgöra vilka skolor som är bäst. Alla har olika uppfattningar om vilka resultat som är viktiga. Det finns också resultatdimensioner som inte behandlats i denna studie, men som av många betraktas som mycket viktiga i en helhetsbedömning. Ett gott socialt klimat är ett sådant exempel.

Men efter att ha bedömt skolorna efter våra elva kriterier finns det tolv skolor som i tre, fyra eller fem gånger hamnar bland de tio ”bästa” när det gäller inte mindre än åtta indikatorer (se avsnitt 5.3). Hälften av dessa skolor är fristående skolor och en fjärdedel är naturbruks- eller vårdgymnasier. Det finns endast två skolor som fem gånger placerar sig bland de bästa och det är fristående gymnasieskolor med teknisk inriktning som startats av företag (SKF och Volvo).

1.6. Fortsatt arbete med skolindikatorer behövs

1.6.1. Modeller för att uppskatta skolornas value added måste utvecklas

Att redovisa ”skolresultat” som bortser från inverkan av elevernas förutsättningar kan få negativa effekter. Skolor som har goda elevförutsättningar kan slå sig till ro med att de har en bra skola, medan deras elevers kunskapsutveckling i själva verket är mindre bra än på skolor med sämre elevförutsättningar. Deras slutresultat ser bra ut på ytan, men i själva verket är det sämre än vad det skulle kunna vara. På samma sätt kan det finnas skolor där slutresultaten inte ser särskilt bra ut, men där elevernas kunskapsutveckling är bättre, jämfört med skolor

med bättre elevförutsättningar. Personalen på dessa skolor riskerar att känna uppgivenhet. Indikatorer som bortser från dessa problem riskerar att få låg legitimitet i lärarnas ögon.

Ett sätt att ta hänsyn till olikheter i elevförutsättningar är att skatta value added. De analyser som gjorts för att beräkna value added har visat vilken inriktning som behövs, men ett fortsatt utvecklingsarbete och diskussioner kring hur en modell för detta skall se ut krävs. Erfarenheterna så här långt kan sammanfattas på följande sätt.

Grundskolebetygen förklarar en stor del av variationen i gymnasiebetyget. Detta måste beaktas när value added skattas. Den vanligtvis använda regressionsmetoden är dock inte lämplig att använda, eftersom resultaten för eleverna på samma skola påverkas av varandra och av vilken skola de går på (och det är ju detta man vill komma åt). Förutom att skolorna skiljer sig åt i genomsnittlig betygsnivå, varierar det också vilken betydelse grundskolebetygen har för gymnasiebetygen. En skola med ett högt genomsnittligt gymnasiebetyg där grundskolebetyget inte har så stor inverkan på gymnasiebetyget är en skola som lyckas bra med alla elever, oavsett vilket grundskolebetyg de har när de börjar sin gymnasieutbildning. De analyser som gjorts tyder på att betygseffekten varierar mellan skolorna. Det är möjligt att skatta dessa effekter, och att redovisa sådana resultaten skulle bidra till en bättre förståelse för hur skolorna fungerar.

1.6.2. Betygen kan bli bättre som kunskapsmätare

Det mål- och kunskapsrelaterade betygsystemet ger tillgång till uppgifter som i hög grad är både relevanta och nödvändiga för att bedöma en skolas resultat. Kunskapsmålet är inte det enda målet, men det är en central uppgift för skolan. En viktig aspekt är dock att betygen reflekterar kunskapsnivåer på ett likartat sätt. En granskning som Skolverket gjort av arbetet för att säkra en likvärdig och rättvis betygsättning vi-sar emellertid att det finns betydande brister. Granskningen pekar ut viktiga utvecklingsområden både för den lokala nivån och ur ett nationellt perspektiv.

För att kunna relatera betygsättningen till en mer likartad kunskapsbedömning och för att få en ökad förståelse för hur betygsättning ser ut är det lämpligt att utnyttja det nationella provsystemet, som bland annat har till uppgift att stötta lärarna i arbetet med att sätta betyg.

1.6.3. Särskilda indikatorer behövs för individuella programmet

Allt fler elever går på individuella programmet (IV). Läsåret 1999/2000 utgjorde de 7 procent av samtliga elever i gymnasieskolan. Ett mål för IV är att stimulera till vidare studier på ett nationellt program. Elever som går på IV ingår inte i beräkningarna av indikatorerna. I ett indikatorsystem för gymnasieskolan bör det finnas indikatorer som fångar in resultaten även för dessa elever. Eftersom förutsättningarna och målen för IV-Programmet delvis skiljer sig från övriga program kan man lämpligen pröva möjligheten att ta fram resultatindikatorer särskilt för IV.

1.6.4. Kvalitetsbrister i skolstatistiken

Vid redovisning av uppgifter på lägre nivå, dvs. för den enskilda skolan, ställs högre kvalitetskrav på statistiken. För att bra indikatorer skall kunna utformas krävs att man följer elever och skolor över tiden. På samma sätt blir skolornas resultat intressantare att studera när indikatorerna finns tillgängliga för flera år. Omorganisationer av skolorna inom en kommun försvårar emellertid detta. Hur redovisar man resultat för skolor när skolor slås samman eller när de delas upp?

Arbetet med att ta fram resultatindikatorer i denna rapport har också komplicerats av att skolkoder ibland förändras utan att skolan organiserats om. På Statistiska centralbyrån (SCB) finns sedan våren 1998 skolidentiteter som är unika för skolor, vilket i framtiden kommer att underlätta uppföljning av skolorna över tiden.

Det förefaller vara så att man i vissa kommuner inte redovisar elever som slutar gymnasieutbildningen på samma skola som de påbörjar gymnasieutbildningen. Att såväl elever som lärare i praktiken kan finnas på mer än en skola gör också analyser på skolnivå svårare än analyser på kommunnivå. Effekten av sådana brister i de lämnade uppgifterna är svåra att genomskåda för andra än kommunerna själv. För att ta fram ett indikatorsystem eller uppföljningssystem på skolnivå kommer därför både SCB och skolhuvudmännen att behöva delta i arbetet med att granska och höja kvaliteten på statistiken.

1.6.5. Resultaten i ett nationellt indikatorsystem

Komplexiteten i skolans resultat och svårigheten att tolka dem på ett riktigt sätt talar för att hålla ner antalet indikatorer, att välja dem med omsorg och lägga tid och resurser på att underlätta tolkningen av dem snarare än att ta fram en mångfald av indikatorer och presentera dem mer eller mindre okommenterade. Ju färre resultatindikatorer man har, desto viktigare är det att de man valt är väl förankrade.

2. Inledning

2.1. Bakgrund

Sedan 1991 har kommunerna huvudansvaret för skolverksamheten och de enskilda skolorna har stor frihet att lägga upp arbetet. Men skolan är fortfarande en nationell angelägenhet. Den svenska skolan styrs med mål och resultat. Regering och riksdag styr genom att tala om vilka mål och riktlinjer som gäller för alla skolor i landet och målen skall garantera att utbildningen blir likvärdig i hela landet. Skolverkets uppgift är att aktivt verka för att de nationella målen för barnomsorgen och skolan uppnås. För att få kunskap om verksamheten och bidra till utveckling arbetar Skolverket med uppföljning, utvärdering, utveckling, forskning och tillsyn.

Även för föräldrar och elever har valfriheten ökat. Det är numera i princip möjligt att välja skola, och inom ramen för den kursutformade gymnasieskolan finns stora möjligheter att själv utforma utbildningen. Valfriheten har förstärkts av att antalet gymnasiala friskolor har ökat under 1990-talet. I och med att valfriheten ökat kan man vänta sig en större variation i utbildningssystemet. Inom de nationella programmen finns utrymme för eleverna att själva välja vilka kurser de vill läsa och det finns även ett specialutformat program där de valbara kurserna utgör en ännu större del av utbildningen. Den nya gymnasieskolans kursplaner är utformade så att undervisningens konkreta innehåll och form bestäms på den enskilda skolan och eleverna skall vara delaktiga i detta.

Som en konsekvens av dessa genomgripande förändringar har behovet av kunskap om skolans resultat ökat. På den enskilda skolan behöver man veta om man arbetar på rätt sätt, det vill säga så att målen uppnås. Kommunen behöver veta hur målen uppfylls när de bedömer hur de skall tilldela och fördela resurser mellan olika skolor. Även för statens del har behovet av resultatinformation ökat. Den tidigare styrningen utgick från tanken att ett detaljerat regelsystem och styrning av resurser direkt till enskilda skolor garanterade likvärdiga resultat. Med ökad lokal frihet ställs helt andra krav på en god resultatuppföljning.

Behovet finns hos ansvariga för skolan på olika nivåer även om det kan se olika ut. Elever och föräldrar behöver känna till utbildningsutbudet och kvaliteten på de valalternativ som finns för att kunna välja skola. Ur demokratisynpunkt är det dessutom viktigt att enskilda medborgare får insyn i skolan och framför allt i skolans resultat.

Intresset för kvantitativa indikatorer som ett sätt att följa upp verksamheten i offentlig sektor har ökat de senaste tio åren. Vissa länder har publicerat indikatorer på skolresultat sedan början av 1990-talet. Men att använda indikatorer är kontroversiellt. I debatten ifrågasätts ofta värdet av kvantitativa indikatorer och i t.ex. Danmark och Skottland har man beslutat att inte redovisa några indikatorer.

I Sverige redovisas jämförelsetal för kommunerna regelbundet sedan 1993, men en regelmässig nationell publicering på skolnivå saknas fortfarande. Våren 2001 presenterades dock betygsresultat för respektive grundskolor (s.k. kommunblad) på Skolverkets hemsida. Enkla sammanställningar av betygen presenteras emellanåt i pressen. I flera länder är det just det faktum att tidningarna tagit initiativet att publicera skolresultat som drivit myndigheter till att välja att själva publicera skolresultat för att göra det med bättre kvalitet.

2.2. Syfte och metod

Det finns stora brister i nuvarande informationsförsörjning inom skolsektorn och med undantag av grundskolans kommunblad för år 2001 redovisas inte ”jämförelsetal” på skolnivå. I den återkommande redovisningen på kommunnivå görs inga uttalade försök att belysa likvärdighetsaspekten.

Syftet med denna rapport är att betygsätta de enskilda skolorna på ett mer kvalificerat och informativt sätt än genom enkla redovisningar av den genomsnittliga betygsnivån på skolorna. Detta sker genom att vi utifrån befintliga betygsuppgifter har kunnat ta fram jämförelsetal på skolnivå som indikerar hur väl enskilda skolor når skolans kunskapsmål. Ambitionen är att dessa skolindikatorer i högre grad än den offentliga statistiken skall belysa viktiga resultatdimensioner som inte fångas upp i dagens enkla betygssammanställningar och även vara mer ”rättvisa” i bedömningen av skolor med olika förutsättningar.

Genom att i denna rapport ta fram ett antal exempel på skolindikatorer, visar vi hur man relativt enkelt kan öka värdet av detta slags kvantitativa resultatmått. De svårigheter och problem som är förknippade med att utforma och använda skolindikatorer belyses och beaktas i möjligaste mån. Det datamaterial som används omfattar samtliga elever som påbörjade en gymnasieutbildning åren 1993–1995 och/eller avslu-

tade en gymnasieutbildning åren 1997–1999. För att statistiskt skatta skolans bidrag till elevernas resultat görs en s.k. flernivåanalys.

Kvantitativa indikatorer kan självklart inte ge en fullständig bild av hur väl skolorna fungerar. Men de bör ändå utgöra ett objektivt komplement till mer kvalitativa uppgifter och den uppfattning om skolan som man kan få genom att tala med personal, ansvariga och elever på enskilda skolor.

Ett argument som då och då anförs i den allmänna debatten varför man inte skulle publicera resultat på skolnivå är att det skulle utelämna en skola, när vi inte har något instrument som ger en fullständig och rättvisande bild. Men vi menar, att alla gymnasieelever redan i dag utelämnas genom att de hela livet för med sig betygen – som är offentliga – trots att vi vet att dessa betyg för en enskilda individen inte är absolut rättvisa.

Förhoppningen är att rapporten skall bidra till en debatt om behovet och nyttan av offentligt publicerade skolindikatorer och hur dessa indikatorer skall utformas.

2.3. Disposition

Rapporten inleds med en översiktlig redogörelse för hur skolindikatorer kan användas och olika problem förknippade med att ta fram och utnyttja dem på avsett sätt (kap.3). Hur man har valt att agera i några andra länder och i Sverige beskrivs kortfattat. Detta avsnitt gäller generellt för olika skolformer.

Därefter följer en mer empirisk metoddel som syftar till att redogöra för hur skolindikatorer för resultat i gymnasieskolan kan tas fram. I det sammanhanget fördjupas diskussionen kring vilka konsekvenser mätproblemen får för valet av indikatorer, hur de konkret kan utformas och hur de kan presenteras.

Avslutningsvis beskrivs i kapitel 5 utifrån de framtagna skolindikatorerna hur gymnasieskolorna lyckas. Beskrivningen ger erfarenhet av vilken kunskap skolindikatorer kan bidra med, men ger också en bild av resultat och likvärdighet i den svenska gymnasieskolan. I bilaga 2 redovisas de olika indikatorerna m.m. för samtliga 382 gymnasieskolor som ingår i studien.

3. Behovet av skolindikatorer

Med vilken kvalitet en institution eller ett system fungerar försöker man ibland uttrycka genom kvantitativa indikatorer. Indikatorerna kan referera till olika aspekter av den verksamhet man vill belysa: förutsättningar (input), processer och resultat (output).

OECD publicerar regelbundet indikatorer för sina medlemsländer. Indikatorerna ger länderna möjlighet att jämföra sina resultat med andra länders och ger därmed en god bas för policy-analys och utveckling. Internationellt har intresset ökat för att lära av varandras erfarenheter och att kunna sätta in utvecklingen i det egna landet i ett internationellt sammanhang.

I Sverige samlas data in från skolor eller skolhuvudmännen och används för att ge en bild av hur skolan fungerar på nationell och kommunal nivå. I detta avsnitt redogörs för hur kvantitativa indikatorer på skolnivå, skolindikatorer, kan användas. Olika problem och invändningar som är förknippade med skolindikatorer tas också upp.

3.1. Flera användningsområden

Skolindikatorer kan användas på olika sätt och med olika syften. Det mest uppenbara är kanske kopplingen till ansvaret för skolverksamheten – det sätt på vilket skolan skall styras förutsätter att man kan följa måluppfyllelsen och hur resultaten utvecklas. Men skolindikatorer kan även motiveras av demokratiska skäl.

3.1.1. Styrning, kontroll, utveckling och effektivitet

Styrning och uppföljning

I takt med att ansvaret för skolan har decentraliserats har också behovet av information om verksamheten ökat (se faktaruta 1). Varje nivå i skolsystemet – staten, kommunen, den enskilda skolan – har ansvar för olika delar och förfogar över olika medel genom vilka skolan styrs. På varje nivå finns därför ett behov av kunskap, det vill säga uppföljning

och utvärdering. För att kunna bedöma om verksamheten överensstämmer med de mål som lagts fast och hur utvecklingen ser ut krävs väl fungerande uppföljning och utvärdering. I detta sammanhang tjänar indikatorerna ett uppföljningssyfte. De nationella resultat som presenteras från Skolverkets uppföljningssystem har uppmärksammats alltmer under senare år. Exempelvis har i dessa rapporter lyfts fram det faktum att allt större elevgrupper lämnar grundskolan utan tillräckliga kunskaper i grundläggande ämnen och att avhoppen från gymnasieskolan ökat. I samband med budgetpropositionen för år 2001 redovisades flera förslag som syftar till att öka måluppfyllelsen i skolan.

Men information behövs också om hur enskilda skolor når målen. Eftersom de olika aktörerna ansvarar för olika delar av skolverksamheten behövs denna kunskap för en rad olika syften. Från nationellt håll är skolindikatorer intressanta för att belysa skolsystemets likvärdighet. Skolindikatorer kan även fungera som kompletterande information i nationella utvärderingar av olika slag1. För kommunerna, som ansvarar för att skolorna har de resurser och övriga förutsättningar de behöver för att nå målen, är det nödvändigt för att veta hur väl de enskilda skolorna når målen. Beslut om resursfördelning mellan skolor måste bl.a. grundas på kunskap om måluppfyllelsen. Rapporteringen från det nationella uppföljningssystemet som i dagsläget ger informa-tion på kommunnivå är alltför grovt för detta syfte. I en lärande organisation krävs återkoppling om resultaten av verksamheten och för den enskilda skolan är det också viktigt att kunna relatera resultaten av hur man arbetar till hur andra skolors resultat ser ut.

Indikatorer av bra kvalitet kan ge en bild av i vilken utsträckning skolan uppnår sina mål. Kvantitativa data är värdefulla när det gäller att studera utvecklingstendenser inom skolsystemet och variationen i systemet. Men en fullständig förståelse kan kvantitativa indikatorer aldrig ge. De måste användas tillsammans med kunskap som fås på annat sätt, till exempel genom utvärderingar. Men även om ansvaret och därmed kunskapsbehovet ser olika ut på olika nivåer så behövs det alltid indikatorer som gör det möjligt att göra jämförelser mellan skolor.

1 I Skolverkets utvärderingar är det inte den enskilda skolan som är intressant, utan vad utvärderingen kan säga om ”svensk skola”.

Faktaruta 1: MÅL- OCH RESULTATORIENTERAD STYRNING AV SKOLAN

I styrningens idé ligger att detaljbestämmelser skall undvikas och att kommunernas och skolornas frihet skall vara så stor som möjligt.

Ansvar för skolan på olika nivåer

Ansvaret för skolan förändrades 1991. Den tidigare styrningen med detaljerade regler och anvisningar ersattes av ett målstyrt system med stort lokalt ansvar.

Staten (riksdag och regering) anger riksgiltiga mål och riktlinjer för arbetet i skolan. Dessa mål och riktlinjer skall gälla för alla skolor och skall garantera att utbildningen i landet blir likvärdig. Kommunerna har huvudansvaret för verksamheten (organisation, personal och resurser) inom de ramar som staten anger. Kommunerna har stor frihet att avgöra hur verksamheten skall organiseras för att de riksgiltiga målen skall uppnås. Det ligger på det politiska ansvaret på kommunnivå att skolan får nödvändiga resurser och övriga förutsättningar. Ansvaret i den enskilda skolan. All personal i skolan skall bidra till att skolans mål uppfylls, även om huvudansvaret vilar på rektor och lärare. De som arbetar i skolan har stor frihet att i samarbete med eleverna organisera och lägga upp arbetet och att välja arbetssätt och arbetsformer. Även ansvaret att utveckla och förbättra undervisningen ligger på den enskilda skolan. Med utgångspunkt i de riksgiltiga målen och riktlinjerna och med de redskap och förutsättningar som kommunen ger är det rektor och lärare som i samarbete med eleverna skall ge skolarbetet struktur och innehåll.

Resultatredovisning central

Eftersom riksdagen och regeringen har ett övergripande nationellt ansvar för skolans resultat och skolans utveckling, måste verksamheten i skolan kunna följas och utvärderas. En sådan uppföljning och utvärdering skall ske på alla nivåer i skolsystemet. Den skall ligga till grund för nya beslut om hur målen skall uppnås och vara en ständig källa till förnyelse och förbättringar.

Kommunerna är skyldiga att lämna uppgifter om skolan och delta i utvärderingen av den. Det är Skolverkets uppgift att sammanställa uppgifterna och svara för rapporteringen av tillståndet i skolan till regeringen. Rapporterna bygger, förutom på kommunernas uppgifter om skolan, på Skolverkets egna undersökningar.

Källa: Skolverket

Skolutveckling

Rätt använda kan skolindikatorer, liksom övrig utvärdering, inbjuda till ett samtal om skolans resultat och vara en källa till förnyelse och förbättringar. Med andra ord kan indikatorerna även användas i arbetet med skolutveckling. Att öka friutrymmet att lokalt bestämma hur man skall arbeta i skolan var en viktig del i den decentralisering och ändrade ansvarsfördelning som genomfördes under 1990-talet. Genom att möjliggöra en bättre anpassning till lokala förhållanden och även tillåta en viss pluralism i systemet som skulle kunna visa på goda lösningar ville man åstadkomma en kvalitetshöjning och ökad effektivitet i skolsektorn.

Att svara på hur bra verksamheten fungerar benämns ofta kontrollperspektivet och brukar ses som ett motsatsförhållande till det senare utvecklingsperspektivet. Samtidigt hänger de två nära samman. Om man inte vet var man står är det svårt att veta hur man skall gå för att komma dit man vill.

Kritiker av användandet av skolindikatorer menar att möjligheterna att använda skolindikatorer i arbetet med skolutveckling begränsas av att indikatorerna inte säger något om exakt vad som är fel och hur situationen kan förbättras. Men för att kunna ställa frågan varför en verksamhet fungerar bättre eller sämre än andra måste man först veta hur resultaten av verksamheterna ser ut. Forskningen om framgångsrika skolor arbetar exempelvis genom att först identifiera skolor som utmärker sig genom att åstadkomma goda resultat och går sedan vidare med att ta reda på vilka faktorer som skiljer dessa skolor från andra. Denna forskning har visat det finns skolor som är särskilt bra på att bidra till elevernas kunskapsutveckling, och att detta även gäller skolor där förutsättningarna i termer av elevernas hembakgrund och sociala miljö är mindre gynnsamma2.

2 Se faktaruta 2 och avsnitt 4.2.3

3.1.2. En demokratisk rättighet

Valfrihet som mål och medel

Valfriheten i skolan förändrades på ett genomgripande sätt under 1990talet. Elever och föräldrar fick rätt att välja skola, både inom det kommunala skolväsendet och till skolor med privat huvudman. Att själv välja skola sågs som en demokratisk rättighet, och därmed ett mål i sig. Men valfriheten skulle också innebära en stimulerande tävlan mellan skolor, vilket skulle leda till pedagogisk förnyelse, förbättrad effektivitet och allmän kvalitetshöjning. Den skulle också skapa ett ökat engagemang och inflytande för elever och föräldrar. Såväl den ökade konkurrensen som det ökade engagemanget förväntades stimulera till utveckling av skolan. Valfriheten sågs således både som ett mål i sig och som ett medel för att utveckla skolan.

För att elever och föräldrar skall kunna välja skola behöver de känna till utbildningsutbudet och de alternativ som finns. När föräldrar till skolbytare3 tillfrågades om vilken informationskälla som varit mest betydelsefull inför valet av skola angav cirka en fjärdedel att det var den valda skolan och lika många uppgav vänner och bekanta. Färre än var tionde angav kommunen som mest betydelsefulla källa och några få procent angav media. Många föräldrar och elever fick själva arbeta aktivt för att samla information från olika skolor.

Ett av argumenten för att offentligt publicera skolindikatorer är att det underlättar för föräldrar och elever att på bästa möjliga grunder värdera skolor inför skolvalet. Det har ett demokratiskt värde att tillgången till information om skolornas kvalitet är enkelt tillgänglig och lika för alla. Skolindikatorer kan inte ge en fullständig bild av skolorna, men fungera väl som ett komplement till andra informationskällor såsom skolbroschyrer och samtal med skolans personal.

I praktiken finns en risk att tillgången till offentliga skolindikatorer ändå kommer att skilja sig åt mellan olika föräldragrupper. I England finns en stor andel föräldrar som inte känner till att skolindikatorer existerar trots att sådana publicerats under drygt tio års tid. Och det är framför allt föräldrar med lägre socio-ekonomisk bakgrund som inte känner till dem. I den mån indikatorerna är komplicerade att förstå och

3 Skolverket (1996)

tolka kan detta problem förstärkas. En del menar att detta är oacceptabelt om man förväntar sig positiva effekter av att föräldrar har tillgång till information om skolornas kvalitet. Frågan är om det är rimligt att undanhålla informationen för att inte alla tar del av den.

Ytterligare en invändning är att de reella valmöjligheterna varierar. Ibland finns det kanske bara en skola på orten, ibland kan transportkostnader och andra olägenheter innebära att det i praktiken bara är den närmaste skolan som är ett realistiskt alternativ. Återigen kan man fråga om det är rimligt att alla föräldrar och elever skall avstå från informationen av den anledningen.

Det finns de som är emot skolval och konkurrens inom skolsektorn och som hävdar att detta inte kan bidra till att utveckla skolan. Det finns inga entydiga forskningsresultaten på området4, men oavsett om skeptikerna har rätt eller inte måste en konkurrens som också grundas på fakta om måluppfyllelse uppfattas som sundare än en som enbart grundas på hörsägen och reklamslogans. Dessutom har valfriheten ett egenvärde i sig.

Rätt till insyn

Det är inte bara inför valet av skola som sammanställningar av hur skolor klarar av att uppnå målen är värdefulla. De kan också underlätta för föräldrar och elever att vara med och diskutera hur man vill att skolan skall utvecklas. Med indikatorer som syftar till att spegla skolans måluppfyllelse kan de bidra till en diskussion om vilka skolans mål är, något som många föräldrar känner sig dåligt informerade om5. I den mån kunskap om skolornas resultat leder till en ökad press i syfte att förbättra verksamheten är detta något som kommer hela skolan till godo, inte bara barnen till de föräldrar som engagerar sig i skolan. Under 1990-talet skedde en förändring så att skolbarnsföräldrar i högre grad upplevde att de kan vara med och påverka skolan6.

Även om man inte går i skolan själv eller har barn som gör det så är det en självklar rättighet för medborgarna i ett land eller en kommun att få veta hur de skolor som finansieras med offentliga medel fungerar.

4 Bergström & Sandström (2001)

5 Skolverket (1998a)

6 Peterson, O., Hermansson, J., Micheletti, M., Teorell, J., Westholm, A. (1998)

3.2. Problem och svårigheter

Det råder delade meningar om nyttan av skolindikatorer7. Inställningen till skolindikatorer förefaller i mycket vara en fråga om var man står ideologiskt snarare än grundat på kunskap om hur skolindikatorerna fungerar i praktiken. Men det finns också invändningar som rör problemet med effekter som inte är avsedda och olika typer av mätproblem som kan påverka värdet av skolindikatorerna. Några av dessa redovisas i det följande i detta avsnitt.

3.2.1. Icke avsedda effekter

Enskilda skolors resurstilldelning och status är beroende av att många elever väljer att gå på skolan och det ligger därför i skolornas intresse att uppvisa goda resultat. Idealiskt innebär indikatorer en drivkraft för att utveckla verksamheten. Men det kan också leda till att skolorna agerar strategiskt på ett sätt som inte främjar verksamheten och i värsta fall till och med får negativa konsekvenser. I England uppges man ha observerat ett antal sådana icke avsedda effekter:

  • Avsikten med skolindikatorer är ju att de skall styra verksamheten, men det kan innebära att man fokuserar mer på måtten än på det underliggande resultaten, vilket leder till att man undervisar för proven och att man koncentrera sig på examinationsresultat på bekostnad av andra kvalifikationer.
  • Det finns också exempel på att skolor selekterar bort vissa elever i antagningen, att elever med svårigheter i skolan flyttas och att man fokuserar på de elever som kan ge mest utdelning i resultatmåtten och därför ignorerar behoven hos elever som har svårt eller lätt för sig i skolan.
  • Direkt manipulation av data och att man håller tillbaka resultaten på intagningsproven för att få ett högre betyg på skolans bidrag till elevernas kunskapsutveckling lär också förekomma.

7 Se t.ex. Visschers sammanfattning av experternas syn på värdet av indikatorer.

3.2.2. Mätproblem

Mätproblemen berör huvudsakligen tre områden. Det första problemet är i vilken utsträckning man kan mäta de resultat som skall ställas mot skolans mål. Skolan har mål formulerade på många områden. Det finns mål för kunskaper på olika nivåer i skolans olika ämnen liksom det finns mål för exempelvis social utveckling. Även inom ämnen kan det finnas olika aspekter. Mer kvalitativa aspekter kan vara svåra att mäta. Skolan skall också fungera lika bra för olika elevgrupper. Dessutom kan det finnas en intern variation mellan olika typer av resultat, dvs. att skolor är olika bra på olika områden. Sammantaget innebär problemen att det inte finns något enkelt mått på en skolas kvalitet.

Nästa problem är hur man skall särskilja vad som är skolans bidrag till de resultat man kan mäta hos eleverna. Skolorna har såväl olika elevförutsättningar som skilda skolförutsättningar. Om detta inte beaktas finns risk för att skolpersonalen och kommunansvariga inte upplever skolindikatorerna som rättvisande, vilket minskar indikatorernas legitimitet i personalens ögon.

Tidsaspekten kan också vara ett problem. Ofta används kohortdata om elever som började för ett antal år sedan, och skolan kan ha ändrats under tiden. Ibland flyttar elever mellan skolor, och det är inte säkert om de som slutar skolan verkligen gått på samma skola hela tiden.

3.3. Politiska avvägningar

Det finns flera argument för att ta fram skolindikatorer, men det finns också en rad svårigheter. Resonemangen i avsnitten 3.1 och 3.2 sammanfattas figur 3.1.

Figur 3.1 Skolindikatorer - användningsområden och problem

Insamling av data på nationell nivå

Sammanställning av resultat på skolnivå

(skolindikatorer)

1) UPPFÖLJNING (accountability)

Redovisning

till skolor

Redovisning till

föräldrar och

elever

C) Icke avsedda

effekter

2) SKOL-UTVECKLING

3) DEL-AKTIGHET,

KRAV

4) VAL

D) Mätproblem

B) Användbar- hetsproblem

A) Användbar- hetsproblem

I ett mål- och resultatstyrt system behövs skolindikatorer för uppföljning av skolornas resultat (1). Men de ansvariga för skolan behöver kunskap om nuläget i skolorna också för arbetet med att utveckla skolan (2). Föräldrar och elever kan bidra till skolutvecklingen genom att vara delaktiga och genom att ställa krav på sina skolor (3). Även den konkurrens skolor utsätts för genom föräldrars och elevers möjlighet att

välja skola antas kunna bidra till skolutvecklingen (4). Information om skolornas verksamhet och resultat kan vara värdefull både inför val av skola och för att kunna vara delaktig och ställa krav på skolorna. I vilken grad skolindikatorerna är användbara i dessa sammanhang (A och B) går åsikterna i sär (möjligen med undantag av ansvarigas behov av att följa uppverksamheten). Det finns också farhågor om och vissa iakttagelser om att skolindikatorer kan medföra att skolor agerar på sätt som får oönskade effekter både på själva verksamheten och hur resultatdata avrapporteras ( C). Till detta kommer en rad mätproblem som är förknippade med att mäta skolornas resultat (D).

Det är upp till de ansvariga att göra en avvägning mellan den nytta och de problem man förväntar sig, att ta ställning till om resultaten skall vara offentliga eller inte och naturligtvis också att ta hänsyn till kostnaden för att ta fram skolindikatorer.

Krav på indikatorerna

Hur användbara indikatorerna är och hur stora problemen med dem blir påverkas i hög grad av hur man utformar indikatorerna och hur de presenteras. I kapitlen 4 och 5 redovisas vad detta konkret innebär för utformning och presentation av indikatorer för gymnasieskolan.

Publicera eller inte?

Mätproblem leder till att skolindikatorer kan bli svårtolkade och inte ger en enkel och exakt bild av hur väl en skola fungerar. Det finns de som hävdar att problemen är så stora att man inte alls bör ta fram skolindikatorer. Andra menar att skolindikatorerna ändå har ett värde, och att experter som förstår att tolka indikatorerna på ett riktigt sätt kan ha nytta av dem. Däremot anser man att svårigheterna i tolkningen gör att de ändå inte skall vara offentliga.

Det kan dock upplevas både förmyndaraktigt och oetiskt att ta fram indikatorer och sedan inte låta dem som berörs av verksamheten, dvs. föräldrar och elever, få ta del av dem. Detta synsätt är utgångspunkten för denna rapport.

Nyttan måste ställas mot kostnaderna

Tillgång till skolindikatorer av god kvalitet är av stor vikt, både för lokalt ansvariga och för föräldrar och elever. Men nyttan av skolindikatorer måste ställas mot de kostnader det innebär att ta fram indikatorer

som håller god kvalitet. De statistiska uppgifter som redan samlas in och sammanställs i form av jämförelsetal på kommunal nivå går ofta att använda för sammanställningar på skolnivå. Det är således möjligt att till en låg marginalkostnad ta fram skolindikatorer. Det är därför i högsta grad rimligt att ta fram skolindikatorer utifrån redan insamlad statistik och därefter pröva vilka positiva och negativ effekter som uppstår. Dessa erfarenheter kan sedan ligga till grund för att utveckla skolindikatorerna ytterligare eller – om det skulle visa sig att de inte fyller någon funktion eller har negativa effekter – avstå från att publicera dem.

3.4. Olika vägval

3.4.1. Lång tradition i några länder

I några länder finns en ganska lång tradition att publicera skolindikatorer. England och Frankrike började publicera dem i början av 1990talet och vissa stater i USA ännu tidigare. I andra länder är offentliga skolindikatorer relativt nya, eller planeras att publiceras i en nära framtid. I Danmark, Skottland, Irland och New South Wales i Australien har man däremot beslutat att inte publicera skolindikatorer.

Det är framför allt provresultat som används som resultatmått. I England, Wales, Frankrike och Nederländerna redovisas examinationsresultat. I England och Wales redovisar man endast enkla mått, medan man i Frankrike och Nederländerna även redovisar mått som tar hänsyn till att elevförutsättningarna varierar mellan skolor. Utvecklingen går dock även i England mot att försöka göra jämförelser som tar hänsyn till skolornas skilda förutsättningar.

I exempelvis Frankrike och Nederländerna var tidningarna först med att publicera skolresultat. De redovisade endast enkla mått som inte visade skolans bidrag till resultaten, vilket mer eller mindre tvingade staten att ta fram och publicera skolindikatorer av bättre kvalitet som beaktar att skolors förutsättningar skiljer sig åt.

En förklaringen till att skolindikatorer länge inte publicerades var att det i många länder antogs att offentlig utbildning levererade mer eller mindre samma produkt och att det inte heller förekom några större skillnader mellan skolorna när det gällde hur effektiva dessa var när det gällde att åstadkomma resultat. Dessutom passade produktionsperspektivet och den pedagogiska synen inte ihop inom utbildningsområdet. I Nederländerna fanns en rädsla att man genom att publicera obearbetade

elevresultat skulle få allvarliga negativa effekter på skolorna t.ex. i fråga om en skolas rykte och personalens motivation.

3.4.2. Vankelmod i Sverige

Utvecklingen i Sverige liknar den i andra länder. Även i Sverige styrde man med resurser och antog att en likartad organisation garanterade likvärdighet i resultaten. Det var mindre viktigt att studera skolans resultat. Det var inte heller möjligt för föräldrar och elever att fritt välja skola.

I dagens system finns ett uttalat behov av kunskap om skolornas måluppfyllelse. En nationell insamling av skoldata görs sedan länge, och Skolverket har sedan 1993 presenterat jämförelsetal på kommunnivå. Jämförelsetalen riktar sig i första hand till dem som har ansvaret för genomförandet av skolverksamheten. I redovisningen betonas att jämförelsetalen i första hand är beskrivande och inte kan tolkas som betygsättning av skolhuvudmännen. Förhoppningen är ändå att materialet skall ligga till grund för reflektion och diskussion om den egna verksamheten i jämförelse med andras. Jämförelsetalen uppges också vara ett av redskapen för uppföljningen av skolan.

Den resultatredovisning som görs från statligt håll görs vanligen inte lägre än ned till kommunnivå. Tabellerna innehåller inga resultat som försöker beakta kommunernas olika förutsättningar. Det görs ingen utvärdering av enskilda skolor och i de fall undersökningar görs på skolnivå är skolan vanligen anonym.

Det är i stället dagspressen som publicerar skolresultat, och då endast i form av enkla betygssammanställningar. Sedan några år tillbaka pågår på Skolverket ett utredningsarbete kring hur man skall kunna ta fram resultat på skolnivå som beaktar skolornas olika förutsättningar, men fram till helt nyligen har myndigheten valt att inte redovisa någon form av jämförelsetal på skolnivå.8

8 Så kallade kommunblad med respektive kommuns betyg i grundskolorna finns sedan våren 2001 att läsa på Skolverkets hemsida, www.skolverket.se.

4. Att fram resultatindikatorer för gymnasieskolan

Indikatorer är delar i ett system

En indikator är mer än beskrivande statistik. Den skall användas i ett politiskt sammanhang vilket får flera konsekvenser.9 Indikatorer och indikatorsystem måste konstrueras så att de utgår från bestämda antaganden om hur utbildningssystemet fungerar och vad det skall åstadkomma. Att ta fram indikatorer är därmed inte enbart en uppgift för statistiker. Eftersom indikatorerna skall definieras i ett politiskt sammanhang blir det i hög grad även en politisk uppgift. Det betyder också att en enstaka indikator har en mening först i ett sammanhang och att den måste tolkas som en del av ett system av indikatorer som även belyser andra aspekter av utbildningssystemet. Indikatorerna behöver organiseras i ett ramverk som tydliggör deras inbördes relationer. De internationella indikatorer som OECD publicerar och de jämförelsetal för skolhuvudmän som Skolverket publicerar är båda strukturerade efter principen förutsättningar, verksamhet och resultat.

Skolverkets jämförelsetal skall spegla förutsättningar och verksamhet är väl utvecklade. Men när det gäller de jämförelsetal som avser resultaten av utbildningen finns behov av mer utvecklade indikatorer. I det här kapitlet visas hur man utifrån redan tillgänglig statistik på ett relativt enkelt sätt kan öka värdet av resultatinformationen.

Kriterier för skolindikatorer

Åsikterna om vilka kriterier som skall användas när man tar fram skolindikatorer varierar efter i vilket politiskt sammanhang, för vilket utbildningssystem och på vilken beslutsnivå de skall användas. Men det finns en viss samsyn på vilka kriterier som bör gälla. I korthet bör de vara

9 OECD (1994)

  • politiskt relevanta
  • användarvänliga (vara enkla att förstå, inte alltför många och komma rätt i tiden)
  • kunna relateras till ett ramverk som är förenligt med den kunskap som finns om hur skolsystemet fungerar och även omfatta faktorer som är möjliga att påverka
  • mäta det som skall mätas och göra detta på ett tillförlitligt sätt (vara valida och reliabla)
  • möjliga att mäta till en rimlig kostnad.

I praktiken kommer en del av kriterierna att behöva vägas mot varandra. Exempelvis kan det kosta mer att öka indikatorernas validitet.

4.1. Gymnasieskolan i fokus

Att välja gymnasieskolan under arbetet med att ta fram indikatorer kan främst motiveras av att det då blir möjligt att beakta elevernas förkunskaper, vilket är avgörande av skäl som förklaras nedan. Ur jämlikhetsaspekt kan det ses som intressantare att studera grundskolan, eftersom det är den skolform som alla skall gå igenom och som ger de grundläggande kunskaper och färdigheter som är alla människors medborgerliga rättighet. Att Skolverket sedan några år arbetar med att ta fram mått på grundskolornas bidrag till elevernas kunskaper kan ses som ytterligare ett skäl att ägna gymnasieskolan uppmärksamhet i denna studie10. Och det finns ett behov av kunskap om gymnasieskolorna på lokal nivå. I en omfattande utvärdering av gymnasieskolan konstaterar Skolverket att kommunerna i stor utsträckning har utnyttjat sin rätt att organisera och besluta om utbildningsutbudet. När det däremot gäller mål- och resultatstyrning, som var en viktig förutsättning i decentraliseringen av skolan, visade utvärderingen att denna princip för styrning var mindre utvecklad i de undersökta kommunerna. Egna uppföljningar och utvärderingar av verksamheten förekom sparsamt. Kommunernas beslutande organ har inte haft tillräckligt bra beslutsunderlag och en av de viktigaste förutsättningarna för prioriteringar och styrning saknas.

10 Skolverket (1990a)

Fakta om gymnasieskolan 11

Gymnasieskolan är en frivillig skolform, men nästan alla som slutar grundskolan börjar i gymnasieskolan. Av de som slutade grundskolan våren 1999 gick 98 procent i gymnasieskolan hösten 1999. Gymnasieskolan omfattar 17 nationella program samt specialutformat program och individuellt program. Teknikprogrammet är nytt sedan hösten 2000. Specialutformade programmen (5 % av eleverna) skall ge en utbildning som är likvärdig med de nationella programmen, men ger eleverna möjligheter att kombinera kurser på ett friare sätt. På individuella programmet (6 % av eleverna) går elever som inte tagits in på nationella program, kanske för att de inte uppfyller kraven (godkänt i svenska, engelska och matematik) eller för att de avbrutit en gymnasieutbildning. Huvudsyftet är att eleven så småningom skall kunna gå över till ett nationellt program. Den enskildes behov och förutsättningar avgör hur programmet utformas och längden och innehållet varierar mycket.

Fjorton av de nationella programmen är program med yrkesämnen. Alla nationella program skall ge allmän behörighet till högskolan, men naturvetenskapsprogrammet (NV) och samhällsvetenskapsprogrammet (SP) kan sägas motsvara vad som tidigare kallades studieförberedande studievägar (45 % av eleverna).

Förutom programmen ryms inom ramen för gymnasieutbildningen även International Baccalaureate och specialkurser (1 procent av eleverna).

Tabell 4.1 Gymnasieskolan den 15 oktober 1998

Antal elever

Andel elever

Antal

skolor

Nationella program

272 434

88,1 %

591

- därav NV och SP

139 934

45,3 %

-

Specialutformat program

15 721

5,1 %

207

Individuellt program

17 741

5,7 %

372

International Baccalaureate

989

0,3 %

11

Specialkurser

2 258

0,7 %

45

Gymnasieskolan totalt

309 143

100,0 %

624

- därav kommunal skolor

284 989

92,2 %

430

- landstingsskolor

13 238

4,3 %

108

- fristående skolor

10 916

3,5 %

86

Källa: Skolverket (1999b)

11 De statistiska uppgifterna avser läsåret 1998/99 då indikatorerna avser huvudsakligen detta år. Skolverket (1999b).

Gymnasieutbildning anordnas av kommuner, av landsting och i fristående skolor. Landstingen svarar endast för utbildning på naturbruksprogrammet och omvårdnadsprogrammet. Huvuddelen av de fristående skolorna anordnar utbildningar motsvarande dem som finns i kommunala gymnasieskolor, men vissa har ingen motsvarighet (konst- och hantverksutbildningar, utbildning inom dans, musik, teater, reklam).

Gymnasial utbildning anordnades hösten 1998 i 279 kommuner. Utbudet av program varierar mellan kommunerna. Drygt 80 kommuner har minst tio program medan nära 70 kommuner har fem program eller färre. Cirka 40 kommuner anordnar enbart individuella program. Drygt 22 procent av gymnasieeleverna går i skola i en annan kommun än den de bor i.

Av alla elever i år 1 på någon linje eller något program i oktober 1994 fullföljde 74 procent en gymnasieutbildning. Fullföljandegraden var högre på naturvetenskapsprogrammet och samhällsvetenskapsprogrammet (92 respektive 86 %) än på övriga nationella program (73 %). Bland eleverna på individuella programmet fullföljde endast 17 procent en gymnasieutbildning inom fyra år.

Elever på program anses ha fullföljt sin utbildning när de erhåller ett slutbetyg. Ett sådant utfärdas endast då eleven fått betyg i alla kurser som ingår i studievägen och på specialarbetet. Dock kan betyget vara Icke godkänd.

4.2. Aspekter på gymnasieskolornas resultat

4.2.1. Utbildningens mål

Målen för gymnasieskolan finner man i skollagen, i läroplanen för de frivilliga skolformerna och i kursplanerna. I läroplanen, som är en bindande föreskrift för skolans verksamhet, sägs att huvuduppgiften för de frivilliga skolformerna är att förmedla kunskaper och skapa förutsättningar för att eleverna skall tillägna sig och utveckla kunskaper. Men skolan har mål och riktlinjer även för normer och värden, för elevernas ansvar och inflytande och för deras utbildningsval, arbete och samhällsliv.

4.2.2. Elevernas resultat

Betyg som mäter kvalitativa kunskaper

Under 1990-talet infördes ett målrelaterat betygssystem, vilket innebär att elevernas kunskaper relateras till de kvalitativa kunskapsmål som finns beskrivna i kursplanerna. Möjligheten att utnyttja betygsuppgifterna för att studera skolans resultat är betydligt bättre jämfört med betygen i det tidigare relativa betygssystemet som endast fungerade för att sortera och rangordna eleverna i relation till varandra. Med nuvarande betygssystem kan man få en bild av hur väl eleverna når skolans kunskapsmål.

I gymnasieskolan finns betygsstegen Icke Godkänd, Godkänd, Väl

Godkänd och Mycket Väl Godkänd. De olika betygen är avsedda att fånga upp olika kvaliteter på kunskaperna. Hur kunskapskvaliteterna ser ut för de olika betygsstegen finns angivet i betygskriterierna i respektive ämnes kursplan. Gymnasieutbildningen är uppbyggd av ett antal kurser och betyg sätts på varje kurs. Hur väl eleverna nått målen i varje kurs skall avgöra vilket betyg de får.

Det finns inte några andra uppgifter än betygen som kan spegla skolans resultat och som samlas in årligen och för alla elever och skolor. Vill man göra en återkommande resultatredovisning för alla skolor är man därför i praktiken hänvisad till skolindikatorer som bygger på betygsuppgifter.

Att fokusera på kunskapsmålen innebär dock inte att man helt bortser från skolans övriga mål. Skolans värdegrund finns formulerad i läroplanens inledningstext och i målen under rubriken Normer och värden12. Läroplanens värdegrund genomsyrar kursplanernas mål och betygskriterierna, och de olika ämnena skall bidra till att utveckla läroplanens värdegrund hos eleverna. Detta framkommer tydligt i kravet för att i grundskolan få betyget Väl godkänd: ”eleven argumenterar i diskussioner och grupparbeten för den egna åsikten, ställer frågor som hör till ämnet, lyssnar på andra och granskar sina egna och andras argument”. Att betona kunskapsmålet innebär inte att man förordar en återgång till den gamla ”pluggskolan”. Tvärtom kan man hävda att person-

12 Till exempel att "människolivet okränkbarhet, individens frihet och integritet, alla människors lika värde, jämställdhet mellan kvinnor och män samt solidaritet med svaga och utsatta är de värden skolan skall gestalta och förmedla.".

liga relationer – elever sinsemellan och mellan elever och lärare – med respekt och ömsesidigt förtroende är en förutsättning för att nå de högsta kunskapskvaliteterna. Det finns också forskning som visar att goda resultat vad avser kunskap i hög grad samvarierar med ett bra socialt klimat13.

Olika studier har dock visat att det finns en stor skillnad i hur både kursplaner och betygskriterier uppfattas, tolkas och används på olika skolor14. Det är ofrånkomligt med ett subjektivt inslag, men kursplaner och betygskriterier revideras kontinuerligt för att bland annat göra dokumenten tydligare.

En skola som främjar elevernas kunskapsutveckling behöver inte nödvändigtvis vara en ”bra” skola. Men de flesta torde vara överens om att en skola som inte är framgångsrik när det gäller att främja elevernas kunskapsutveckling inte heller är en bra skola.

Betyg kontra prov

Som stöd för lärarna i betygsättningen finns också ett nationellt provsystem. Detta skall skapa förutsättningar för att bedömningsgrunderna blir så enhetliga som möjligt över landet. Kursproven i den gymnasiala utbildningen omfattar ämnena svenska/svenska som andraspråk, engelska och matematik. I många länder används provresultat för att skapa skolindikatorer. Resultaten på kursproven skulle kunna användas i detta syfte, men för närvarande samlas de in endast för ett urval av skolor och elever. Kursproven kan dessutom inte pröva elevernas kunskaper mot samtliga mål som finns angivna i läroplaner och kursplaner och som läraren har att ta hänsyn till när det sätter betyg. Proven prövar dessutom elevernas kunskaper endast vid givna tidpunkter. När lärarna sätter betyg kan de ta hänsyn till såväl provresultat som de aspekter som inte fångas upp av proven.

En invändning mot att använda prov för att jämföra skolors resultat är att de styr upp undervisningen mot det triviala och mätbara. Detta problem uppstår inte på samma sätt om man använder betygen.

13 Sammons, Thomas, Mortimore (1997)

14 Skolverket (2000) Nationella kvalitetsgranskningar 2000. Skolverkets rapport nr. 190

Val mellan bredd och jämförbarhet

Vilka kursbetyg skall då användas? Den fullödigaste bilden av enskilda elevers studieresultat får man av slutbetyget, som omfattar betyg i alla kurser eleven läst. Men vilka kurser eleverna läst varierar mellan de olika programmen, och eftersom skolor har olika kombinationer av program blir det än svårare att jämföra olika skolor. Men alla elever, oavsett vilket program de går på, läser emellertid de s.k. kärnämneskurserna. Dessa kurser utgör cirka 30 procent av kurserna i gymnasieskolan och omfattar åtta ämnen15. Ytterligare ett alternativ är att välja ut betygen i de ämnen som stöttas av nationella kursprov, dvs. svenska, engelska och matematik. Fördelen med det senare alternativet är att man skulle kunna vänta sig en mer likartad bedömning av elevernas kunskaper och att man även skulle kunna jämföra betyg och provresultat för att få en uppfattning om skolorna skiljer sig åt markant i betygssättningen. Att endast en mindre del av utbildningen skulle belysas är dock en nackdel. Indikatorerna kan också antas bli mer känsliga för enskilda lärares bedömning av elevernas kunskaper. Att välja a) samtliga kurser, b) kärnämneskurserna eller c) svenska, engelska och matematik ger olika bredd på resultatbilden men också olika grad av jämförbarhet av skolornas resultat.

Att använda betygen som ett resultat är ett ställningstagande för lärarnas bedömningsförmåga. Styrkan med ett kunskapsrelaterat betygssystem är att det kan användas för att bedöma i vilken grad skolans kunskapsmål nås. En svaghet är att det i hög grad är beroende av hur lärarna tolkar målen och betygskriterierna. Kärnämneskurserna väljs för att de är gemensamma för alla gymnasieprogram. För att få en bredare bild av skolans resultat kompletteras detta med indikatorer som fångar upp programmens alla kurser och hur stor andel som fullföljer gymnasieutbildningen inom en viss tid.

15 Engelska, estetisk verksamhet, idrott och hälsa, matematik, naturkunskap, samhällskunskap, svenska (alternativt svenska som andraspråk), religionskunskap.

4.2.3. Skolornas resultat

Hur väl en elev lyckas i skolan beror till stor del på elevens begåvning och motivation och det stöd hon eller han kan få av föräldrarna. Det eleven lär sig på fritiden kan också ha betydelse. Fram till slutet av 1970-talet fanns ingen forskning om vilken betydelse skolan hade. Det fanns en utbredd uppfattning att alla skolor var ungefär lika bra, och att vilken skola en elev gick på inte gjorde någon större skillnad för hur eleven skulle klara sin skolgång. Senare forskning har visat att skolor är olika bra på att främja sina elevers kunskapsutveckling (se faktaruta 2). Denna forskning betonar att man måste studera i vilken grad eleverna utvecklar kunskaper, snarare än att enbart se till vilken kunskapsnivå de uppnår, för att kunna bedöma skolornas effektivitet.

Eftersom studieresultaten till stor del beror på egenskaper hos eleverna kommer skolor med många elever med gynnsamma förutsättningar att kunna redovisa bättre resultat på skolnivå än skolor vars elever har sämre förutsättningar att lyckas i skolan. Elevresultat som aggregeras till skolnivå återspeglar i hög grad elevsammansättningen och säger inte särskilt mycket om hur bra skolan är på att bidra till elevernas kunskapsutveckling.

Att redovisa ”skolresultat” som bortser från inverkan av elevernas förutsättningar kan få negativa effekter. Skolor som har goda elevförutsättningar kan slå sig till ro med att de har en bra skola, medan deras elevers kunskapsutveckling i själva verket är mindre bra än på skolor med sämre elevförutsättningar. Deras slutresultat ser bra ut på ytan, men i själva verket är det sämre än vad det skulle kunna vara. På samma sätt kan det finnas skolor där slutresultaten inte ser särskilt bra ut, men där elevernas kunskapsutveckling är bättre, jämfört med skolor med bättre elevförutsättningar. Personalen på dessa skolor riskerar att känna uppgivenhet. Indikatorer som bortser från dessa problem riskerar att få en låg grad av legitimitet i lärarnas ögon.

I diagram 4.1 illustreras sambandet mellan skolors genomsnittliga grundskolebetyg och genomsnittliga gymnasiebetyg. De respektive betygen antas återspegla elevernas kunskapsnivåer. Varje punkt i diagrammet representerar en skola. Ju bättre elevförutsättningar (i termer av grundskolebetyg), desto högre tenderar slutresultatet från gymnasieskolan vara (i termer av gymnasiebetyg). På skola A är grundskolesnittet 3,0 och det genomsnittliga gymnasiebetyget är 12,0. Skola B har samma genomsnittliga gymnasiebetyg trots att det genomsnittliga grundskolebetyget är betydligt lägre, 2,8 Skola B har varit mer fram-

gångsrik än skola A i att främja sina elevers kunskapsutveckling, men detta avspeglas inte i slutbetygen från gymnasieskolan.

Diagram 4.1 Skolors grundskolebetyg och gymnasiebetyg

8 9 10 11 12 13 14 15 16

2.3 2.4 2.5 2.6 2.7 2.8 2.9 3 3.1 3.2 3.3 3.4 3.5

Grundskolebetyg

Gymn asieb et yg

A

C

B

Value added

Principen bakom att mäta hur framgångsrika skolorna är på att bidra till sina elevers kunskapsutveckling (value added) är att jämföra skolor med andra skolor som har liknande elevförutsättningar. Skola C i diagrammet har samma genomsnittliga grundskolebetyg som skola A, men det genomsnittliga gymnasiebetyget är betydligt högre, 14,5.

De båda skolorna hade liknande förutsättningar i termer av elevernas förkunskaper och förmågor såsom de återspeglas i grundskolebetyg. Men eleverna som lämnar skola C har i genomsnitt nått högre kunskapskvaliteter än eleverna på skola A. Skola C har varit mer framgångsrik än skola A. Termen value added används för att benämna det mått som kan ge en indikation om i vilken utsträckning en skola har främjat utvecklingen av kunskaper i olika ämnen hos alla sina elever under en viss tidsperiod. Principen bakom value added är således att jämföra skolor med liknande förutsättningar. För att göra detta används olika statistiska metoder och modeller när skolornas value added beräknas.

Prov, betyg och hembakgrund som mått på elevförutsättningar

För att beräkna value added måste man veta vad eleverna kan när de börjar skolan och vad de kan när de slutar skolan. Idealt har man resultat från prov som är upplagda för detta syfte. Att det sällan finns sådana nationella prov är ett av de största problemen med att beräkna value added. Ofta används uppgifter om elevernas socio-ekonomiska bakgrund som en ersättning för uppgifter om deras förkunskaper. Man vet att det finns ett tydligt samband mellan den socio-ekonomiska bakgrunden och prestationerna i skolan. Studier har dock visat att om man använder adekvata bedömningar av förkunskaperna så bidrar uppgifter om socio-ekonomiska förhållande ganska lite till att ytterligare förklara skillnader mellan elever16. Ett mer direkt mått på elevernas tidigare kunskaper (när vi studerar gymnasieskolan) är betyget från grundskolan. Det nuvarande betygssystemet innebär att det skall finnas en kontinuitet och progression mellan grundskolans och gymnasieskolans kursplaner och betygskriterier. Förkunskaperna från grundskolan, som till stor del beror på elevernas socio-ekonomiska bakgrund, har mycket stor betydelse för betygen i gymnasieskolan. Den socio-ekonomiska bakgrunden har viss, marginell inverkan på gymnasiebetygen också sedan man tagit hänsyn till förkunskaperna17. Elevernas socio-ekonomiska bakgrund kan även tänkas påverka lärarnas förväntningar, vilket i sin tur kan ha betydelse för elevernas resultat. (Se faktaruta 2.)

16 Sammons, Thomas, Mortimore (1997)

17 Samma resultat redovisas i Sammons, Thomas, Mortimore (1997)

Att i de statistiska modellerna ta hänsyn till det faktum att elevförutsättningarna skiljer sig åt innebär att man rensar bort effekterna av dessa. På liknande sätt skulle man kunna ta hänsyn till att andra skillnader, t. ex. i fråga om lärarresurser. Men syftet här är att försöka göra en så rättvis jämförelse som möjligt sedan man tagit hänsyn till de förutsättningar som inte kan påverkas av de ansvariga för skolans resultat.

Faktaruta 2 FORSKNING OM FRAMGÅNGSRIKA SKOLOR

Forskningen om framgångsrika skolor har sedan slutet av 1970-talet försökt att på ett systematiskt sätt värdera kvaliteten på undervisningen och elevernas inlärning. Man försöker reda ut i vilken grad elevernas slutresultat beror på hur skolan fungerar sedan man rensat bort den ofta kraftiga inverkan av elevernas bakgrund.

År 1979 publicerades resultaten från två studier som syftade till att undersöka om det var möjligt för skolor att påverka sina elevers studieresultat. Båda studierna kom till samma resultat, det fanns skolor som hade en liten men signifikant betydelse för elevernas prestationer. Under 1980-talet förbättrades metoderna för att undersöka skolors betydelse för elevernas möjligheter. Forskningen har visat att skolor kan vara olika effektiva och att även skolor som har elever med sämre förutsättningar kan vara effektiva i att utveckla elevernas kunskaper. Under 1990-talet har det skett en glidning mot mot att studera hur skolor kan utveckla sin verksamhet, inte bara att jämföra hur effektiva de är vid undersökningstillfället.

Forskningen har försökt ge svar på varför en del skolor och arbetsenheter är bättre än andra på att bidra till sina elevers kunskapsutveckling. Resultaten visar bland annat att följande pedagogiska och sociala faktorer utmärker framgångsrika skolor1:

  • prioritering av skolans kunskapsmål
  • höga förväntningar på att eleverna är läraktiga
  • regelbundna utvärderingar
  • uppmuntran och belöning för gott arbete
  • koncentration och individualisering
  • tydligt demokratiskt ledarskap

1 Skolverket (1994)

Begränsningar med value added-metoden

Ett value added som beräknats för hela skolan är ett genomsnittligt mått och kan dölja att resultat ser olika ut för olika elevgrupper. Det kan också finnas skillnader mellan olika ämnen, som inte framgår med denna metod. Dessutom kan det variera mellan olika år.

För att skatta value added krävs någon form av statistisk modell. Ett problem med detta slags statistiska skattningar är att de ofta är känsliga för hur modellen specificeras och har ett stort mått av osäkerhet. För att undvika risken för övertolkning är det därför lämpligt att ange osäkerheten, t. ex. i form av konfidensintervall. Man kan dock räkna med att relativt få skolor kommer att få en statistiskt säkerställd skattning av value added och värdet av denna indikator blir då litet. Ett annat sätt är att använda skattningar för tre år i rad. Detta ger en indikation på hur stabilt resultatet är över tid.

En skola kan uppvisa ett bra genomsnittligt resultat endast för att de har elever med goda förkunskaper och bra studieförutsättningar. Men en skola kan också vara bra på att låta eleverna utveckla kunskaper utan att resultaten når en ur samhällets perspektiv tillräckligt god nivå. Av den anledningen är både den genomsnittliga nivå en skola uppnår och i vilken utsträckning detta är ett resultat av skolans arbete, value added, viktiga aspekter. Dessa är kompletterande mått som måste ställas sida vid sida. Value added beräknas med en enkel modell där grundskolebetyget får representera elevens förkunskaper och studieförutsättningar. Någon hänsyn till den socio-ekonomiska bakgrunden tas inte, eftersom vi vill minska risken att korrigera för lärarnas förväntningar på eleverna. Stabiliteten i value added sett över tre år redovisas.

4.2.4. Likvärdigheten viktig

”Likvärdighet” är ett honnörsord i svensk utbildningspolitik. Vad som avses med likvärdighet är dock inte alldeles uppenbart.18 I skollagen föreskrivs att utbildningen i varje skolform skall vara likvärdig, oavsett var i landet den anordnas (1 kap. 2 och 9 §§). Vidare sägs att alla barn och ungdomar oavsett kön, geografisk hemort samt sociala och ekonomiska förhållanden skall ha tillgång till en likvärdig utbildning. I läroplanen görs ett förtydligande: normerna för likvärdigheten anges genom de riksgiltiga målen. I kursplanerna finns mål som skall ses som krav på att skolan skall ge alla elever en miniminivå av kunskaper. Men likvärdig utbildning innebär inte att undervisningen skall utformas på samma sätt överallt eller att resurserna skall fördelas lika. Hänsyn skall tas till elevernas olika förutsättningar, behov och kunskapsnivåer. Särskild uppmärksamhet måste ägnas åt de elever som av olika anledningar har svårigheter att nå målen för utbildningen.

Kravet på att skolorna skall ge alla elever en miniminivå av kunskaper gör det naturligt att fokusera på var gränsen för betyget Godkänd går, för att se hur många som når en lägsta acceptabel nivå. Det är också rimligt att undersöka studieresultaten för olika grupper av elever och att särskilt undersöka hur det går för barn och unga med sämre förutsättningar att klara sig i skolan.

Ett annat sätt att beakta likvärdigheten skulle kunna vara använda något statistiskt spridningsmått som standardavvikelse eller varians för att se hur elevresultaten varierar inom enskilda skolor. Sådana spridningsmått är emellertid svårtolkade. Intuitivt kan man tycka att en stor spridning bör vara negativt ur likvärdighetsperspektiv, men spridningen kan bli stor som en följd av mycket goda resultat hos några elever. Måttet blir också känsligt för vilken sammansättning av program en skola har eller andra faktorer som inte beaktar elevernas förkunskaper och studieförutsättningar.

En stor vikt har lagts vid att försöka fånga upp och presentera några olika aspekter av likvärdigheten. Det har inneburit att Godkändgränsen betonas i flera indikatorer och att vi undersöker hur olika elevgrupper klarar sig i gymnasieskolan.

18 Skolverket (1995)

4.2.5. Skolor med olika program

De flesta gymnasieskolor erbjuder inte utbildningar på samtliga program. Det är vanligt att skolorna har antingen enbart program med yrkesämnen eller enbart de studieförberedande programmen. Det förekommer också skolor med båda typerna av program. Det finns också ett antal gymnasieskolor som enbart erbjuder utbildning på individuella programmet. Programmen är av olika karaktär och med olika innehåll och elevgrupperna som går på de olika programmen skiljer sig också åt i en del avseenden, bland annat i förkunskaper från grundskolan.

Att skolorna har olika sammansättningar av program har betydelse för möjligheten att jämföra skolor. En möjlighet är att korrigera resultaten för skillnader i elevförutsättningar, dvs. beräkna skolornas bidrag (value added). Man kan också tänka sig att dela in skolorna i grupper efter vilka program de anordnar utbildning på, och sedan redovisa skolindikatorer för vardera av dessa grupper av skolor. Ytterligare ett alternativ är att ta fram skolindikatorer för varje program. Det senare alternativet leder dock till ett stort antal indikatorer som i vissa fall kan baseras på ett litet elevunderlag.

För att göra skolindikatorerna mer jämförbara används huvudsakligen betygen i kärnämneskurserna som ju är gemensamma för alla program. Vid beräkningen av skolans bidrag, value added, tas hänsyn till elevernas förkunskaper. Även indikatorerna som belyser studieresultaten för elevgrupper med olika grundskolebetyg tar i viss mån hänsyn till skillnader i skolornas elevunderlag. Slutligen sorteras skolorna och resultaten presenteras för olika skolgrupper i syfte att underlätta jämförelsen mellan skolor med likartade förutsättningar.

4.2.6. Att hantera osäkerhet

Det finns en osäkerhet i skolindikatorerna som beror på att elevunderlaget och även hur väl skolan fungerar kan variera från år till år. Denna osäkerhet ökar ju färre elevers betyg skolindikatorerna beräknas på.

Om skolorna tilldelas enkla rankningsnummer (1,2,3…) efter hur höga indikatorvärden de har, föreligger en uppenbar risk att små skillnader mellan skolor överskattas. Ett alternativ är att ange varje skolas relativa placering med ett index som kan tolkas som skolans procentu-

ella avvikelse från ett medelvärde. Detta index visar hur stort avståndet är mellan skolornas indikatorvärden och små skillnader framstår inte som större än de är. Ytterligare ett alternativ skulle vara att dela in skolorna i olika kategorier efter deras indikatorvärden. Fördelen med kategorier är att man får en enkel och snabb bild, men detta måste vägas mot att en kategoriindelning alltid innebär gränsdragningsproblem. Två skolor kan ha mycket likartade indikatorvärden och ändå hamna i olika kategorier.

Skolindikatorer presenteras inte för skolor med färre än 30 elever med slutbetyg. Indikatorer beräknas inte på små elevunderlag. Dessutom anges elevantalet för varje skola så att läsaren själv kan bedöma osäkerheten som beror på elevantalet. För indikatorn på skolans bidrag har value added beräknats för tre år för att ge en bild av hur stabilt resultatet är över tid. Indikatorvärdena kompletteras med en kategoritillhörighet. Genom att beräkna gränserna statistiskt kommer man ifrån problemet med subjektivt satta gränser.

5. Gymnasieskolornas resultat

I rapporten har analyserats och diskuterats behovet av att på ett mer kvalificerat sätt än genom enkla skolvisa genomsnittsbetyg mäta hur elevernas kunskaper utvecklas relativt sett i olika skolor. Styrsystemet förutsätter att kunskap finns tillgänglig om skolresultaten. Detta för att göra det möjligt för elever, föräldrar, lärare, skolhuvudmän m.fl. att kunna jämföra skolor, t.ex. i samband med val av gymnasieskola. Inledningsvis beskrivs – utifrån resonemangen i föregående avsnitt – vilka indikatorer som valts och hur de hänger samman samt ges en detaljerad anvisning till läsaren hur man själv kan gå in i bilaga 2 där uppgifterna redovisas i detalj för samtliga de 382 skolor som ingått i studien (avsnitt 5.1). En mer exakt beskrivning av hur indikatorerna beräknats redovisas i den tekniska bilagan (bilaga 1) i rapporten.

I avsnitt 5.2 beskrivs den bild som studien ger på nationell nivå av hur de olika skolorna presterar utifrån bl.a. value added-analysen och vilken betydelse det har för likvärdigheten i utbildningen.

5.1. Indikatorer och resultatredovisning

5.1.1. De elva resultatindikatorerna

Enskilda elevers, föräldrars och lärares uppfattning om vad som är en bra skola kommer att skilja sig åt beroende på deras egna värderingar och preferenser. En förälders uppfattning om vad som är en bra skola behöver inte heller vara densamma för alla dess barn.

Av den anledningen – och för att skolans mål har flera dimensioner – är det omöjligt att med ett enda mått beskriva hur väl en skola fungerar. Det krävs att man beaktar nivån på skolornas resultat, hur mycket skolorna bidrar till detta resultat och hur bra skolorna fungerar för olika grupper av elever, eller i olika ämnen. Skolans resultat måste ses ur ett likvärdighetsperspektiv. Även om man begränsar sig till att enbart redovisa indikatorer som bygger på betygsstatistik är ett mycket stort an-

tal varianter möjliga. Samma typ av indikator (t.ex. genomsnittligt betyg) kan tas fram för olika ämnesgrupper, olika elevgrupper (flickor/pojkar, efter invandrarbakgrund eller socio-ekonomiska bakgrund, för elever på olika program etc.), man kan beräkna skolornas bidrag till indikatorn och man kan redovisa indikatorn för flera år för att fånga utvecklingen skola för skola.

Ju fler indikatorer som redovisas, desto fler dimensioner av skolornas resultat kan man belysa, men samtidigt försvåras överblicken. Därför måste antalet indikatorer begränsas. Vad man väljer att redovisa är betydelsefullt, eftersom det ger signaler om vilka resultat som är viktiga.

Då ett viktigt syfte med denna studie har varit att peka på och exemplifiera med olika möjligheter att utveckla skolindikatorer har antalet skolindikatorer kunnat begränsas. De elva indikatorer som valts illustrerar viktiga principer som bör beaktas i ett framtida arbete med att ta fram och utforma resultatindikatorer. Indikatorerna har delats in i tre grupper: Nivå och value added, Likvärdighet samt Totalindex.

Nivå och value added

Medelbetyget visar vilken genomsnittlig nivå skolan når på kärnämneskurserna och Skolans bidrag visar i vilken utsträckning skolan bidragit till detta resultat. För att få en uppfattning av hur stabilt value added är sammanfattas hur det har utvecklats under tre år.

1 Genomsnittligt medelbetyg i kärnämneskurser. Medelbetyget är det genomsnittliga värdet av betygen i kärnämneskurserna. 2 Skolans bidrag till medelbetyget (value added). Value added beräknas med en statistiskt modell som beaktar elevernas förkunskaper. 3 Stabilitet. Anger om value added har varit stabilt positivt, stabilt negativt eller varierat åren 1997, 1998, 1999.

Likvärdighet

Indikatorerna i den andra gruppen syftar till att fånga upp olika aspekter på likvärdighet. Den första indikatorn redovisar hur skolorna bidrar till flickornas kunskapsutveckling i förhållande till pojkarnas kunskapsutveckling. Följande fyra indikatorer visar i vilken utsträckning elevgrupper med olika förkunskaper från grundskolan nått minst den lägsta acceptabla kunskapsnivån i kärnämneskurserna inom fyra år efter påbörjade gymnasiestudier. I den första elevgruppen ingår den fjärdedel

av eleverna som hade de lägsta grundskolebetygen, i den andra gruppen ingår den fjärdedel som hade de näst lägsta grundskolebetygen o.s.v. För var och en av grupperna redovisas den genomsnittliga andelen kärnämneskurser med lägst betyget Godkänd. Att andelarna är beräknade på de elever som påbörjade gymnasiestudier innebär att indikatorn påverkas av hur många elever som inte fullföljer utbildningen.

Huvuddelen av skolindikatorerna bygger på kärnämneskurserna i slutbetyget. Andelen fullföljande och andelen behöriga till högskolestudier beaktar betygsresultat i en vidare bemärkelse. För behörigheten krävs lägst Godkänd på kurser motsvarande 90 procent av poängen som behövs för ett fullständigt program. Andelen som fullföljer sin gymnasieutbildning inom fyra år är en intressant indikator i sig, men ger också en uppfattning om hur stor grupp av eleverna som började gymnasieskolan ingår i beräkningen av medelbetyg och value added.

För eleverna är en fullständig gymnasieutbildning och behörighet till högskolestudier viktiga formella meriter med stor betydelse för deras framtida studier och arbetsliv. Därför är andelen som fullföljer sin gymnasieutbildning och andelen av dessa som har högskolebehörighet viktiga aspekter på likvärdigheten.

4 Skillnad mellan skolans bidrag till flickors medelbetyg och till pojkars. Skillnaden beräknas med en statistisk modell som beaktar elevernas förkunskaper. 5 Andel kärnämneskurser (%) med minst betyget

Godkänd för elever med grundskolebetyg under 2,25.

Varje elev kan läsa nio kärnämneskurser. För varje elev som började gymnasieskolan 1994 beräknas andelen kurser med lägst betyget Godkänd inom fyra år. 6 Andel kärnämneskurser (%) med minst betyget Godkänd för

elever med grundskolebetyg mellan 2,25 och 2,71. Beräknas som ovan. 7 Andel kärnämneskurser (%) med minst betyget Godkänd för

elever med grundskolebetyg mellan 2,72 och 3,14. Beräknas som ovan. Beräknas som ovan. 8 Andel kärnämneskurser (%) med minst betyget Godkänd för

elever med grundskolebetyg över 3,14. Beräknas som ovan. 9 Andel elever som fullföljer gymnasieutbildning inom

fyra år (%). Andel av eleverna som påbörjade en gymnasieutbildning 1994 som fick slutbetyg inom fyra år. 10 Andel med grundläggande behörighet till högskola (%).

Andel av eleverna som fick slutbetyg 1999 som hade lägst betyget Godkänd på kurser motsvarande 90 procent av poängen som behövs för ett fullständigt program.

Totalindex

Trots det som tidigare skrivits om det omöjliga i att fånga olika dimensioner med ett mått redovisas slutligen som ett sammanfattande mått på skolindikatorerna ett ”totalindex”. För att väga samman de olika aspekter som skall speglas av indikatorerna krävs att någon form av värdering, eller viktning, görs i sammanvägningen. Här har samtliga indikatorer samma vikt, vilket skall ses som godtyckligt. Mot bakgrund av vad som tidigare skrivits om att beskriva hur väl en skola fungerar med en enda indikator måste det betonas att totalindexet inte skall uppfattas som ett slutligt omdöme om skolan. Det visar endast hur man jämför åtta av de indikatorer som presenteras och dessutom ger dessa indikatorer lika stor vikt. Var och en som är en totalbedömning av skolan värderar sannolikt de olika dimensionerna på sitt sätt.

11 Genomsnittligt index för resultatindikatorerna. Ett sammanfattande mått som anger hur skolans olika resultatindikatorer förhåller sig till övriga skolors resultat. Indikatorerna på value addeds stabilitet och på skillnaden mellan skolans bidrag till flickors medelbetyg och till pojkars ingår inte.

Skolans elevförutsättningar

Skolornas elevförutsättningar ger bakgrundsinformation till resultaten. Elevantalet ger även en uppfattning om osäkerheten i indikatorerna.

1 Antal elever med slutbetyg 1999. 2 Andel av elever som påbörjade gymnasieutbildning 1994 som hade ett grundskolebetyg under etc. 3 Andel av elever som påbörjade gymnasieutbildning 1994 som hade ett grundskolebetyg mellan etc. 4 Andel av elever som påbörjade gymnasieutbildning 1994 som hade ett grundskolebetyg mellan etc. 5 Andel av elever som påbörjade gymnasieutbildning 1994 som hade ett grundskolebetyg över etc.

5.1.2. Strukturen på redovisningen

Läsåret 1998/99 fanns det 624 gymnasieskolor. På vissa skolor fanns enbart elever på individuella programmet. Dessa skolor ingår inte i redovisningen, eftersom det är mycket ovanligt att en elev erhåller slutbetyg på detta program. Antalet skolor med elever med slutbetyg 1999 var 490. För att förhindra att indikatorer blir alltför känsliga för slumpmässiga förhållanden ingår inte skolor som hade färre än 30 elever med

slutbetyg. Totalt omfattar studien 382 skolor, vilket motsvarar 78 procent av skolorna som gett slutbetyg och 98 procent av eleverna som fått slutbetyg och därmed fullföljt sin gymnasieutbildning.

Tabell 5.1 Antal skolor och antal elever med slutbetyg 1999

Antal skolor

Antal elever med slutbetyg

Skolor med elever med slutbetyg

490

75 354

Skolor med minst 30 elever med slutbetyg

382

73 779

därav skolor med - minst två tredjedelar elever på NV/SP

75

- mellan en och två tredjedelar elever på NV/SP

190

- mindre än en tredjedel elever på NV/SP

40

- enbart elever på program med yrkesämnen

77

För samtliga skolindikatorer redovisas både det faktiska värdet och en kategoritillhörighet som anger skolans värde i relation till värdet för övriga skolor. Denna kategori underlättar för en läsare att placera den egna skolans resultat i relation övriga skolors resultat. I kategori A finns de 20 procent högsta indikatorvärdena, i kategori B de 20 procent näst högsta indikatorvärdena osv. I kategori E finns följaktligen de 20 procent lägsta indikatorvärdena. (Undantaget är skillnaden mellan pojkar och flickor där kategori A omfattar skolorna med de indikatorvärden som ligger närmast 0.) För att ge en övergripande bild av variationen mellan skolor anges för varje indikator lägsta och högsta värde, medelvärde, median och standardavvikelse.

Figur 5.1 Resultattabellens första och sista delar

Resultatindikatorer för 382 gymnasieskolor 1999

Nivå och value added Likvärdighet

Totalt

Skolgrupp och skolans namn (kommun)

Skolans namn enligt SCB:s skolregister.

F = fristånde skola

Genomsnittligt medelbetyg i kärnämneskurser

Skolans bidrag till

medelbetyget (value added)

Skillnad mellan skolans bidrag till flickors medelbetyg

och till pojkars

under 2,25

mellan 2,25 och

2,71

mellan 2,72

och 3,14 över 3,14

Andel elever som fullföljer gymn. utb. inom fyra år

(%)

Andel med grundläggande behörighet till högskola (%)

Genomsnittligt

index för resultatindikatorerna

Kat. Stabilitet Kat. Kat. Kat. Kat. Kat. Kat. Kat. Grupp

Minst två tredjedelar elever på NV/SP/SM

ABB Industrigymn. (Västerås) F

15,6

A

0,0

0

0,3

D

77

A

87

B

76

E

86

E

96

A

100

A

113

A

Apelrydsskolan (Båstad) F

12,7

C

0,4

.

0,0

A

28

E

61

E

36

E

0

E

43

E

100

A

70

E

Berzeliusskolan (Linköping)

15,5

A

0,6

+

0,1

B

14

E

82

C

88

D

99

B

95

A

86

C

101

C

Bessemergymn. r 2 (Sandviken)

13,0

C

-0,2

0

-0,2

D

. . 80

E

93

D

90

B

94

A

102

C

Blackebergs gymn. (Stockholm)

14,7

A

0,3

0

0,1

B

30

E

60

E

87

D

96

C

87

C

89

B

98

D

Bromma gymn. (Stockholm)

13,8

A

0,0

0

0,0

A

46

D

61

E

88

D

93

D

81

D

74

E

96

D

Brännkyrka gymn. (Stockholm)

13,7

B

-0,4

-

0,4

E

44

D

50

E

84

D

93

D

80

D

70

E

90

E

Bäckängsgymn. (Borås)

14,3

A

1,3

+

0,2

D

73

A

86

B

92

C

95

D

89

B

88

B

118

A

Celsiusskolan (Uppsala)

13,3

B

-0,4

-

-0,2

D

54

C

82

C

95

B

100

A

90

B

76

E

103

C

Danderyds gymn.

15,0

A

0,4

+

0,1

B

50

C

84

B

92

C

95

D

92

A

95

A

109

A

Enskilda gymn. (Stockholm) F

16,8

A

1,2

+

-0,4

E

. . 88

D

97

C

95

A

100

A

120

A

Andel kärnämneskurser (%) med minst betyget Godkänd

för elever med grundskolebetyg

Förklaring till kategorindelningen A-E (Kat.) och närmare beskrivning av indikatorerna finns i avsnitt 5.1 och i bilaga 1 (teknisk bilaga)

Lägsta värde

8,2 -2,6 -0,8 0 4 5 0 27 42 47

Högsta värde

17,5 3,4 1,3 97 100 100 100 100 100 135

Medelvärde

12,7 0,0 0,1 51 77 87 92 82 83 100

Median

12,7 -0,1 0,1 52 81 90 96 84 85 101

Standardavvikelse

1 1 0,3 17 15 14 15 2 2 13

Skoltyp, medelvärde

1

14,2 0,15 0 0,0 49 74 86 91 85 87 103

2

12,9 0,11 0 0,1 52 77 87 93 83 85 102

3

11,5 -0,31 0 0,2 51 80 88 92 80 79 95

4

11,2 -0,26 0 0,2 50 78 88 92 77 78 96

Anm. Den del av tabellen som redovisar skolornas elevförutsättningar finns inte

med i figuren.

Skolorna är sorterade efter vilken typ av skola det är om man klassificerar efter hur eleverna fördelar sig på naturvetenskapsprogrammet och samhällsvetenskapsprogrammet och på program med yrkesämnen.19Detta görs för att underlätta jämförelser mellan skolor med likartade förutsättningar vad gäller en skolas sammansättning av program. Medelvärdet på skolindikatorerna redovisas för varje skolgrupp. Vilka skolgrupperna är framgår av tabell 5.1.

5.1.3. Läsanvisning

För att exemplifiera hur resultattabellen kan läsas redovisas indikatorerna för en av skolorna och dessa jämförs med resultaten för skoltypen och för skolorna totalt. Exemplet illustrerar också vikten av att indikatorerna tolkas i ett sammanhang och att man inte bör rycka ut en siffra ur sitt sammanhang.

På Exempelskolan går mer än två tredjedelar av eleverna på naturvetenskapligt eller samhällsvetenskapligt program, vilket placerar sko-

19 Det specialutformade programmet som ofta har liknande inriktning som NV eller SP ingår också.

lan i skolgruppen med minst två tredjedelar av eleverna på NV/SP. I den undre delen av tabellen ser man att 172 elever fick slutbetyg våren 1999, vilket är något mindre än genomsnittet för samma skolgrupp och genomsnittet för samtliga skolor. Skolan har en större andel elever i grupperna med högre grundskolebetyg än genomsnittet för samtliga skolor, men också jämfört med samma skolgrupp. Endast 2 procent av eleverna som påbörjade gymnasieskolan hösten 1994 hörde till gruppen med de 25 procent lägsta grundskolebetygen. Elevförutsättningarna på skolan är goda.

Exempelskolans elever har ett medelbetyg på 14,3 i kärnämneskurserna. Detta placerar skolan bland de 20 procent av skolorna som har det högsta medelbetyget, kategori A. Skolans medelbetyg är betydligt högre än det totala genomsnittet (12,7), men också lite högre än genomsnittet för skolgruppen (14,2).

Indikatorn för value added har värdet +0.2, vilket innebär att skolans medelbetyg (14,3) är 0,2 betygssteg högre än man skulle kunna förvänta sig när man tar hänsyn till förkunskaperna hos skolans elever ( vilket skulle vara 14,1). Kunskapsutvecklingen på skolan är högre än på jämförbara skolor.

Tabell 5.2 Indikatorer för Exempelskolan, genomsnitt för skoltypen och för samtliga skolor

Indikator Exempelskolan Medelvärde

Kate-

gori

Skolgrupp

Totalt

Medelbetyg

14,3

A 14,2

12,7

Value added

0,2

-0,17

0,0

Value added - stabilitet

0

-

-

-

Könseffekt

0

A

-0,1

0,1

Godkända - lägsta gr.bet.

.

47

51

Godkända - näst lägsta gr.bet.

80

C

73

76

Godkända - näst högsta. gr.bet.

81

E

87

87

Godkända - högsta gr.bet. 100

A

94

92

Fullföljer

90

B

85

82

Behöriga till högskolan

94

A

86

83

Totalindex

108

B

103

100

Antal avgångna

172

-

188

192

Andel elever (%) i gruppen: -Godkända - lägsta gr.bet.

2

-

13

29

-Godkända - näst lägsta gr.bet.

17

-

20

27

-Godkända - näst högsta. gr.bet.

34

-

27

23

-Godkända - högsta gr.bet.

47

-

40

22

Men avvikelsen är inte särskilt stor, och indikatorn för value addeds stabilitet visar att skolans value added har varierat under de tre åren.

Flickors och pojkars kunskapsutveckling skiljer sig inte åt på Exempelskolan. Värdet på indikatorn är 0 och det placerar skolan i kategorin med minst skillnad mellan pojkars och flickors kunskapsutveckling, A. Indikatorn för andelen godkända kurser i gruppen med de 25 procent lägsta grundskolebetygen saknar värde ( . ) vilket innebär att antalet elever i denna grupp är för få för att indikatorn skall beräknas.

Elevgruppen med de högsta grundskolebetygen har fått lägst betyget Godkänd i alla kärnämneskurser, 100 procent. Detta placerar åter Exempelskolan i kategori A. I de två mellersta elevgrupperna är andelen godkända ämneskurser i genomsnitt 80 och 81 procent. Motsvarande kategorier är C och E. Skolan fungerar således relativt sämre för grupperna med lägre grundskolebetyg.

Andelen elever som fullföljt gymnasieutbildningen inom fyra år är 90 procent och 94 procent av de som fått slutbetyg har grundläggande behörighet till högskolestudier. I båda fallen överstiger detta motsvarande andelar för samtliga skolor och för skolgruppen.

Värdet på totalindex är 108 och det visar att skolan placerar sig 8 procent över genomsnittet för alla skolor om man väger samman alla indikatorerna med dem samma vikt. Skolan hamnar i kategori B, vilket talar om att värdet ligger i kategorien med de 20 procent näst högsta värdena.

5.2. Resultaten för de 382 gymnasieskolorna

Resultaten för samtliga gymnasieskolor är redovisade i bilaga 2 till rapporten och på ESO:s hemsida www.regeringen.se/eso. I den sammanställningen framgår även hur en enskild skolas resultat förhåller sig till övriga skolor med likartad verksamhetsinriktning. Uppgifterna kan också användas för att ur ett nationellt perspektiv belysa likvärdigheten i den utbildning som skolorna ger.

5.2.1. Medelbetygen visar elevernas, inte skolornas resultat

Det genomsnittliga gymnasiebetyget är det betyg på skolorna som olika tidningar brukar publicera med jämna mellanrum. Det är också ett av de resultatmått som Skolverket publicerar för varje kommun, men inte för varje skola. Det är inte lätt att tolka en skolas medelbetyg. Men om man tänker sig att alla elever hade betyget Godkänd i alla kurser skulle medelbetyget på skolan vara 10,0. Om alla elever hade Väl Godkänd i alla kurser skulle medelbetyget vara 15,0. Det högsta möjliga medelbetyget är 20,0 och det kräver att alla elever har Mycket Väl Godkänd i alla kurser.

Räknat på detta sätt blir medelvärdet av skolornas medelbetyg 12,7, men det finns samtidigt stora skillnader mellan olika skolor. På skolan med det högsta medelbetyget har eleverna i genomsnitt medelbetyget 17,5 och på skolan med det lägsta medelbetyget är elevernas medelbetyg 8,2.

Under gymnasietiden lär sig eleverna självfallet mer och får nya kunskaper. Betygen speglar vilka kunskapsnivåer de når. Men detta i sin tur beror i stor utsträckning på vilka studieförutsättningar eleverna har och vad de kunde innan gymnasieutbildningen. Det tydliga samban-

det mellan grundskolebetyget och medelbetyget i gymnasieskolan framgår av diagram 5.1.

Diagram 5.1 Sambandet mellan grundskolebetyg och gymnasiebetyg

8 9 10

11

12 13 14 15 16 17 18

1,50 2,00 2,50 3,00 3,50 4,00

Grundskolebetyg

Medelbet yg

Varje fyrkant i diagrammet representerar en skola. På den horisontella axeln kan man avläsa det genomsnittliga grundskolebetyget för eleverna på skolan och på den vertikala axeln anges medelbetyget i kärnämneskurserna. Ju högre grundskolebetyg, desto högre gymnasiebetyg är tendensen.20Ser man på de skolor vars elever i genomsnitt hade grundskolebetyget 2,5 finner man att medelbetyget i kärnämneskurserna varierar mellan 9 och 13. Genomsnittet för dessa skolor ligger på 11,5. En skola med grundskolebetyget 2,5 som har gymnasiebetyget 12,5 har således ett högre gymnasiebetyg än genomsnittet av skolorna med likartade elevförutsättningar.

20 Korrelationen som mäter graden av linjärt samband mellan de båda betygen är 0,79, vilket kan tolkas som att 60 procent av variationen i gymnasiebetyget kan ”förklaras” av skillnaderna i grundskolebetyget.

Vissa skolor presterar bra, andra sämre

När man jämför skolornas medelbetyg i kärnämneskurser – sedan man tagit hänsyn till att elevförutsättningarna skiljer sig åt – visar det sig att skolor kan vara bättre eller sämre på att bidra till elevernas kunskapsutveckling.

Det värde som talar om hur en skola avviker från det genomsnittliga resultatet för skolor med likartade förutsättningar kallas i den pedagogiska litteraturen value added. En skola som har ett högre medelbetyg än genomsnittet för andra, jämförbara skolor har ett value added som är större än 0. Om skolans medelbetyg ligger under genomsnittet är värdet mindre än 0. Är value added +0,1 innebär det konkret att skolans medelbetyg är 0,1 betygssteg högre än genomsnittsbetyget för skolor med likartade förkunskaper hos eleverna. Att medelbetyget i kärnämneskurserna ökar med 0,1 motsvarar exempelvis att var tionde elev på skolan höjer ett kursbetyg från Icke Godkänd till Godkänd.

Value added-indikatorn skall inte ses som ett definitivt svar på hur väl skolorna fungerar. Den bidrar i första hand till ökad förståelse för att medelbetyget inte är ett bra mått på hur väl en skola fungerar.22

De enskilda skolornas värde måste därför tolkas med försiktighet, men ger trots detta en bild av skolornas resultat och hur stora skillnader det finns i detta avseende mellan olika skolor. Totalt sett varierar gymnasieskolornas value added mellan -2,6 och +3,4. För ungefär hälften av skolorna ligger detta värde mellan -0,3 och +0,3.

Ett sätt att ta hänsyn till att beräkningen av skolornas value added är känsligt för slumpvariationen är att se hur stabilt det är över tiden. I tabell 5.3 redovisas hur många skolor som haft ett positivt value added tre år i rad (+), ett negativt tre år i rad (-) eller om tecknet varierat mellan åren (0). I de fall skolan inte haft avgångselever alla år kan stabiliteten inte beräknas.

22 En beskrivning av den metod som används här, flernivåanalys, beskrivs närmare i den tekniska bilagan. Begränsningarna med det skattade value added beskrivs i avsnitt 4.2.3.

Tabell 5.3 Antal skolor i olika medelbetygskategorier fördelade efter value addeds stabilitet 1997-1999

Medelbetyg

Positivt

stabil

Negativt

stabil

Ej stabil

Femtedel av skolorna med:

högsta medelbetyg, A

40

2

30

näst högsta medelbetyg, B

23

16

36

betyg i mitten, C

19

25

37

näst lägsta betyg, D

21

22

29

lägsta betyg, E

5

31

46

Totalt

108

96

178

För närmare hälften av skolorna varierar value added mellan åren 1997, 1998 och 1999, dvs. de tre år som beräkningarna i denna studie bygger på. Av de 382 skolor som ingår har 108 har ett stabilt positivt value added och 96 skolor ett stabilt negativt.

Av de skolor som har de högsta medelbetygen visar 40 skolor ett positivt value added och endast två har ett negativt. För de skolor som har de lägsta medelbetygen är det färre skolor som har ett positivt värde än som har ett negativt. Men för övriga skolor är det i princip lika vanligt med positivt value added som med ett negativt. Detta visar svagheten med att endast använda en skolas genomsnittsbetyg som resultatmått eller resultatindikator. Ett högt medelbetyg är inte samma sak som att skolans bidrag till elevernas kunskapsutveckling är stort. Oavsett nivån på skolans medelbetyg finns det skolor som är bättre och sämre på att bidra till elevernas kunskapsutveckling.

Sammanfattningsvis kan konstateras att skolornas medelbetyg i första hand visar vad eleverna presterat, inte vad en enskild skola presterat. Medelbetyget beror i stället till största delen på förkunskaperna från grundskolan vilket i sin tur i hög grad förklaras av hembakgrunden. Skolor är olika bra på att bidra till elevernas kunskapsutveckling under gymnasietiden men det återspeglas inte särskilt väl i skolornas medelbetyg. Samma sak gäller betygsmedelvärden summerade på kommunnivå. Slutsatsen blir att medelbetyget är olämpligt som mått på hur väl en skola eller kommuns skolverksamhet fungerar, och om det inte kompletteras med andra mått kommer det att vara direkt vilseledande.

5.2.2. Absoluta kunskapsmål viktiga för att bedöma likvärdigheten

Utbildningen skall enligt skollagen vara likvärdig för alla oavsett kön, geografisk hemort samt sociala och ekonomiska förhållanden. När resurserna fördelas och undervisningen utformas skall man ta hänsyn till elevernas olika förutsättningar, behov och kunskapsnivå. Alla elever har rätt till en miniminivå av kunskaper och dessa anges i kursplanerna. Varje elevs rätt till goda baskunskaper är oomtvistlig.

Pojkars och flickors kunskapsutveckling

En av indikatorerna på likvärdigheten redovisar skillnader mellan hur skolorna bidrar till flickornas kunskapsutveckling i förhållande till pojkarnas kunskapsutveckling. Flera undersökningar har visat att pojkar får lägre genomsnittsbetyg än flickor både i grundskolan och i gymnasieskolan. Indikatorn visar att även sedan hänsyn tagits till att flickorna i genomsnitt har högre grundskolebetyg så når de genomsnittligt högre kunskapsnivåer än pojkarna. Men det finns både skolor där pojkarna får ett högre medelbetyg (som mest 0,6) och skolor där flickorna får ett högre medelbetyg (som mest 1,3). Flickornas medelbetyg ligger i genomsnitt 0,1 över pojkarnas. Skillnaden är oftast liten. Totalt sett förstärks skillnaden mellan flickors och pojkars kunskapsnivåer något i gymnasieskolan.

Absoluta kunskapsmål viktiga för att bedöma likvärdigheten

Skolans kunskapsmål är absoluta. Eftersom value added är ett relativt mått kan en skola ha ett positivt value added utan att för den skull fungera tillräckligt bra. För eleverna är medelbetyget i högsta grad relevant eftersom det påverkar deras möjligheter att komma in i på högskolan. Men även ur likvärdighetsperspektiv är medelbetyget ett tveksamt resultatmått. Det sätt medelbetyget beräknas på innebär exempelvis att två elever som får Godkänd i ett ämne värderas lika mycket som att en elev får Väl Godkänd.

Hur stor andel kärnämneskurser eleverna totalt fått lägst betyget Godkänd i varierar, liksom medelbetyget, mellan skolorna beroende på skillnader i elevförutsättningarna. Dessutom är det intressant att se hur skolorna lyckas med elever med olika studieförutsättningar. Andelen

godkända kärnämneskurser har därför beräknats för fyra olika elevgrupper, indelade efter hur högt grundskolebetyg de hade.

I en likvärdig skola skulle alla, oavsett vilken elevgrupp de tillhör, nå de lägst acceptabla nivåerna. Så är inte fallet. Ju högre grundskolebetyg eleverna har, desto större är andelen Godkända kärnämneskurser. Eleverna i gruppen med högsta grundskolebetygen har fått lägst Godkänd i 92 procent av kärnämneskurserna. Eleverna med de lägsta grundskolebetygen har fått lägst Godkänd endast på i genomsnitt hälften (51 %) av kärnämneskurserna. De stora skillnaderna i hur många som får åtminstone de acceptabla kunskaperna är oacceptabla ur en likvärdighetsaspekt.

Diagram 5.2 Antal skolor fördelade efter i hur stor andel kärnämneskurser elevgruppen med de lägsta grundskolebetygen fått lägst betyget Godkänd 24

0 20 40 60 80 100 120 140 160 180

0-19

20-39

40-59

60-79

80-100

Andel minst godkända kärnämneskurser

Antal skolor

Det finns skolor som lyckas betydligt bättre med att bidra till att även en stor andel av elevgruppen med de lägsta grundskolebetygen får dessa kunskaper. I några enstaka skolor får eleverna lägst Godkänd i

23 Att betygsfördelningen varierar kraftigt mellan olika program har Skolverket (1998b) redovisat.

24 I de fyra elevgrupperna ingår alla elever som påbörjade gymnasieskolan 1994, och deras slutbetyg till och med våren 1998 vilket innebär att de har fyra läsår på sig att klara kärnämneskurserna. De elever som inte fullföljt sin gymnasieutbildning inom fyra år räknas med och har då 0 procent godkända kärnämneskurser.

mer än 80 procent av kärnämneskurserna. I andra skolor får de lägst Godkänd i mindre än 20 procent av kurserna.

Svaga elevgrupper presterar ofta bättre i bra skolor

Skolor som är bra på att bidra till elevernas kunskapsutveckling är framför allt betydligt bättre än de mindre framgångsrika skolorna på att se till att eleverna med de sämsta förkunskaperna når de lägst acceptabla kunskapsnivåerna.

Tabell 5.4 Andel skolor (%) med positivt respektive negativt

value added fördelade efter andel lägst Godkända

kärnämneskurser för elevgrupper med lägsta respektive högsta grundskolebetyg

Elever med grundskolebetyg

under 2,25

över 3,14

+

-Diff

+

-Diff

Godkända kärnämneskurser, femtedel av skolorna med

högsta andel, A

35

5 30 17 12 5

näst högsta andel, B

19 16 3 14 18 -4

andel i mitten, C

16 25 -9 19 12 7

näst lägsta andel, D

8 29 -21 19 28 -9

lägsta andel, E

15 22 -7 13 19 -6

<4 elever

7

3 4 18 11 7

Totalt

100 100 0 100 100 0

+ = positivt value added - = negativt value added

Av skolorna med ett positivt value added finns 35 procent i kategorin av skolor med högst andel Godkända kärnämneskurser. Endast 5 procent av skolorna med negativt value added återfinns i samma kategori.

När det gäller att ge eleverna med de bästa förkunskaperna en acceptabel kunskapsnivå i kärnämneskurserna är skillnaderna mellan dessa grupper av skolor inte lika tydliga. Det är fler skolor med ett positivt value added i kategorin med högst andel lägst Godkända kärnämneskurser, men skillnaden mot skolorna med negativt är bara 4 procentenheter.

Medelbetyget visar inte hur många elever som når målet att bli godkänd

Det finns i princip inget samband mellan skolans medelbetyg och i hur stor andel av kärnämneskurserna elevgrupperna får lägst betyget Godkänd. Medelbetyget säger således inte något om skolornas resultat är likvärdiga i detta avseende. I skolorna med högsta medelbetyget får eleverna med de lägsta grundskolebetygen (< 2,25) lägst Godkänd i 50 procent av kärnämneskurserna. I skolorna med de lägsta medelbetygen är andelen också 50 procent. Oavsett vilken elevgrupp man studerar är mönstret detsamma.

Tabell 5.5 Andel kärnämneskurser med lägst Godkänd (%) i elevgrupper fördelat efter skolornas medelbetyg

Andel kurser med lägst Godkänd för

elever med grundskolebetyg (%)

Medelbetyg

< 2,25

2,25-2,27

2,71-3,14

>3,1

4

Femtedel av skolorna med:

högsta medelbetyg, A

50

74 86 91

näst högsta medelbetyg, B

52

77 88 94

betyg i mitten, C

53

76 86 91

näst lägsta betyg, D

52

79 90 94

lägsta betyg, E

50

78 87 91

Totalt

51

77 87 92

Att många fullföljer gymnasieskolan och får behörighet till högskolan lika viktiga indikatorer som medelbetyget

Avgångsbetyg från fullföljd gymnasieutbildning och behörighet till högskolestudier är viktiga formella meriter som betyder mycket både för eventuella framtida universitetsstudier och för arbetslivet. Därför är hur stor andel av en elevkull som fullföljer sin gymnasieutbildning och hur många som får högskolebehörighet viktigt ur likvärdighetsperspektiv.

Båda dessa indikatorer fångar dessutom upp gymnasieskolans resultat i ett vidare perspektiv än de indikatorer som bygger på betygen i kärnämneskurserna: För att få ett slutbetyg krävs att man fått betyg på alla kurser som ingår i studievägen och på ett specialarbete (men

betyget kan vara Icke Godkänd). För grundläggande behörighet till högskolestudier krävs dessutom att man har lägst betyget Godkänd på kurser som omfattar minst 90 procent av de gymnasiepoäng som krävs för ett fullständigt program.

I genomsnitt fullföljer 82 procent av eleverna sin gymnasieutbildning inom fyra år och för skolorna varierar andelen mellan 27 och 100 procent. Andelen elever som har behörighet till högskolestudier varierar mellan 42 och 100 procent. I genomsnitt har 83 procent av eleverna högskolebehörighet

Skolor med högre medelbetyg har i genomsnitt också en något större andel elever som fullföljer gymnasieutbildningen och större andel med grundläggande högskolebehörighet.

Tabell 5.6 Andel fullföljande och andel med grundläggande högskolebehörighet (%) fördelade efter skolornas medelbetyg

Andel som

fullföljer

gymn.utb. inom

fyra år

Andel med grundläggande

högskolebehörighet

Femtedel med:

högsta medelbetyg, A

85

90

näst högsta medelbetyg, B

84

86

betyg i mitten, C

83

85

näst lägsta betyg, D

80

83

lägsta betyg, E

78

73

Totalt

82

83

På skolor med ett positivt value added erhåller eleverna i något större utsträckning grundläggande högskolebehörighet än eleverna vid skolor med negativt value added. Eleverna fullföljer dock sin utbildning i samma utsträckning, oberoende av hur en skola lyckas i fråga om elevernas kunskapsutveckling.

För skolor där många elever har sämre förkunskaper krävs det mer än för andra skolor för att nå målen att alla elever skall slutföra sin gymnasieutbildning och göra detta med så goda resultat att de får grundläggande behörighet till högskolestudier. Detta innebär ett svårare uppdrag för dessa skolor, men för att de nationellt satta målen skall kunna nås måste de helt enkelt vara bättre.

5.2.3. Duktiga elever klarar sig bra i alla skolor

De skolor som har de högsta medelbetygen bidrar i något högre utsträckning till elevernas kunskapsutveckling (se avsnitten 5.2.1 och 5.2.2). Vidare är den andel elever som fullföljer gymnasieutbildningen och har grundläggande högskolebehörighet i genomsnitt något större vid dessa skolor. Men det finns också skolor med låga medelbetyg som lyckas bra i dessa avseenden. Och skolor med lägre medelbetyg är inte sämre på att bidra till att elevgrupperna med olika förkunskaper når de acceptabla kunskapsnivåerna.

Skolor med högt ett value added tenderar i viss mån att vara bra på att ge de elever som hade de lägsta grundskolebetygen lägsta acceptabla betyg på kärnämneskurserna. Däremot finns det inte ett lika tydligt samband mellan value added och hur det går för elevgrupperna med de högsta grundskolebetygen. Slutsatsen är att det för elever med bra betyg från grundskolan spelar mindre roll och man går i en gymnasieskola som är bra eller dålig mätt med detta mått.

Ett annat sätt att undersöka om skolor som fungerar bra i ett avseende också tenderar att vara bra i andra avseenden är att se hur resultatindikatorerna är korrelerade med varandra25. Det ger i stort sett samma resultat.

Tabell 5.7 Korrelationen mellan skolindikatorerna för samtliga skolor

Medelbetyg

Value added

Kvartil 1

Kvartil 2

Kvartil 3

Kvartil 4

Behöriga

Fullföljer

Medelbetyg

1,00 -------

Value added

0,53 1,00 -

Kvartil 1

* 0,27 1,00 -----

Kvartil 2

* 0,15 0,68 1,00 ----

Kvartil 3

* * 0,52 0,77 1,00 ---

Kvartil 4

* * 0,38 0,58 0,83 1,00

-

Behöriga

0,63 0,51 * * *

1,00 -

Fullföljer

0,21 * 0,62 0,53 0,47 0,36 * 1,00

*

Ej signifikant på 5%s-nivån

Av tabell 5.7 framgår att flera indikatorer samvarierar positivt, vilket innebär att skolor med höga värden på en indikator också tenderar att ha ett högt värde på den andra indikatorn. Exempelvis innebär korrelationen +0,63 att ju högre medelbetyget på en skola är desto större är i genomsnitt andelen med behörighet.

25 I tabell 5 redovisas korrelationer som mäter graden av linjärt samband mellan två variabler. Korrelationen ligger alltid mellan -1 och + 1 och ju högre det absoluta värdet är, desto starkare är sambandet.

En skola som är bra på att ge en elevgrupp baskunskaper tenderar också att vara bra för andra elevgrupper. Det framgår av korrelationerna mellan indikatorerna som visar i vilken utsträckning de olika elevgrupperna når miniminivåerna i kärnämneskurserna.

5.2.4. Några skillnader mellan olika typer av gymnasieskolor

Vilka program som finns på de olika gymnasieskolorna varierar. Eftersom elevernas förkunskaper generellt sett skiljer sig åt mellan olika program, kommer skolornas förutsättningar att vara olika till följd av vilka gymnasieprogram som finns på skolorna. Skolorna i studien har delats in i fyra grupper efter på hur stor andel av eleverna som går på naturvetenskapligt eller samhällsvetenskapligt program (NV/SP) respektive på program med yrkesämnen. På skolor där minst två tredjedelar av eleverna går på NV/SP har 40 procent av eleverna grundskolebetyg över 3,14 medan endast 7 procent av eleverna på skolor med enbart program med yrkesämnen har lika höga grundskolebetyg.

Tabell 5.8 Elevförutsättningar i skolgrupper med olika sammansättning av program

Andel av eleverna som påbörjade gymnasie -

utbildning 1994 med ett grundskolebetyg

Skolgrupp

under

2,25

mellan 2,25 och

2,71

mellan 2,72 och

3,14

över 3,14

Minst två tredjedelar elever på NV/SP

14

20

28 40

Mellan en och två tredjedelar elever på NV/SP

28

26

23 23

Mindre än en tredjedel elever på NV/SP

39

29

21 12

Enbart elever på program med yrkesämnen

41

34

18

7

Det finns inte någon skillnad mellan skolor som huvudsakligen utbildar elever på studieförberedande program och skolor som är inriktade på yrkesprogram, vad gäller hur stor andel av eleverna med de lägsta grundskolebetygen som får lägst godkänd på kärnämneskurserna (ca 50 %). Eleverna får godkänt på cirka 50 procent av kärnämneskurserna, dvs. de elever som hade de lägsta grundskolebetygen. Samma

mönster gäller för samtliga elevgrupper, dvs. oberoende av betygsnivå vid intagningen till gymnasieskolan får man i ungefär samma utsträckning lägst godkänt oavsett vilken typ av skola man gått på.

Tabell 5.9 Andel kärnämneskurser med lägst Godkänd i skolgrupper med olika sammansättning av program

Andel kärnämneskurser med lägst betyget Godkänd för elever med ett grundskolebetyg

Skolgrupp

under

2,25

mellan 2,25 och

2,71

mellan 2,72 och

3,14

över 3,14

Minst två tredjedelar elever på NV/SP

49

74

86

91

Mellan en och två tredjedelar elever på NV/SP

52

77

87

93

Mindre än en tredjedel elever på NV/SP

51

80

88

92

Enbart elever på program med yrkesämnen

50

78

88

92

Skillnaden mellan skolgruppernas genomsnittliga resultat blir däremot betydligt större om man jämför de resultat som inte tar någon hänsyn till att elevförutsättningarna varierar. Ju mindre andel av eleverna som går på program med yrkesämnen, desto högre är medelbetyget, andelen som fullföljer gymnasieutbildningen och andelen som får högskolebehörighet. Skillnaden i medelbetyg mellan skolgrupperna med minst andel respektive med enbart elever på program med yrkesämnen är 3,0 betygsenheter. Det motsvarar exempelvis att varje elev får Godkänd i stället för Icke Godkänd i minst två kärnämneskurser.

Tabell 5.10 Utbildningsresultat i skolgrupper med olika sammansättning av program

Skolgrupp

Genomsnittligt medelbetyg

Andel som fullföljer gymn. utb. inom fyra år

Andel m. Grundläggande behörighet till högskola

Minst två tredjedelar elever på NV/SP

14,2

85

87

Mellan en och två tredjedelar elever på NV/SP

12,9

83

85

Mindre än en tredjedel elever på NV/SP

11,5

80

79

Enbart elever på program med yrkesämnen

11,2

77

78

Skillnaderna i elevförutsättningar får genomslag i resultaten för skolgrupperna räknat i genomsnitt. Men i varje skolgrupp finns det enskilda skolor som når lika goda resultat som skolor i övriga skolgrupper.

Tabell 5.11 Högsta och lägsta värde i de olika skolgrupperna

Genomsnittligt medelbetyg i kärnämneskurser

Andel som fullföljer gymnasieutbildning inom fyra år

Andel m. Grundläggande högskolebehörighet

Skolgrupp

min max min max min max

Minst två tredjedelar elever på NV/SP

10,8 17,5

43 100 61

100

Mellan en och två tredjedelar elever på NV/SP

10,3 14,9

27

96 65

100

Mindre än en tredjedel elever på NV/SP

8,8 13,5

56

95 42

100

Enbart elever på program med yrkesämnen

8,2 15,5

29 100 47

100

Att det i alla skolgrupper finns skolor som fungerar olika bra framgår också av att det i alla grupperna finns skolor med positivt och skolor med negativt value added.

Slutsatsen blir att skolor med stor andel elever på program med yrkesämnen inte fungerar sämre än andra skolor när man tar hänsyn till elevförutsättningar.

Tabell 5.12 Skolor med olika utbildningssammansättning fördelade efter stabiliteten i skolornas value added (procent)

Skolgrupp

Stabilt positivt

Stabilt negativt

Ej stabilt

Totalt

Minst två tredjedelar elever på NV/SP

40

13

47 100

Mellan en och två tredjedelar elever på NV/SP

29

26

45 100

Mindre än en tredjedel elever på NV/SP

10

40

50 100

Enbart elever på program med yrkesämnen

23

26

51 100

Skolornas elevförutsättningar påverkas av vilka program som en skola ger utbildning i. För att jämföra vad skolornas presterar när det gäller resultat som inte beaktar skillnader i elevförutsättningar är det lämpligt att i första hand jämföra skolor med likartad programsammansättning. Är syftet att göra en bedömning av hur skolorna når målet om likvärdighet skall hänsyn inte tas till olikheter i elevförutsättningar. Det krävs helt enkelt att skolor med sämre elevförutsättningar presterar mer för att detta mål skall kunna nås. Resultaten tyder också på att det finns skolor som lyckas bra trots att de har sämre förutsättningar.

5.3. De bästa skolorna

Det finns inget värderingsfritt sätt att avgöra vilka skolor som är bäst. Människor har olika uppfattningar om vilka resultat som är viktiga i den bedömningen. Några resultatdimensioner som de flesta menar är viktiga i en helhetsbedömning av en skolas kvalitet har inte behandlats i denna studie. Ett gott socialt klimat är ett sådant exempel.

Avslutningsvis ställs emellertid frågan om det finns skolor som ligger bra till i de resultatdimensioner som kan belyses med studiens indikatorer. Utifrån åtta av de elva indikatorerna har skolorna listats efter hur höga indikatorvärden de har: skolans bidrag till medelbetyget

(value added), andel godkända kärnämneskurser för fyra olika elevgrupper med olika höga grundskolebetyg, medelbetyget, andel som fullföljer gymnasieutbildning inom fyra år och andel av eleverna med slutbetyg som har grundläggande behörighet till högskolestudier. De fem förstnämnda indikatorerna tar hänsyn till skolornas elevförutsättningar, vilket inte övriga tre indikatorer gör. Totalindexet ingår inte då det endast är en sammanfattning av övriga indikatorer och skillnaden i skolans bidrag till flickors och pojkars medelbetyg ingår inte då skillnaderna är små och sällan statistiskt säkerställda. Indikatorn på value addeds stabilitet ingår inte då den endast antar tre värden. De skolor som har de högsta värdena på value added har dock alla ett stabilt värde.

För var och en av dessa åtta resultatindikatorer har de skolor plockats fram som har de tio bästa resultatvärdena. Om fler än tio skolor har samma värde som den tionde skolan har också dessa tagits med. Av tabell 5.13 framgår att 92 skolor i ett eller flera fall fanns bland skolorna med de högsta indikatorvärdena. Maximalt skulle en skola kunna vara bland de bästa i åtta fall. De flesta skolorna, 63 skolor, var bland de bästa skolorna i ett fall. Men det finns också skolor som tillhör de bästa i flera avseenden. Tolv skolor fanns bland de bästa i tre, fyra eller fem indikatorer.

Tabell 5.13 Antalet gånger en skola återfinns bland de som har högst värde på indikatorerna.

Antal gånger en skola finns bland skolorna med de högsta värdena av åtta indikatorer

av de fem

indikatorer som tar

hänsyn till elev-

förutsättningar

SKF:s tekniska gymn. (Göteborg) F

5

3

Volvogymnasiet (Skövde) F

5

3

Naturbruksgymnasiet (Sala) 3

4

3

Vä Bergslagen utb.c ro 2 (Ludvika

4

3

Sigrid Rudebecks (Göteborg) F

4

2

Bergska skolan (Finspång)

3

3

Naturbruksgymn. Nytorp (Bollnäs)

3

3

Vårdgymn. (Ystad)

3

3

Leksands gymn.

3

2

ABB Industrigymnasium (Västerås) F

3

-

Enskilda gymnasiet (Stockholm) F

3

-

Göteborgs Högre Samskola F

3

-

Anm. F = fristående skola

Påfallande är det stora antalet fristående skolor som kommer med bland de bästa. Av de totalt 382 gymnasieskolorna var endast 22 fristående skolor, men de utgör hälften av de tolv skolor som har bäst resultat. Till viss del förklaras detta av de fristående skolornas många gånger har goda elevförutsättningar.

Tre av de sex fristående skolorna finns inte bland de bästa skolorna om man enbart ser till de indikatorer som tar hänsyn till elevförutsättningarna. Friskolorna utgör endast 6 procent av de skolor som ingår i studien26, men samtidigt utgör dessa skolor en fjärdedel av de skolor som får de högsta värdena på de indikatorer som beaktar elevförutsättningarna. Fristående gymnasieskolor startade av företag (SKF och Volvo) med teknisk inriktning hamnar allra högst upp.

Inte mindre än tre av de tolv bästa skolorna är naturbruks- eller vårdgymnasier.

26 Studien omfattar endast de fristående skolor, från vilka elever fick slutbetyg 1999. Under de senaste åren har antalet friskolor på gymnasienivå ökat kraftigt. Mer studier behövs för att kunna dra några mera generella slutsatser om friskolornas resultat jämfört med övriga skolors.

En av förutsättningarna för att analysen skall hålla är att det är någorlunda möjligt att jämföra betygsättningen vid de olika skolorna. Inom ramen för denna studie har det inte varit möjligt att använda resultaten från de nationella proven. Om man gör det kan man nå längre om man jämför provresultaten med betygen, varigenom effekterna av en eventuell betygsinflation kan bedömas.

Men under förutsättning att betygen är något så när rättvisande, kan vi således genom detta slags analyser komma en bra bit längre när det gäller att jämföra skolor på ett bättre sätt än genom medelbetygen. Det har också visat sig möjligt att finna skolor som kan fungera som goda exempel. Vad som gör skolorna så framgångsrika kräver dock ytterligare studier.

Datamaterialet

Datamaterialet som beställts från Statistiska centralbyrån (SCB) omfattar alla elever som påbörjat gymnasiestudier 1994–1996 samt alla elever som fått slutbetyg från gymnasieskolan 1997–1999. De statistiska uppgifterna är inrapporterade av skolhuvudmännen till SCB.

Från det ursprungliga datamaterialet har elever som påbörjat eller fullföljt linjer och mellanårsprogram samt IB-programmet exkluderas. Dessa elever har i vissa fall slutbetyg vars kursredovisning skiljer sig från den som övriga gymnasieskolor använder. Vissa fristående skolor utfärdar omdömen i stället för slutbetyg i vanlig mening. SCB menar att det är troligt att många elever med omdömen inte rapporteras, och att andelen avgångna därmed underskattas.

Förändringar av skolorganisationen

Datamaterialet ligger på individnivå och omfattar uppgifter för åren 1994 till 1999. För att aggregera data till skolnivå har skolornas skolkod använts. I vissa fall har skolorna bytt skolkod, bland annat i samband med att Skåne län och Västra Götalands län bildades vilket innebar att flera kommuner fick nya skolkoder. De fyra första positionerna i skolkoden utgörs av kommunkoden. Skolkoderna kan också förändras i samband med förändringar i skolorganisationen (skolor slås samman eller delas upp). I några fall har det inte varit möjligt att ta fram uppgifter för elever som påbörjade gymnasieutbildningen eller som avgick 1997 eller 1998. I dessa fall saknar skolan värde på indikatorn. Enligt uppgift från SCB kan det förekomma att elever i statistiken redovisas på annan skola än de faktiskt går. Sådan förändringar och brister i statistiken försvårar analyserna och kan medföra felaktigheter som är svåra eller omöjliga att uppmärksamma utan kännedom om lokala förhållanden.

Definition av skolindikatorerna

Skolindikatorer har tagits fram för de skolor som 1999 hade minst 30 elever som fick slutbetyg. Basen för skolindikatorerna är i vissa fall dessa elever. För vissa indikatorer är det dock elever som påbörjade gymnasiestudierna 1994 (eller en delmängd av dessa) som utgör basen. Basen för var och en av skolindikatorerna framgår av bilagetabell 1.1.

Avgångna 1999: Elever

  • med slutbetyg 1999
  • gick på skola med minst 30 elever med slutbetyg 1999

Påbörjade 1994: Elever

  • som påbörjade program i gymnasieskolan, exklusive IV, år 1994
  • på skola med minst 30 elever med slutbetyg 1999

Avgångna eleverna räknas till den skola de fick slutbetyg från, oavsett om de började där eller inte. Elever som påbörjade gymnasieutbildning ingår i basen för den skola de började på, oavsett var de slutförde sin utbildning.

För vissa elever som ”avgått senare” saknas uppgifter om slutbetyg, vilket innebär att exempelvis andelen godkända kurser underskattas. Däremot finns uppgift om att de fått ett slutbetyg vilket gör att de räknas med i andelen som fullföljt en gymnasieutbildning. Majoriteten av skolorna har inga sent inrapporterade elever elever, år 1998 lämnade 72 procent av skolorna betygsuppgifterna i tid. Tio skolor lämnade sena uppgifter för mer än tio procent av sina elever:

Kungsholmens gymnasium 29.8 % Rekarnegymnasiet 26.6 % Pildammsskolan 74.2 % Falkenbergs gymnasieskola 67.0 % Kongahällgymnasiet 39.3 % De la Gardiegymnasiet 61.1 % Brogårdgymnasiet 19.8 % Risbergska skolan 59.7 % Tornedalsskolan 13.9 % Hjalmar Lundbohmsskolan 76.2 %

Huvudprincipen för beräkningen av skolindikatorerna har varit att först beräkna ett värde på individnivå och sedan ta fram skolindikatorn på skolnivå. Till exempel är beräknas medelbetyget genom att först för varje elev beräkna medelbetyget och sedan beräknas det genomsnittliga

betygspoängen för skolans elever. Andel godkända kärnämneskurser beräknas som andel kurser med lägst Godkänt på individnivå, och sedan beräknas ett medelvärde av denna andel för skolan.

Bilagetabell 1.1: Beräkning av skolindikatorer

Skolindikator

Bas och beräkning på skolnivå

Genomsnittligt medelbetyg

Avgångna 1999.

Beräkning av medelbetyg i kärnämneskurserna enligt nedan.

Skolans bidrag t. Medelbetyget (value added)

Avgångna 1999.

Value added har skattats med en flernivåmodell som har elevernas grundskolebetyg som kovariat. Se avsnittet Flernivåmodeller för skattning av value added.

Value added stabilitet

Avgångna 1997, 1998 samt 1999.

Value added har först beräknats med flernivåmodeller för åren 1997-1999. Value added avrundas till en decimal. Skolor med positiv value added alla tre år ges indikatorvärdet ”+”, skolor med negativt värde alla tre år ges värdet ”-” . De skolor som saknar elever 1997 eller 1999 får värdet ”.” Övriga skolor ges värdet ”0”.

Skillnad mellan skolans bidrag till flickors medelbetyg och till pojkars

Avgångna 1999.

Skillnaden har skattats med en flernivåmodell med grundskolebetyg och och kön som förklaringsvariabler. Ett positiv värde innebär att skolans bidrag till flickornas medelbetyg är större än till pojkarnas.

Andel kärnämneskurser med lägst Godkänd -

Påbörjade 1994 med de 25 % lägsta grundskolebetygen.

Medelvärdet av varje elevs andel kärnämneskurser med lägst betyget Godkänd (inom fyra år). Även elever som (ännu) inte fått slutbetyg ingår. Indikatorn beräknas endast om det finns minst tre elever i gruppen.

Andel kärnämneskurser med lägst Godkänd -

Påbörjade 1994 med de 25 % näst lägsta grundskolebetygen.

Som ovan.

Andel kärnämneskurser med lägst Godkänd -

Påbörjade 1994 med de 25 % näst högsta grundskolebetygen.

Som ovan.

Andel kärnämneskurser med lägst Godkänd -

Påbörjade 1994 med de 25 % högsta grundskolebetygen.

Som ovan.

Andel elever som fullföljer gymn.utb. inom fyra år

Påbörjade 1994.

Andel elever som fått ett slutbetyg inom fyra år efter påbörjad gymnasieutbildning. Beräknas endast om minst 20 elever påbörjade gymnasieskolan 1994.

Andel med grundläggande behörighet till högskola

Avgångna 1999.

Andel av eleverna med slutbetyg som har grundläggande behörighet till högskolestudier. För detta krävs lägst betyget "Godkänd" på kurser som omfattar 90 % av de gymnasiepoäng som krävs för ett fullständigt program.

Totalindex Ett index har först beräknats för samtliga indikatorer utom value addeds stabilitet och könseffekten. Totalindex är medelvärdet av dessa index. Indexen för respektive indikator har beräknats som skolans indikatorvärde dividerat med det genomsnittliga värdet för samtliga skolor. Kvoten multipliceras med 100. Indikatorn för value added kan anta negativa värden och medelvärdet ligger nära noll. För att slippa negativa värden och en mycket stor spridning i index har till varje skolas value added adderats det lägst förekommande värdet i absolut värde (2,6) och varje skolas värde har sedan dividerats med 2,6. Slutligen multipliceras talet med 100.

Det genomsnittliga grundskolebetyget och medelbetyget i gymnasieskolan har beräknats som:

Grundskolebetyg: Betygen i ämnen med alternativkurser (svenska, engelska och matematik) har satts det högsta förekommande betyget i ämnet. Därefter har summan av samtliga betyg (exklusive hemspråk) dividerats med maximalt antal ämnen. Det betyder att om en elev inte läst ett ämne drar detta ner det genomsnittliga betyget.

Medelbetyg: Det genomsnittliga värdet av betygen i kärnämnen som redovisas i elevens slutbetyg. Betygspoängen beräknas enligt Högskoleverkets modell för meritvärdering av slutbetyg vid intagning till högre utbildning. Icke godkänd ges meritvärdet 0 poäng, Godkänd ger 10 poäng, Väl Godkänd ger 15 poäng och Mycket väl godkänd ger 20 poäng. I de fall betyg saknas har betygspoängen satts till 0. I beräk-

ningen av medelvärdet av kärnämneskursernas betygspoäng ges varje kurs en vikt som motsvarar kursens andel av samtliga kärnämneskursers gymnasiepoäng.

Kärnämneskurserna omfattade 680 gymnasiepoäng, vilket motsvarar ungefär 30 procent av gymnasieutbildningen. Kärnämneskurserna omfattar nio ämnen. Svenska som andraspråk är dock ett alternativämne till svenska, vilket betyder att varje elev skall läsa åtta ämnen. I alla ämnen utom Svenska och Svenska som andraspråk läses en kurs. I Svenska/Svenska som andraspråk förekommer totalt sex olika kurser, men eleverna läser normalt två kurser. I beräkningen har alla individer tillåts ha två betyg i svenska. I både Svenska och Svenska som andraspråk ingår två kurser. De två betygen har beräknats enligt: De flesta har betyg i SV204 och SV205. Om man läst SV201L och SV201S i stället för SV204 ersätts betygspoängen i SV204 med genomsnittet för SV201L och SV201S. Detta gäller för en mindre andel av eleverna som läst Svenska. Om man inte läst svenska ersätts betygspoängen med motsvarande kurser i svenska som andraspråk. Varje elev ges betygspoäng i nio kurser.

Skolgrupper

Skolorna har delats in i fyra grupper beroende av hur stor andel av elevernas som hösten 1996 påbörjade gymnasieutbildning på skolan som valt en ”studieförberedande” utbildning, naturvetenskapsprogrammet eller samhällsvetenskapsprogrammet (NV/SP).

1. Mer än en två tredjedelar av eleverna går på NV/SP

2. Mellan en och två tredjedelar av eleverna går på NV/SP

3. Mindre än en tredjedel av eleverna går på NV/SP

4. Enbart elever på yrkesförberedande program

En mindre del av eleverna går på specialutformade programmet, där en större del av kurserna är valbara och inriktningen kan variera. Det framgår inte vilken inriktning dessa program har och eleverna har förts till den studieförberedande elevgruppen. Elever som påbörjade individuella programmet ingår när skolgruppstillhörigheten bestäms och räknas då till programmen med yrkesämnen.

Flernivåmodeller för skattning av value added

Det datamaterial som används, med elever som går i olika skolor, är ett tydligt exempel på hierarkiska data. Man har elever på en nivå, och skolan som en annan nivå, där den ena nivån (eleverna) ingår i en högre nivå (en skola).

Att data är av en sådan natur är något som måste beaktas. Individer skiljer sig åt och sådana skillnader återspeglar sig ofta i olika sammanhang. Till exempel kan elever med viss bakgrund tendera att samlas på skolor med särskilda inriktningar. Skolors upptagningsområden kan också skilja sig åt på ett sätt som får effekter för elevsammansättningen på skolan. Även om fördelningen av elever på skolor vore slumpmässig kommer elever på olika skolor ändå att skilja sig åt beroende på att det faktum att eleverna både påverkar den skola de går på och påverkas av att gå på den skolan. Detta faktum får betydelse för vilken statistisk metod som är lämplig att använda vid studier av elever och skolor27.

För att skatta value added används en metod som kallas flernivåanalys och som gör det möjligt att ta hänsyn till att data finns på flera nivåer och att variationen inte är densamma på alla skolor. Value added beräknas för skolorna åren 1997, 1998 och 1999. Ett sätt att undersöka hur variationen ser ut är att göra en variansanalys som delar upp den totala variationen (hur elevernas betyg varierar kring det totala betygsmedelvärdet i hela elevpopulationen) i mellanskolvariation (hur skolornas betygsmedelvärden varierar kring betygsmedelvärdet för alla skolor) och inomskolvariation (hur elevernas betyg varierar kring respektive skolas betygsmedelvärde).

Variationen mellan elever inom skolorna utgör den största delen av den totala variationen. År 1999 utgjorde mellanskolvariationen 17 procent av den totala variationen (se den s.k. intraklasskorrelationen). En så stor andel innebär att en vanlig regressionsanalys skulle leda till missvisande resultat. Av tabellen framgår också att den totala variationen och intraklasskorrelation minskat under de tre åren. Detta beror främst på att mellanskolvariationen minskat under samma period.

27 Goldstein, H. (1995)

Bilagetabell 1.2: Varians inom och mellan skolor

Mellanskolvariation

σ

2

u0

Inomskolvariation

σ

2

e0

Totalt Intraklasskorrelation

1997

3,32

9,26

12,58

0,26

1998

2,46

9,41

11,87

0,21

1999

1,85

8,90

10,75

0,17

Flernivåmodellen

För att beräkna value added har en flernivåmodell valts där grundskolebetyget används för att justera för skillnader i elevsammansättningen

GY

ij

=

β

oj

+

β

1j

GR

ij

+ r

ij

β

har både en fix del (

γ ) och en del som varierar mellan skolorna ( u ):

β

oj

=

γ

00

+ u

0j

Modellen kan också skrivas som:

GY

ij

= [

γ

00

+

γ

10

GR

ij

] + [ u

0j

+ r

ij

]

= [

fix del

] + [

stokastisk del

]

där

GY

ij

är gymnasiemedelbetyget för den i:te eleven i den j:te skolan

GR

ij

är grundskolemedelbetyget för den i:te eleven i den j:te skolan

γ

00

är den fixa delen av interceptet

γ

10

är den fixa delen av lutningen

u

0j

representerar avvikelsen från intercepte för skolorna

r

ij

representerar slumpfelet för den i:te eleven på den j:te skolan

Modellen har anpassats för vart och ett av de tre åren. Den fixa delen är kraftigt signifikant och relativt stabil över åren. Variationen i skolornas genomsnittliga gymnasiebetyg minskar dock mellan åren.

Att höjningen av effekten av grundskolebetygen,

γ

10,

ökar över tiden

betyder att i genomsnitt har elevernas grundskolebetyg fått en något större betydelse för vilket gymnasiebetyg de får.

Bilagetabell 1.3: Parameterestimat för flernivåmodellerna för åren 1997-1999

1997

1998

1999

intercept,

γ

00

1,52

1,30

1,48

grundskolebetyg,

γ

10

3,78

3,97

4,02

variation interc.

σ

2

u0

2,56

1,45

0,70

* Ej signifikant på 5%s-nivån

Beräkning av value added

De sanna värdena på value added är okända men möjliga att estimera med givet data och de estimerade parametrarna i modellen. Först beräknas med hjälp av modellen ett predikterat gymnasiebetyg för varje elev:

∧

GY

ij

=

γ

00

+

γ

10

GR

ij

Skillnaden mellan det faktiska och det predikterade gymnasiebetygen kallas den ”råa residualen” (

r

ij

). Den råa residualen för skolan är

medelvärdet av

r

ij

för alla elever på skolan,

r

+j

. För att erhålla det skat-

tade value added måste

r

+j

multipliceras med en faktor som ”krymper”

värdet på skolornas råa residualer

∧

u

0j

= (

σ

2

u0

/ (

σ

2

u0

+

σ

2

e0

/n

j

) ) r

+j

Faktorn som krymper värdet är alltid lika med eller mindre än 1, och när inomskolvariansen (

σ

2

e0

)

är stor jämfört med mellanskolvarian-

sen (

σ

2

u0

)

och/eller när antalet elever på skola j (

n

j

) är liten kommer

den att vara betydligt mindre än 1.

Flernivåanalysen har gjorts med i SAS. Modellanpassningen och skattningen av skoleffekten (

u

0j

) gjorts med PROC MIXED

.

Beräkning av skillnad i value added för flickor och pojkar

För att skatta effekten av könstillhörighet anpassades en modell med dummy-variabel för kön (1=flicka, 0=pojke) förutom grundskolebetyget. Parameterestimaten ändrades inte mycket jämfört med modellen utan dummy-variabel (estimatet för interceptet 1,58 och grundskolebetyget 4,00). Dummy-variabeln för kön var signifikant för 32 av de 382 skolorna.

Referenser

Ds 2001:12 Konkurrens bildar skola – en ESO-rapport om friskolornas

betydelse för de kommunala skolorna. Rapport till ESO.

Goldstein, H. (1995). Multilevel Statistical Models London, Edward

Arnold: New York, Halstead Press. OECD (1994) Making education count. Developing and using

international indicators, Paris

Peterson, O., J. Hermansson, M. Micheletti, J. Teorell och A.

Westholm (1998), Demokratirådets rapport 1998, Demokrati och medborgarskap, SNS Förlag, Kristianstad Rasbah, J. m.fl. (2000), A user’s guide to MlWin Sammons, P., S. Thomas & P. Mortimore (1997) Forging Links:

Effective schools and effective departements, Paul Chapman publishing Ltd, London

Singer, J.D., (1998) Using SAS PROC MIXED to fit multilevel

models, hierarchical models and individual growth models, Journal of Educational and behavioural statistics, Winter 1998, Vol 24, No 4 pp 323-355 Skolverket (1994), Ekonomiska resurser och elevernas resultat.

Skolverkets rapport nr 57 Skolverket (1995) Likvärdighet i skolan – en antologi, Referens-

material från Skolverket Skolverket (1996), Att välja skola, Skolverkets rapport nr 109 Skolverket (1998a), Vem tror på skolan? Attityder till skolan 1997.

Skolverkets rapport nr 144 Skolverket ( 1998b), Slutbetygen i gymnasieskolan 1997 Skolverket (1999), Beskrivande data om barnomsorg och skola 1999,

Skolverkets rapport nr 173 Skolverket (1999), Samband mellan resurser och resultat. En studie av

landets grundskolor med elever i årskurs 9, Skolverkets rapport nr 170

Visscher, A.J. (), Issues in public school performance indicators,

Department of educational organisation and management, Faculty of educational science and technology, University of Twente, Nederländerna

Achievments of Schools – A Report on Upper Secondary Schools

1 Summary, conclusions and proposals

Increased freedom at local level makes demands in terms of monitoring schools

Education is one of the cornerstones of long-term equality policy. A good and equal education is important for evening out people’s opportunities in life and achieving even and fair distribution of income in the long term. Therefore, it is important to investigate the progress not only of the education system in general but also of individual schools.

The way responsibility was allocated was amended in the early 1990s to increase quality in general and at the same time make the education system more efficient. An important aspect in this respect was increased scope to determine at local level how work in schools was to be carried out. At the same time, freedom of choice increased for parents and students. As such, freedom of choice was seen both as a goal in itself and as a means of developing schools. Freedom of choice was intended to involve children and parents in education to a greater extent and to give them increased influence but was also intended to encourage competition between schools. Increased involvement and increased competition were expected to stimulate the development of schools.

Since 1991 the main responsibility for schools has rested with the municipalities, and individual schools have had greater freedom to determine their own work. However, education is still a national responsibility. The government and the Swedish Parliament (the Riksdag) exercise control by discussing the goals and guidelines which are to apply to all schools throughout Sweden.

The changes which took place in the 1990s have resulted in an increased need for information on the results of schools on the part of those responsible for schools at national level, the municipalities and the individual schools themselves. Individual schools need to know whether they are operating on the right lines, in other words, so as to achieve their targets. The municipality needs to know whether targets are being achieved when assessing how resources are to be allocated

between different schools. The government and the Riksdag have national responsibility for the results and the development of the country’s schools and therefore need information on the situation in schools throughout Sweden.

The way in which schools are managed assumes that it is possible to monitor how the targets are met and change over time. However, this information is also important for democratic reasons. It should be a democratic right for the citizens of a country or municipality to know how the schools financed out of public funds operate. This applies to an even greater extent to those who are directly affected, i.e. students and parents.

School indicators are controversial

Interest in quantitative indicators as a way of monitoring activity in the public sector has increasedduring the last decade. Some countries have published school indicators of results since the early 1990s. In Sweden results for individual schools are not regularly published on a national basis. However, comparative figures for the municipalities have been regularly reported since 1993.

It is not only in Sweden that there is resistance to publishing results at school level. The value of school indicators is under discussion internationally. There are those who question whether parental choice and competition between schools can have a positive effect on the development of schools and who consider that school indicators therefore cannot perform any useful function. Some are also of the opinion that school indicators may be harmful if they lead to schools focusing their work on the wrong areas and concentrating on those groups of students who have the greatest impact on the indicators. Another view is that good school indicators which take into account the complex issues involved in measuring the results of the school are difficult to interpret and that while these might possibly be reported to experts, they should not be passed on to students, parents and the general public.

Such a point of view is both paternalistic and unethical and, considering that the way schools are managed assumes that those in charge have access to the results of all schools, there is every reason to produce school indicators and make them public. It is possible to do so at relatively low cost as information which can be used for this purpose is already collected in Sweden.

Political context

School indicators have to be used in a political context. They must therefore be designed so as to reflect prevailing assumptions on how the education system works and what it is to achieve. This means that individual indicators primarily make sense in a particular context and that they must be interpreted as part of a system of indicators which also sheds light on other aspects of the education system. The indicators need to be organised within a framework which clarifies the interplay between them. The international indicators published by the OECD and the comparative figures for school managers published by the Swedish National Agency for Education are structured according to the principles preconditions, activity and results. This report illustrates how the value of information on results can be increased relatively easily on the basis of already available statistics.

The fact that school indicators are to be used in a political context means that the work of producing them is a very political task. The indicators presented in this report must be seen as contributing to such a discussion. This is also the reason why this report does not only list a number of indicators but also places great emphasis on the thinking behind the choice of indicators and how they are designed and presented.

To be able to take into account important aspects of the schools’ results, it is vital that knowledge is available on students’ previous knowledge. For this reason the report focuses on the results of upper secondary schools. Grades on leaving compulsory comprehensive education are assumed to reflect the previous knowledge of students and educational background while the grades from upper secondary school show the level of knowledge students have achieved on completing upper secondary education.

Research methods

The results set out in this report are based on Statistics Sweden’s statistical database on grades, etc. for all students who began upper secondary education in 1993 – 1995 and/or completed upper secondary education in 1997 – 1999. The study covers the 382 upper secondary schools which had at least 30 students graduating in 1999. The main methods used are as follows:

The results of upper secondary schools were studied primarily by looking at students’ marks in the core subjects (mathematics, natural

science, Swedish, English, social science, artistic activities, physical education and health, and religious studies).

The results are shown with different indicators which in different ways reflect the targets for the upper secondary school and whether these targets have been met: average grade, the school’s contribution to the development of students’ knowledge (value added), differences between boys and girls, core subject courses with the lowest pass grade among students with differing educational backgrounds and the proportion of students in the school completing upper secondary education within four years or qualifying for universities respectively. With the exception of average grade and value added, all these indicators can be said to be measurements of equality in education.

A school’s performance, or value added, is an expression of the knowledge (grades) gained by students during their time at upper secondary school, taking into account previous knowledge and educational background at the beginning of the course (i.e. grades from compulsory comprehensive school). In this report the schools are divided into groups according to the types of programme offered by the respective school.

Some of these indicators are already familiar. What is unique about the study is that value added is measured for each school and over three years to see whether or not this value changes over time, and that students are divided into groups, enabling the reader to see how successful different schools are at addressing the needs of students whose previous knowledge or educational backgrounds differ.

The most important results

Some upper secondary schools perform better than others

Schools vary in their ability to meet the needs of students. Of the 382 upper secondary schools investigated, 108 schools successfully contributed to developing the knowledge of their students for three years in a row. Students in these schools achieved better grades in core subject courses than other students in schools with comparable previous knowledge and educational background (measured on the basis of grades from compulsory comprehensive school). The performance of almost half of the schools varied over the years and 96 schools performed worse than the average for three consecutive years.

Many students go on to upper secondary schools with poor grades from compulsory comprehensive school. A fundamental target at upper secondary school is for all students to achieve at least the minimum level of knowledge to attain a pass grade. Those upper secondary schools which are successful are good at ensuring that students with the poorest previous knowledge achieve a pass grade at upper secondary school. Just over a third of the successful schools are among those which are best at ensuring that students with the poorest grades from compulsory education reach this level. This can be compared with the fact that only five per cent of the schools which perform consistently worse than average achieve equally good results for the student group with the lowest grades on leaving compulsory education.

Students leaving compulsory education with high grades are generally high achievers at upper secondary school, irrespective of whether or not they attend a successful school. There is little difference in the extent to which these students reach the lowest acceptable level in core subject courses when well-performing schools are compared with poorer-performing schools. Seventeen per cent and twelve per cent respectively are in the group of schools which are best at ensuring that students with the highest grades from compulsory education schools achieve the minimum level of knowledge in core subject courses.

Research has shown that there are schools which have an impact on students’ performance if one ignores the often strong role played by students’ backgrounds. This also applies to schools whose students have a poorer educational background. Education research has indicated a number of pedagogical and social factors which characterise successful schools but discussion of the allocation of resources within and between different types of schools, etc. may also be required. Here too research exists which shows that initiatives taken early produce better results.

Average grades a misleading indicator of how good a school is

One of the most common measurements of results, used by the National Agency for Education and the press, is average grades. However, average grades say very little about how successful upper secondary schools are at contributing to developing the knowledge of their students. Average grades primarily reflect the composition of the school’s student body. Some schools receive many students with high grades from compulsory comprehensive education but are less

successful while other schools receive students with a poorer educational background but are successful nevertheless.

Average grades show the average level attained by students at a school but indicate very little as to the extent to which the school contributed to this. Nor does the average grade say anything about how good a school is at ensuring that groups of students with different previous knowledge achieve the minimum requirement. This means that average grades are not a good indicator of how well a school is operating and can even be directly misleading if they are not used in combination with other indicators which better encapsulate how the school operates.

Great differences in equality

The extent to which students complete upper secondary school and achieve the lowest acceptable grade depends on their previous knowledge and educational background on arriving at upper secondary school. A quarter of those students who achieve the highest grades at compulsory comprehensive school achieved the lowest pass grade in 92 per cent of core subject courses while students with the lowest grades from compulsory comprehensive school received the lowest pass grade in half of the core subject courses.

From the point of view of equality, this is not acceptable. According to the Education Act, all children and young people, regardless of gender, geographical residence, and social or economical situation, are to have equal access to education. When allocating resources and designing education, attention is to be paid to the various preconditions, needs and level of knowledge of students.

The lack of equality between different schools is reinforced by the differences in how well individual schools ensure that the weakest student groups achieve the lowest acceptable level of knowledge and that students complete upper secondary education. Upper secondary education is far from equal if one looks at the final results.

Often easier to achieve good results in schools with a large number of students on preparatory programmes

The previous knowledge of students generally differs between different programmes. The educational background of a school’s students will therefore vary depending on the upper secondary school programmes offered by the school. At schools where at least two-thirds of the students are taking the natural science or social science programmes, for example, 40 per cent of the students have grades from compulsory comprehensive school of over 3.14 while only 7 per cent of the students at schools offering solely vocational programmes have such high grades from compulsory comprehensive school.

Schools with a large proportion of students on the natural science programme and the social science programme generally achieve better results on the indicators which do not take into account the fact that the educational background of students may differ.

There is no difference between schools offering a different range of programmes when it comes to indicators which take into account the educational background of students. Schools with a large number of students on preparatory programmes are not better at looking after students with poorer previous knowledge and, whatever the range of programmes offered by the school, some schools are more successful than others.

Continued work on school indicators required

Models for estimating the value added by schools must be developed

Indicators which show how good schools are at contributing to students’ knowledge development are necessary for several reasons. One method is to estimate value added. The analyses carried out to calculate value added have shown the focus required but continued development work and discussions on what a model for this should look like are needed. Experience so far can be summarised as follows:

Compulsory comprehensive school grades explain a large proportion of the variation in upper secondary school grades. This must be taken into account when calculating value added. However, the commonly used regression method is not appropriate as the results for

students at the same school are influenced by each other and by the school they attend (and this is precisely what we are seeking to clarify). Besides the fact that schools differ in terms of average grades, the extent to which compulsory comprehensive school grades are significant for upper secondary school grades also varies. A school with high average upper secondary school grades where the grades from compulsory comprehensive school do not have as great a bearing on upper secondary school grades is a school which succeeds well with all students, irrespective of the comprehensive school grades they bring with them when commencing their upper secondary education. The analyses carried out indicate that the impact of grades varies from school to school. This impact can be estimated and reporting such results would contribute to a better understanding of how schools work.

Room for improvement in using grades to measure knowledge

The target and knowledge-related grading system provides information which is very relevant and necessary for assessing the results of a school. While the knowledge-based goal is not the only goal, it is an essential task of the school. However, one important aspect is that the grades reflect levels of knowledge in a similar manner. Despite this, research carried out by the Swedish National Agency for Education into work to ensure equality and fairness shows that there are considerable deficiencies and highlights important areas for development at local level and from a national point of view.

The national testing system, which among other things seeks to support teachers in assessment work, could be used to enable grading to be related to a more equal assessment of knowledge and to achieve increased understanding of how grading works.

Deficiencies in the quality of school statistics

When reporting information at a lower level, i.e. for the individual school, statistics need to be of higher quality. In order to be able to design good indicators, it is necessary to monitor students and schools over time. In the same way school results are more interesting to study when indicators are available for a period of several years. However, reorganisation of schools within the municipality makes this more difficult. How can school results be reported if schools are merged or divided?

The work on producing result indicators in this report has also been complicated by the fact that school codes sometimes change without the school being reorganised. Since 1998 Statistics Sweden has kept unique school identity codes which will make it easier to monitor schools over time in the future.

It appears as though some municipalities are not registering students who complete upper secondary education at the same school at which they began it. The fact that in practice students and teachers alike can be registered at more than one school also makes analysis at school level more difficult than analysis at municipal level. The effect of such deficiencies in the information provided is difficult to analyse by bodies other than the municipality itself. To develop an indicator system or monitoring system at school level, Statistics Sweden and school managers will therefore need to take part in work to check and increase the quality of statistics.

Results in a national indicator system

The complexity of school results and the difficulty of interpreting them accurately suggests that the number of indicators should be kept to a minimum, that they should be selected with care and that time and resources should be spent on making them easier to interpret rather than producing a multitude of indicators and presenting them more or less without comment. The fewer result indicators used, the more important it is that those selected are well founded.