h1

Debatten om NP fortsätter

19 maj 2017

Det verkar som om debatten kring Nationella Prov (NP) aldrig tar slut. Nu i veckan tog Aktuellt och Rapport upp frågan kring diskrepansen mellan resultaten på NP och betyg. Denna ständiga diskussion. Varför?

Nu har Sveriges Television (SvT) grävt i statistiken där fokus har varit på att jämföra betyg med NP-resultat. Sedan har man presenterat denna statistik för Lärarnas Riksförbunds (LR:s) ordförande Åsa Fahlén, som förfäras över statistiken. Visst, är det märkligt att det skiljer så pass mycket som det gör i vissa fall, men borde inte LR:s ordförande känna till denna statistik? Varför bli så förvånad? Se reportaget, länk och länk.

Hur kan det komma sig att vissa elever har högre betyg än vad NP-resultaten visar? Hur kan det komma sig att flickorna har bättre betyg än killarna? I reportaget intervjuas ett gäng gymnasieelever och dessa har ganska sunda åsikter kring detta, se TV-inslaget.

I Aktuellts studio förklarar gymnasieminister Anna Ekström hur man ska se på förhållandet mellan betyg och NP. Anna Ekström menar att man kommer lägga ett förslag på förtydligande i skollagen där det klart och tydligt kommer att stå att lärarna och skolorna särskilt ska beakta resultaten på NP. Dock påtalar Anna Ekström att NP ska vara betygsstödjande men inte styrande. En elev kan ha en dålig dag eller skriva bättre än vad denne brukar göra. Just det där med dålig dag har jag personligen varit med om flera gånger, elever som är jättenervösa inför NP och underpresterar.

Så här säger Anna Ekström: ”Det är svårt att vara lärare och extrasvårt att sätta betyg. Läraren sitter i en väldig motvind i betygsättningen. Den lärare som sätter lite för snälla betyg får glada elever, glada och nöjda föräldrar, glad och nöjd rektor i värsta fall, till och med ibland en glad och nöjd huvudman. Den lärare som sätter likvärdiga och rättvisa betyg får inte lika glada chefer och inte lika glada föräldrar och där är det negativt att vi har ett marknadsstyrt skolsystem.”

Reportern frågar Anna Ekström om det inte ska vara så att NP bättre ska följa betygen. Här svara hon på ett alldeles lysande sätt: Alternativet är att NP skulle styra betygsättningen. Några få timmar skulle styra och bestämma slutbetyget – alltså en 9-årig grundskola. Vill vi ha så?

Min kommentar: Jag begriper faktiskt inte denna diskussion. Hur ska NP styra?
• Kvaliteten på NP är inte alltid speciellt bra. Vilken kvalitet blir det då i betygsättningen? Tänk om läraren gör rätt, hemska tanke. Alltså att det är så att läraren ser hur illa kvaliteten är på NP och ser andra kvaliteter hos eleverna.
• Ska NP styra en hel betygssättning? Ett prov eller en provserie på några timmar i jämförelse med en hel grundskoletid?
• Ska NP rättas centralt? Och ta bort läraren bedömningsansvar. Ska vi ha coacher till lärare då? Eller någon handledare.

Bedömning och betygsättning är ju en stor del av läraryrket oavsett hur illa läraren bedömer. Blir situationen bättre om man tar bort ansvaret? Lärarkåren har ju inte fått utbildning i bedömningsfrågan, något som jag gång på gång lyft på den här bloggen. Åter igen får läraren bära hundhuvud för att det inte fungerar i skolan – men marknadskrafterna, den dåliga bedömnings- och betygsutbildningen, skolhuvudmän som inte tar dessa frågor på allvar diskuteras inte som förklaringsmodell. Nej, det är lärarnas fel.

Jag vet faktiskt inte varför SvT återkommande driver denna fråga. Dessutom högst okunnigt måste jag tillägga. Varför sätter man sig inte in i styrdokumenten? Kommer SvT ta till sig det som Anna Ekström tydliggjorde i studion? Eller faller allt i glömska så att samma frågor uppkommer vid nästa intervju? Kommer övriga media se och lära av Anna Ekström? Eller är inlärningsförmågan hos dagens journalister högst begränsad? Oj, nu slogs jag av en hemsk tanke: Inte kan det väl vara så att journalisterna på SvT och de som skriver om skolan är betygsmotståndare? Eller att man är för flumskolan (flum=otydligt). Nej, så kan det väl inte vara.

Det finns en lobbygrupp som vill återinföra det relativa betygssystemet eftersom dagens system med kunskapsbetyg inte verkar fungera. Vore det verkligen en bra idé? Hur skulle lärarens status bli då? Skulle den stärkas? Nej, jag tror inte det. Per Måhl skrev en debattartikel om varför Sverige lämnade de relativa betygen, se länk. Per Måhl undrar också om NP har någon positiv effekt, se länk.

Ärligt talat – varför tar SvT upp detta? Är det inte bättre att man går in på Skolverkets statistiksida Siris och kolla upp meritvärde (slutbetyg) och gymnasiebehörighet. Jag kan lova att det blir intressant läsning. Då skulle SvT kunna skjuta in sig på de skolor och kommuner som har dåliga resultat. Fråga dem vad de gör åt problemet och varför det ser ut som det gör. Kanske också fråga hur mycket huvudmännen satsar på fortbildning när det gäller bedömning. Intervjua grundskolecheferna och fråga vad de gör. Varför inte börja med Stockholms stads ansvariga tjänsteman. Fråga om Bredäng, Rågsved, Hjulsta och alla andra skolor med låga resultat. Dessa reportage skulle kunna göras som en serie och återkommande lyfta fram ansvarsfrågan.

Hur ser det ut i landet och bland det olika skolhuvudmännen? Katastrof om ni frågar mig. Inget snack om att detta är bevis nog att skolan behöver återförstatligas. 290 kommuner på ett antal privata skolhuvudmän som gör helt olika – inte bra alls och absolut en anledning till att staten ska ta fullt ansvar för skolan.

För övrigt anser jag att läraryrket är samhällets absolut viktigaste arbete. Förstatliga skolan eller återinför USK:en!

Annonser

29 kommentarer

  1. Jag tycker inte att man kan veta något om elevernas kunskap genom att bara titta på betygen. Som du skriver, och som alla bör veta, finns det alldeles för många ovidkommande parametrar som påverkar betygen.


  2. Det du skriver i denna blogg är mycket bra och alltid aktuellt. Jag håller helt med dig i allt vad du skriver om NP och betygsättning. Relationen mellan elevens prestationer och resultat under kursen, resultatet på NP och kursbetyg måste man ständigt förklara. Och det är bra att Anna Ekström, nu minister på Utbildningsdepartementet, har en bakgrund så hon vet vad hon talar om.
    Och visst kan man fundera över varför SVT:s journalister ständigt återkommer till samma frågeställning. Dessutom delar jag helt din åsikt: Staten måste återta huvudmannaskapet för skolan. Utbildningen av nya generationer är för viktig för att handhas av 290 olika kommunala aktörer.


  3. En anledning till att frågeställningen dyker upp igen och igen är ju att problemet har varit känt i många år utan att det åtgärdats.
    Reportaget i aktuellt fokuserar på gymnasiet och där är det så att det är i matematik som betygen avviker mest från NP, inte i svenska och engelska. Det är mycket märkligt av flera skäl:
    1. NP i matematik för gymnasiet är mycket bra. Det finns dessutom undersökningar där man jämfört NP med lärarnas egna prov och det är tämligen klart att NP håller högre kvalitet. Om man vill hävda att lärarna vet bättre än NP får man nog styrka det på ett vederhäftigt sätt. Med tanke på att bedömning haft en synnerligen undanskymd plats i lärarutbildningen finns det ingen anledning att utgå från att lärarna är så himla bra på det.
    2. I matematik är variationerna mellan olika lärares rättning av NP låg, till skillnad från EN och Sv.
    3. NP i matematik genomförs som avslutning av kursen. Det betyder att eleven då haft maximalt med tid att utveckla sina färdigheter och kunskaper, till skillnad från det hen kunnat visa tidigare.
    4. NP i matematik täcker in i stort sett hela kursinnehållet. Det finns inte en massa andra områden som läraren måste beakta, men som inte tas upp av NP.
    5. Matematik är ett väldig tacksamt ämne att examinera med prov.

    Det finns inga rimliga skäl att hälften eller fler av eleverna ska få högre kursbetyg än NP-betyg. Visst finns det elever som har en dålig dag då de skriver NP, men inte alls i den omfattning som motiverar de stora avvikelser som varit väl kända i flera år. Jag har överlag elever som presterar mycket högt och som sätter stor press på sig själva, vilket bland annat visar sig i att många har ångest inför prov. Trots det är det knappast fler än 2-3 i en klass om 30 elever som har en dålig dag.

    Jag ser också att lärarens betygssättning är viktig att värna om. Det är en kärnkompetens i yrket som bidrar till att göra det unikt. Dessutom ser jag det som en fördel att läraren kan väga in mer information än NP. För en enskild elevs betyg kan det vara viktigt.
    Vad diskussionen gäller här är väl snarare att det finns systematiska faktorer som gör att det på övergripande nivå blir tokigt. Till de systematiska faktorerna hör:
    i) Skolpengsystemet och marknadstänket
    ii) Påstridiga föräldrar och elever
    iii) Skolledningar som gärna vill rapporter goda siffror till huvudmannen
    iv) Att ett F ofta medför ytterligare arbete för läraren

    Sådana systematiska faktorer verkar korrumperande.

    Det är också viktigt att fundera över vilka konsekvenser avvikelserna får. Några exempel:

    a) resurstarka föräldrar är antagligen mer framgångsrika i sina ansträngningar att påverka betygssättningen, vilket kan ses som orättvist.
    b) Elever som får goda betyg utan motsvarande kunskaper kanske får med sig bilden i livet att det viktiga inte är vad du kan, utan hur du kan påverka andra människor.
    c) En av gymnasiebetygens viktigaste funktioner är att sortera elever. Om det inte sker efter kompetens, utan på annat sätt, är det olyckligt. Det är orättvist om en mindre kvalificerad elev kommer in på en eftertraktad utbildning i stället för den skickligare eleven med lägre betyg.
    d) Skolans legitimitet i allmänhetens ögon beror bland annat på förmågan att sätta rättvisa betyg. Tror inte människor utanför skolan att betygen är rättvisa kommer skolans legitimitet att sjunka.

    Frågan är viktig och åtgärder är av nöden. Håller för övrigt med Ekström i det mesta hon sade.


  4. Intagningsprov istället för betyg tror jag skulle ha stora fördelar. Betygsinflationen blir ett minne blott. Det blir då de bestående kunskaperna som värdesätts, inte vad du taktiskt lyckats haspla ur dig vid ett provtillfälle. Alltså tvingas man som elev att studera för att kunna och även minnas det man en gång lärt sig. Läraryrket skulle också avlastas, frigöra mer tid till att utveckla bra lektioner och göra yrket mer attraktivt.


    • Jag tror också att det vore en fördel om sorteringen av eleverna skedde vid inledningen av den följande utbildningsnivån. Det skulle göra läraren till elevens främsta resurs när det gäller kunskap och färdighet! Se på IB-programmet. Frågan är bara om det skulle vara menligt för lärarens auktoritet och status om man tog bort ämbetsmannaskapet från uppdraget. Å andra sidan, som Pekka skriver, försvinner betygsinflation och fjäskbeteenede, och vi lärare skulle vara extremt motiverade att maximera våra elevers resultat!


  5. Nu sticker jag nog ut huvudet, men jag menar att skillnaderna NP-resultat/betyg realt faktiskt inte är så hårresande som det ofta framställs, särskilt inte om vi rensar statistiken från andra faktorer. Varför inte istället diskutera de senaste rapporterna om att det är föräldrarnas egen bakgrund vad rör studier och examina och därmed inställning till skola och skolarbete som är det absolut avgörande för barnens framgång i skolan och INTE huruvida mamma och pappa kommer från Mogadishu eller Helsingfors, om då familjen bor i Hjulsta eller Örgryte.

    Men då blir det besvärligt för tex Stockholm och Göteborg. Hur ska skolbyråkrater och politiker då kunna förklara skillnaderna i resultat mellan tex elever i Hjulsta och Bromsten? Det betyder inte att det ska ignoreras men att diskussionen kan föras sansat utifrån givna fakta. Att systemet med i runda slängar 250 separata huvudmän (190 kommuner plus övriga) självklart motverkar drömmen om en likvärdig skola är förstås självklart. Som jag skrev i ett annat forum: tänk att man börjar längta åter till Länsskolnämnden . . .


  6. Det är helt galet att tänka att NP skulle vara betygsgrundande. Tänk alla extra timmar vi tillsammans, lärare och elev, lägger ner när elever har svårt. Vi ska räkna med allt under hela kursen i vår bedömning men det skulle leda till att all fokus läggs på resultat av NP.


    • Finns det någon som förespråkar att NP ska bestämma betyget för varje enskild elev? Däremot är det märkligt om resultaten på NP är väsentligt lägre än betygen för en hel skola i genomsnitt för alla elever.
      Jag har precis rättat klart mina två klasser i fysik, som skrev NP (egentligen provbanksprov som vi har i fysik för gymnasiet) och om jag räknar om resultaten till meritpoäng så skiljer sig NP mindre än en procent från det jag uppskattade utifrån underlaget jag hade innan NP skrevs. Det betyder givetvis inte att alla elever kommer att få ett betyg som är identiskt med NP, men då känner jag mig trygg med att min uttolkning av betygsnivåerna är rimligt överensstämmande med den som skolverket sanktionerat. Därefter kan jag gå vidare och sätta betyg på respektive elev och då kan jag t ex beakta att vissa uppenbarligen haft en dålig dag då NP skrevs.


      • Niklas
        Faktum är att betygutredningen som remitterades förra året föreslår att NP ska vara betygsgrundande (för varje enskild elev).
        Dessutum föreslås där att rättningen av NP ska ske externt,
        vilket inte är så kul eftersom det ytterlggare undergräver lärarnas auktoritet.
        Sen tycker jag att diskusionen om NP måste ske specifikt för skolans olika årskurser. Jag upplever att grundskolans NP och i synnerhet NP för åk3 och 6 är onödigt omfattande med bl a muntlig matematik. Jag upplever, precis som jag tror Johan har sagt vid ett tidigare tillfälle, att man med ett prov på en eller två timmar kan få en mycket bra bild av en elevs kunskaper i matematik.
        I brist på en tydlig läroplan anser jag ändå att NP är mycket viktiga eftersom de förtydligar läroplanens intensioner för lärarna.


      • Men menar de inte att NP ska vara just betygsgrundande, dvs en (viktig) del av lärarens underlag, men inte den enda delen?
        Håller för övrigt helt med om att diskussionen måste ske specifikt för olika årskurser och ämnen. Det jag sagt bygger på min inblick i gymnasiets NP i Ma och Fy.
        Din kommentar om muntliga delar i NP MA verkar dock väldigt lik våra åsikter på gymnasiet. I och med Gy11 bestämde skolverket att alla NP i gymnasiets mattekurser skulle inkludera muntliga delprov. Detta beslut verkar ha tagits utan att ha rådfrågat de institutioner som konstruerar proven. De muntliga delarna har fått väldigt mycket kritik. Bristerna är många: de tar alldeles för mycket tid att genomföra; de ger ytterst lite ny information till läraren, de är väldigt svåra att bedöma på ett tillförlitligt sätt, de har välförtjänt låg trovärdighet.
        I mina ganska omfattande kontakter med de institutioner som konstruerar NP i Ma är det inte svårt att ana att de helst skulle slippa de muntliga delproven. För några år sedan tog skolverket bort de muntliga delproven på hälften av kurserna. Med lite tur kanske Skolverket bestämmer att de ska bort från de återstående kurserna också, eller att de där blir frivilliga att genomföra.
        Och jag håller även med om att de otydliga ämnesplanerna mer eller mindre gör NP nödvändiga för att förtydliga för lärarna.


  7. Läs Per Måhls debattartikel i Svenska Dagbladet om Nationella Prov – klockren om ni frågar mig.
    https://www.svd.se/svenska-nationella-prov-har-inga-positiva-effekter/om/debatt


  8. Onekligen klockrent, fast nog inte som du menar. När Måhl skriver att: ”Betyg som sätts utifrån jämförelser med andra har inga positiva effekter.” har han i stort sett sagt allt han har att säga och han har inte givit några belägg för att detta kategoriska påstående skulle stämma. Alla människor jämför sig och jämförs ständigt med andra människor, det är en funktion hos människan som social varelse.
    Naturligtvis vill jag veta om jag gör ett relativt bra jobb (d.v.s. jämfört med andra som har liknande jobb), om jag är hyfsat bra på någon sport o.s.v. Att inte få veta sådana saker är kraftigt stressande (man kan se det som att förlora ”sense of coherence” som Antonovsky skrivit om).
    Hela idén med graderade kunskapsbetyg utan någon jämförelse med andra är dödfödd. I ett system med givna (begripliga, objektiva, och entydiga) kunskapskrav finns bara två steg, ”kan” resp. ”kan inte”.


    • Inte alls. Läs och begrunda det centrala i
      Måhls artikel:
      ” frågan ´Är nationella prov bra?´ har bara ett rätt svar: ´Det beror på hur proven är utformade, hur de rättas, hur de genomförs, hur de förbereds och följs upp.””

      Vidare visar han hur rättninganvisningar i en del fall går helt på tvärs mot bedömningsanvisningar för kunskapskrav och betygssättning. Och allt med skolverkets goda minne. Don´t shoot him. He´s just playing the piano.


    • Måhls påstående att betyg som sätts utifrån jämförelser inte har positiva effekter är ju fel. Ett exempel är det som diskuteras här: https://ekonomistas.se/2010/11/16/stimulerande-men-jobbiga-jamforelser/

      Jag uppskattar verkligen Måhls betoning av att debatten måste höjs över nivån är nationella prov bra/dåliga, är betyg bra/dåliga. Det har han fullständigt rätt i.

      Det finns dock en hel del som man bör komplettera med.
      Först av allt har inte betyg bara syftet att motivera den enskilda eleven. Det finns flera olika skäl att ha betyg och ett betygssystem måste därför vara en kompromiss. Den som kategoriskt säger att relativa betyg, eller målrelaterade betyg, eller någon annan sort är avgjort bäst har antagligen inte tänkt igenom frågan tillräckligt. Från pedagogiskt håll verkar man huvudsakligen se betygen utifrån hur de påverkar den enskilde eleven, men det är allt för snävt synsätt.

      Måhl diskuterar ofta nationella provens kvalitet utifrån deras övernsstämmelse med betygskriterierna. I en juridisk mening kan det ses som korrekt, men verkligheten är mer komplex än så. Först av allt så är inte styrdokumenten fria från motsägelser. Exempelvis står det i examensmålen för det naturvetenskapliga programmet att ”Efter examen från programmet ska eleverna ha kunskaper för högskolestudier inom främst naturvetenskap, matematik och teknik men även inom andra områden”. Problemet är att ämnesplanen för matematikkurserna inte alltid strävar mot detta må. Då kan man fråga sig vilket dokument man bör hålla sig till. Jag tror att examensmålen bör ses som överordnade, men det är inte det viktiga här, utan att en analys som baseras på styrdokuments formuleringar kan leda ordentligt snett.
      Vidare så det ingen självklarhet att styrdokumenten är bättre än NP. Om de skiljer sig åt så kanske det är styrdokumenten som borde ändras.
      Jag misstänker att Måhl håller sig till en syn på kunskap där kunskapen låter sig beskrivas i diskreta nivåer. Det kanske fungerar på väldigt basala kunskaper och förmågor. Simning är ett belysande exempel. Man kan skilja på de som kan simma och de som inte kan simma. I nästa steg kanske man kan hitta något enkelt sätt att skilja simmare åt, t ex en som bara behärskar ett simsätt och en som behärskar flera, men därefter blir det omöjligt att uttrycka olika grad av simförmåga i den typ av terminologi som används i betygskriterierna. Ändå har vi ofta inga problem att se att en simmare är betydligt skickligare än en annan. Och i min värld så ska skolan ta eleverna långt förbi dessa basala nivåer som går att uttrycka i ord.

      Den här frågan: ”Kan man av en poängs skillnad avgöra att en elev har förstått en text medan en annan inte har det?” tyder på att han inte förstått att det inte är en dikotom förmåga att förstå en text. Man förstår texten olika bra eller dåligt, man förstår vissa delar bättre än andra, man förstår vissa aspekter av texten bättre än andra, man förstår vissa texter bättre än andra och så vidare. Olika elever är olika i dessa avseenden. Att Måhl ställer sig den frågan är i mitt tycke märkligt.


      • Jag har verkligen försökt hitta sakargument mot de relativa betygen i Per Måhl´s artiklar och video som finns länkar till ovan. Jag hittar inga argument som inte antingen är kopplade till auktoritet (politiska beslut, skolverkets anvisningar) eller missuppfattningar om hur relativa betygssystem med nationella prov för normering av betygsskalan skall fungera. (Tyvärr är dessa vantolkningar legio och jag har själv, på en studiedag 1986 eller -87, hört en länsskoleinspektör bestämt hävda att betygen inom varje klass skall följa normalfördelningskurvan). Inga hållbara argument mot nationellt normerade betyg och 15 år av misslyckade försök borde räcka för att inse att idén med absoluta kunskapskrav bör läggas på hyllan.


      • Jag har inte heller kunnat finna sakargument från Måhls sida. Att vara uttolkare av skolverkets styrdokument (utvalda sådana, utan hänsyn till hur de förhåller sig till varandra) gör möjligen en person till expert på just det. Att vara expert på betyg och bedömning kräver mer än så. Inte minst bör man kunna förvänta sig att en expert har bättre förståelse för komplexiteten hos kunskap och skicklighet än att tro att den låter sig beskrivas som avgränsade steg.


  9. Johan!

    Du vill inte debattera NP mer skriver du, men ändå tar du upp tråden på nytt. Du vill väl helst bli av med mig och Niklas, men eftersom många läser bloggen och det du ger uttryck för i den här frågan enligt min mening är helt fel och skadligt (till skillnad från mycket annat du tar upp), så tänker jag inte avstå från att ge min syn.

    Att utvecklingen är skadlig uttrycker Anna Ekström tydligt när hon säger ”Tyvärr är det inte första gången vi ser dessa skillnader. För varje mätning och rapport vi får där det här syns blir jag alltmer orolig för betygssystemets legitimitet”. Hon säger även ”En elev kan fortfarande ha en dålig dag, eller skriva mycket bättre på det nationella provet än vad den egentligen kan. Fortfarande är det så att det är läraren som vet bäst vad en elev kan, men så här stora avvikelser, det tycker jag inte att vi ska tolerera”. Min tolkning är att hon menar att det finns fall där avvikelser mellan betyg och NP kan förekomma, uppåt och nedåt, men att den systematiska och stora avvikelsen uppåt inte är acceptabel. Problemet är att du och dina själsfränder accepterar den systematiska skillnaden och att ni, mot allt sunt förnuft, försöker förklara den med hänvisning till regelverket och bristfällig kvalitet på NP. Om det sistnämnda stämmer borde lärare i ma, fy och ke, där glädjebetygen är vanligast, motivera sin betygssättning med det, men så är inte fallet.

    Provkonstruktören av ett NP och den enskilde läraren, som ska sätta samman ett prov, står inför exakt samma problem – att välja uppgifter som mäter kunskaperna så att en rättvis betygsskala skapas. Det tar 1,5 – 2,0 år att färdigställa ett NP. Jag citerar skolverket: ”Med hjälp av utprövningar får de lärosäten som konstruerar proven information om lärarnas uppfattning av materialet, om eleverna förstår materialet på det sätt som är tänkt samt enskilda uppgifters eller provdelars svårighetsgrad. Den information som utprövningarna ger används både vid sammansättning av proven och vid fastställande av betygs- och bedömningsexempel samt betygsgränser”.

    Uppgifterna utprövas på i storleksordningen 1000 elever för att få rätt svårighetsgrad. Man kan alltså inte direkt omvandla kunskapskraven till uppgifter som testar betygen A, C och F. Det är den uppenbara svagheten i det målrelaterade systemet. Läraren kan inte testa sina uppgifter på andra elever och har inte 2 år på sig. När Anna Ekström säger att ”läraren vet bäst vad en elev kan” är det en sanning med modifikation. Läraren vet vad eleverna kan i förhållande till varandra av det centrala innehållet, men har ingen absolut referens för att tolka kunskapskraven och därmed fastställa den definitiva betygsskalan. Ska det bli rättssäkra betyg måste samma referens användas över hela landet – de nationella proven.

    Vid de tekniska högskolorna har man konstaterat att inte ens högsta betyg borgar för kunskap och har därför infört en kvot med antagning grundad på ett eget prov i matematik och fysik, d.v.s. nuvarande betygssystem har spelat ut sin roll när det gäller att välja ut studenter efter kunskap. Jag citerar vad några matematiklärare säger om detta ” Det nuvarande betygssystemet, inte minst den betygsinflation vi bevittnar under de senaste åren, gör att det är näst intill omöjligt att veta vilka kunskaper och förmågor som döljer sig bakom betygen. Speciellt för utbildningar med höga antagningspoäng är gymnasiebetygen ett ganska trubbigt urvalsinstrument. Vid eventuell lottning mellan sökande med samma meritpoäng känns det som att man anlitar slumpen för att avgöra ungdomars framtid. Antagningsprovet är rättvist i bemärkelsen att alla som tar det jämförs på samma uppgifter vid samma tillfälle”. Följden av den rättsosäkra betygssättningen blir sannolikt att fler än Chalmers och KTH kommer att anta studenter grundat på egna test. Det vore olyckligt eftersom betygen är viktiga av fler skäl än att fungera som urvalsinstrument. Ska betygssystemet behållas måste det rättssäkras och kvalitetssäkras. Varken du eller Måhl och Sundblad tycks inse vilket problem de rättsosäkra betygen är.


    • Instämmer helt Hans-Gunnar. Jag kan tillägga att det finns forskning som tyder på att de nationella proven mycket väl kan vara bättre än lärarnas utvärderingar. Se denna länk:

      http://www.forskning.se/2006/09/13/stora-skillnader-mellan-nationella-prov-och-larares-prov-i-matematik/


    • Måhl är aktiv nu. Han skrev även denna artikel:
      http://skolvarlden.se/artiklar/mahl-relativa-betyg-ar-inget-bra-alternativ

      Även här diskuterar han betyg utifrån deras direkta påverkan på elever och inte några andra aspekter av betygen. Att betygen också har andra syften som bör vägas in berörs inte.

      Lite kan sägas om hans exempel med religionskunskap, som inleds med meningen ”Kunskapskraven i religionskunskap anger att eleven ska ha grundläggande (E), goda (C) eller mycket goda (A) kunskaper om världsreligioner för att få betygen E, C eller A.”

      Därefter följer ett fiktivt exempel på kommunikation med en elev. Kruxet är bara att de mycket vaga kriterierna inte säger så mycket utan att läraren lägger in sin kunskap, erfarenhet, sina samtal med ämneskollegor och så vidare. Det är helt i sin ordning. Jag tror i alla fall att det är så det är tänkt.
      Sedan följer Måhl upp detta med ett fiktivt exempel på hur läraren skulle säga i ett relativt betygssystem: ”hur motiverar man ett relativt betyg där ett visst antal ska få E, C eller A? Vad ska läraren säga? ”Du tillhör inte den andel som ska få A i religionskunskap.” Är den motiveringen mer begriplig?”
      Plötsligt verkar läraren inte ha den kunskap, erfarenhet och så vidare som förutsattes i exemplet innan. Det är en märklig inkonsekvens.

      Längre ner skriver han:
      ”i ett relativt system kan eleverna inte få veta i förväg vad de ska kunna för att få E, C eller A på ett prov. Om en elev till exempel frågar ”Måste jag veta vad hinduismens och buddhismens heliga skrifter heter för att få A?” så ska läraren svara: ”Det vet jag inte. Om det kommer en fråga på skrifterna och du är den enda som får 2 poäng på den frågan så kan det medföra att du får A på provet. Men om alla får 2 poäng så påverkar det inte ditt betyg.””

      Återigen verkar han bortse från att lärarens erfarenhet bör ge goda ledtrådar till vad som krävs för en viss betygsnivå även i det relativa systemet. Självklart ska läraren inte bara väga in de kanske 25 elever som skriver provet, utan betyget, i det relativa systemet, ska relateras till hela landets elever. och det är något som läraren bör ha koll på om denne ska anses skicklig.

      Vi har ju en gymnasieutbildning i Sverige som har relativa betyg, nämligen gymnasieprogrammet International Baccalaureate.
      Där skriver eleverna final exams på våren åk 3 som skickas för central rättning. Därefter sätts betyg som är relativa och där eleverna jämförs med alla International Baccalaureate elever i hela världen. Våra lärare på det programmet har trots det inte svårare att i förväg förmedla till eleverna vad som krävs, eftersom de har erfarenhet från tidigare år.

      Jag tycker det är märkligt att en expert på betyg och bedömning för ett så begränsat och missvisande resonemang.


  10. Johan och ni andra.
    Menar ni verkligen att om man studerar skillnaderna mellan betyg och resultat på nationella prov för olika skolor, så är det bara ett mått på vilken skola som har flest elever med en dålig dag vid provtillfället?


    • Jonas,
      Nej – en dålig dag kan absolut vara en förklaring, men det kan finnas ganska många förklaringar. En förklaring kan vara en dåligt NP. Tredje förklaringen kan vara snällebetyg. Fjärde förklaringen kan vara dålig lärare eller dålig rättning. Femte förklaringen kan vara dålig rättningsmall i NP. Poängen är att NP ska vara en del av allt underlag som läraren har att tillgå. Ha en lärare haft en elev i fyra år och så skiljer sig lärarens bedömning av vad eleven kan med NP så kan det ju ändå inte vara NP som ska styra.


  11. Jonas!

    Nej, vi är några stycken som absolut inte tycker det.


    • Jag kan inte finna annat än att alla betyg på något sätt är relativa. Frågan är relativa till vad?
      Och nu har man tydligen bestämt att de ska sättas relativt lärarens kunkaper, erfarenheter och inte minst värderingar.
      Det är väl klart att det då spretar hur mycket som helst.
      Det är detta NP-uttedningen 2016 ville komma tillrätta med och tillkrånglat blev förslaget eftersom man tydligen måste se till att vissa på skolverket inte ska tappa ansiktet.


  12. Johan, jag tog och lånade Per Måhls bok ”Betyg – men på vad?” och en hel del tankar väcktes. Flera av dem har bäring på din blogg och jag vill gärna att du reflekterar över dem, för jag är lite bekymrad över bloggens framtid. Som jag ser det har din blogg varit ett viktigt bidrag i skoldebatten och jag hoppas att du inte tappar lusten att blogga på grund av allt mothugg du fått i några av de senaste inläggen.

    När jag läser Måhls bok, som är från 1991, känner jag igen mycket av dess tankar i dina inlägg. Jag stärks i uppfattningen att du tagit starkt intryck av Måhl och även Sundblad.

    Något som slagit mig är att flera av oss som mest frekvent invänder mot det du skriver verkar ha sin hemvist i matematik eller ämnen där man använder matematik i stor utsträckning. Hur det kan ha påverkat skoldebatterna återkommer jag till, men jag vill först betona att väldigt få människor begriper matematik. Kanske är det max 10 % av befolkningen som har matematisk förståelse. Det här gör att utrymmet för missförstånd om hur matematik och därmed även matematiktunga naturvetenskaper fungerar är mycket stort. En följd av detta är att många människor som uttalar sig om naturvetenskap helt enkelt har fel.

    Ett exempel på det är beskrivningen av naturvetenskap som finns i Allard/Sundblad, där de bland annat diskuterar behaviorism. Här kan man göra en jämförelse med rasbiologi. En utmärkt skrift om det svenska rasbiologiska institutet finns här:
    http://www.levandehistoria.se/sites/default/files/material_file/skriftserie-4-allt-som-kan-matas-ar-inte-vetenskap.pdf
    Som framgår av texten så ägnade man sig visserligen åt diverse mätningar, men man använde dem inte för att testa sina påståenden (jag drar mig för att använda begreppet hypotes i detta sammanhang). I stället hade man i praktiken redan på förhand bestämt sig för vad som var önskvärda resultat, men man lyckades aldrig belägg dem. När Herman Lundborg gått i pension ersattes han av Gunnar Dahlberg, som hade sin bakgrund i matematik och statistik. Han konstaterade att rasbiologerna sysslat med obekräftade antaganden och kom att bli, på basis av naturvetenskaplig metod, en av dem som gick i bräschen MOT rasbiologin, eftersom data inte stödde de rasbiologiska påståendena.
    Jag ser, utifrån de beskrivningar som Allard/Sundblad ger, att behaviorismen är ungefär lika lite naturvetenskap som rasbiologin.
    Det här har ingenting med perspektiv att göra. Det är en sak att perspektivet, eller utgångspunkten, påverkar hur man formulerar sin frågeställning, men om perspektivet därefter formar svaret på frågeställningen så måste man starkt ifrågasätta kvaliteten i den vetenskap som bedrivits. Framför allt ligger det nära till hands att misstänka att mer långtgående slutsatser dragits än vad den tillgängliga informationen medger.
    Inom fysik är avgränsningen av en teoris giltighetsområde lika viktig som teorin i sig. Detta är enormt viktigt, men tyvärr är insikten om detta inte lika stor i andra discipliner. Då hamnar man lätt i alltför vidlyftiga slutsatser.
    Med detta vill jag ha sagt att det är vanskligt att bilda sig en uppfattning om naturvetenskap utan att själv ha gedigen inblick i densamma. Därtill måste man komma ihåg att det är stor skillnad mellan t ex fysik och biologi, något som även avspeglar sig i hur man undervisar och examinerar i dessa ämnen på gymnasiet.

    Min ståndpunkt i frågan om relativa betyg och kunskapsstandardbetyg är kluven. Dels tror jag att empirin är långt ifrån entydig, för när vi hade relativa betyg i Sverige så förekom betydande inslag av kunskapsstandardtänkande i betygsättningen (även enligt Måhls bok). Likaså har lärarna i praktiken delvis tillämpat ett ”relativt” tänkande sedan betygssystemet byttes på 1990-talet (https://ekonomistas.se/2011/06/23/de-absoluta-betygens-relativitet/)
    Men varför verkar det gå en skiljelinje (i alla fall i diskussioner på denna blogg) mellan ma/fy-lärare och de som mer har sin hemvist i språk/SO? När jag läser Måhls bok slås jag av hur absurda exempel han ger, men de är ju i stort sett uteslutande från SO/språk. Det beror naturligtvis till stor del på att han själv har sin bakgrund i dessa ämnen, men det stämmer tämligen väl med min egen erfarenhet (gick gymnasiet i början av 80-talet). Ett av skälen till att jag uppskattade matematik och fysik så mycket mer var just att dessa ämnen innehåll mycket lite av de inslag som Måhl beskriver. Dessa ämnen handlade om förståelse, förmåga att tillämpa teorier och modeller, samt att kunna lösa nya problem med dessa verktyg. Detta märktes också i proven. Den bild Måhl förmedlar över bristfälliga prov från andra ämnen skiljer sig starkt från de som jag fick i ma/fy. Så olämpliga prov hade vi inte i ma/fy. Det här är inte bara ett bräckligt minne. I mitt arbetsrum har vi sparade centralprov i ma/fy för gymnasiet från början av 1970-talet och framåt. Jag har studerat dem och de var som jag beskrivit här. Min minnesbild är dock att biologiämnet var behäftat med problem liknande de som Måhl beskriver, men här har jag inte gjort någon koll efteråt.

    Här kan man kanske ana en orsak till varför vi hamnar i dessa dispyter. Olika ämnen har påverkats på olika sätt av relativa betyg respektive kunskapsstandardbetyg.

    Sundblad gör ju följande uppdelning:
    1. Mätmodellen (The Measurement Model) Huvudsyfte: att rangordna elever t.ex. Högskoleprovet, lästest, EQ-test)
    • Många frågor
    • Ingen medveten progression
    • Uppgifterna bör mäta olika förmågor
    • Standardiserade prov
    • Eleverna bör inte informeras i förväg om uppgifternas form eller innehåll
    • Kvantitativ bedömning med poäng
    • Betygsgränser fastställs med lösningsfrekvens
    • Tidsbegränsning
    2. Kunskapsstandardmodellen (The Standards Model) Huvudsyfte: att avgöra att eleverna nått en uppsatt kunskapsstandard
    Ex. Uppkörning för körkort, EKNA, ”Läraruppdraget”
    • Få frågor
    • Medveten progression
    • Elever behöver inte göra identiskt samma uppgifter, inte heller samtidigt
    • Eleverna bör informeras i förväg om uppgifternas form och innehåll
    • Kvalitativ bedömning, d.v.s. utan poäng
    • Betygsgränser fastställs som skillnader mellan olika kunskapsstandarder (i t ex förståelse och förmåga att tillämpa)
    • Nog med tid

    Ett närmare granskande visar att detta är väldigt långt från strikta kategorier. Först av allt har vi antalet frågor. Enligt Sundblad är körkortsprovet ett prov av kunskapsstandardtyp (vilket jag håller med om). Men jämför vi detta med centralproven i ma/fy så är antalet frågor betydligt större på körkortsprovet, progressionen är inte lika tydlig, tidsbegränsningen snävare och poäng används i båda fallen. Med andra ord så stämmer det som står i punktsatserna illa med att klassificera centralprov i ma/fy som mätmodell och körkortsprovet som standardmodell. En annan punkt där CP ma/fy stämmer illa med mätmodellen är ”Eleverna bör inte informeras i förväg om uppgifternas form eller innehåll”. Det som togs upp på Ma/Fy proven var givetvis sådant som eleverna arbetat med under lektionerna och uppgifternas form var de bekanta med, om de inte sovit på lektionerna.
    Här kan det vara värt att nämna ett exempel jag har från undervisningen i engelska på högstadiet. Likt de flesta andra lärare berättade hon vad som kunde komma på proven. Det var helt normalt i högstadiet. En dag i åk 9 gjorde hon dock något mycket oväntat. Hon berättade att vi skulle ha ett prov lite längre fram, men hon vägrade berätta vad som skulle komma på provet. Hon sade att vad som helst kunde komma som vi arbetat med under hela högstadiet.
    Hennes tilltag gjorde att flera i klassen blev förtörnade, men hon höll fast vid sitt beslut. Enligt Sundblads punktlista skulle detta ha varit ett mätmodellsprov, men i själva verket var det ett prov som mycket bättre än de tidigare proven verkligen undersökte elevernas långsiktigt befästa kunskaper i engelska. Rent krasst så finns det tydliga fördelar med prov som i något avseende är oväntade, fördelar som har med elevernas lärande att göra och som inte har med de två traditionerna att göra.
    När det gäller det här med tidsbrist så är den nog snarast följden av praktiska orsaker, som att tillgång på salar är begränsad, eleverna har flera andra aktiviteter, lärare kan inte använda alltför stor del av sin arbetstid till att vakta prov, osv. I stort sett alla mattelärare jag känner skulle gärna låta eleverna sitta en hel dag när de har prov, men det fungerar inte rent praktiskt. Vi försöker alltid ge eleverna så mycket tid som möjligt så att proven inte mäter snabbhet, utan förmåga till djupare tänkande. Det handlar helt enkelt om validitet. Samma gäller NP i Ma/Fy, och de tidigare centralproven i dessa ämnen var likadana i detta avseende. Att hänföra tidsfaktorn till en viss tradition är tveksamt, eftersom det nog ofta handlar om praktiska förutsättningar. Men visst finns det saker där tidsfaktorn är av stor vikt och provet/mätningen/examinationen måste ske på tid. Gissningsvis kan det vara så när det gäller kurser där livräddning ingår. Likaså bör man i matematik behärska multiplikationstabellen så väl att man inte behöver tänka, utan kan frigöra arbetsminne för mer krävande uppgifter. Då kan tidsgräns vara vettig, men det har inget med Sundblads traditioner att göra.

    Johan, du har tidigare hävdat att något av de nationella proven (kanske i engelska) är relativa, eftersom de innefattar poängräkning. Enligt Sundblads kategorisering så är poängprov hemmahörande i mätmodellen, men samtidigt hävdar han att det poängräknande körskoleprovet är standardmodell. Märkligt, eller hur.
    Dagens NP i Ma har poäng. Det finns E-poäng, C-poäng och A-poäng. Är det mätmodell eller standardmodell? Eftersom man på förhand bestämmer kravgränserna för de olika betygen så är det faktiskt en standardmodell, inte en modell som bygger på genomsnitt hos de elever som skrev provet, någon normalfördelning, eller procentsatser. Visserligen samlar man in statistik på de uppgifter som utprövas, men provbetygens kravgränser sätts utifrån olika bedömningsmetoder för
    Anledningen till att vi har poäng i dessa prov är att kunskap, färdigheter, förmågor, insikter, osv normalt sett inte kan beskrivas av en stegvis skala där man går trappsteg för trappsteg uppåt. Om du har belägg för att det alltid, eller ens oftast, är möjligt så skulle det vara tacknämligt att få veta vilka dessa belägg är. Om du inte har det så tycker jag du ska vara försiktig med att generalisera utifrån dina erfarenheter.

    Min bild av ett lämpligt betygssystem är att det baseras på en kunskapsstandard, men man måste också inse det futila i att försöka beskriva kunskap i nivåer med ett begränsat antal ord, som man försökt göra med betygskriterierna. Man måste också acceptera att det inte fungerar tillräckligt bra att förlita sig på kollegiala diskussioner. Dessa är onekligen värdefulla, men i praktiken är man ofta begränsad till kollegor på samma skola, och det är ingen grund för likvärdighet över hela landet. Bedömda och kommenterade elevexempel, exempelprov, exempeluppgifter, och så vidare är mycket viktiga komponenter för att få systemet att fungera.
    Att kritisera NP för att de avviker från betygskriterierna är inget sätt att föra utvecklingen framåt, eftersom en anpassning till betygskriterierna mycket väl kan vara en försämring.

    Jag hoppas att bloggen kommer att fortsätta rymma spännande diskussioner i kommentarsfälten. Förhoppningsvis lyckas de flesta hålla sig mer kortfattade än vad jag gjort här.


    • Niklas,

      Detta var väldigt långt inlägg från din sida. Kanske ska du starta en egen blogg?

      10% som kan matematik? Hur har du fått fram den siffran och vad bygger den på? Vilken typ av matematik är det som dessa 10% kan? Är det så att hälften av matematiklärarna i grundskolan inte kan matematik?

      Är det så att man lär sig matematik på ett annat sätt än övriga ämnen? Eller är matematik ett kumulativt ämne? Jag tror det, men med tanke på att jag helt säkert tillhör de 90% som du hänvisar till så tror jag att jag inte ska uttala mig. Men jag vill för övrigt säga – jag för en pedagogisk diskussion – inte en ämnesdiskussion där ämnet matematik diskuteras.

      Jag hävdar att det finns många sätt att se på människan och det är precis det som Allard och Sundblad gör i Hur ser vi på människan. Jag vet inte om du accepterar det, men det är så jag ser på det hela.

      På den här bloggen har jag givit exempel i flera år på urdåliga Nationella Prov. Alltför sällan har jag kunnat ge exempel på frågorna eftersom de är hemligstämplade. Vid några tillfällen har jag gett exempel. Men när det gäller sammanräkning och rättningsmall har det varit under all kritik. I onsdag kom en lärare på min skola och berättade att hon i årskurs 3 hade genomfört 352 Nationella delprov för sina 22 elever. 352!!!!!! Även om många genomförs samtidigt så ska de ändå bedömas. Och ett gäng delprov ska göras muntligt i grupp, det tar tid. 350 prov låg på minst godkänd nivå. Jag frågade henne om kravnivån och hon berättade att den var ganska låg. Lärarna i årskurs 3 hade sambedömt proven.

      Ja, det är en standard när man har poäng kopplat till olika nivåer.

      Vid ganska många tillfällen har det visat sig att vi har helt olika uppfattningar om många frågor. Att du ska få mig att ändra uppfattning eller komma med de där argumenten så att jag äntligen förstår är ungefär som att en moderat ska få en inbiten kommunist att älska marknadskrafterna. Skulle inte hända. Därför lämnar jag diskussionen med dig för denna gång.


      • Johan:
        0% som kan matematik? Hur har du fått fram den siffran och vad bygger den på? Vilken typ av matematik är det som denna 10% kan? Är det så att hälften av matematiklärarna i grundskolan inte kan matematik?

        Niklas:
        Självklart kan fler än 10 % räkna, men det är inte samma sak som att förstå matematik. Att kunna beräkna en varas pris när man slår på 25 % moms är en sak, men det kan folk lära sig rent mekaniskt (fast tyvärr finns det allt för många som lämnar skolan utan att ens kunna det). Det jag talar om är att förstå matematik och ett bättre mått på det är att titta på NP Ma 2 i gymnasiet. VT2016 var det 29 % F, 30 % E, 16 % D, 15 % C, 10 % B och 4 % A. Då ska man komma ihåg att Ma 2 är frivilligt på yrkesprogrammen, samt på estetiska och på humanistiska programmet. Eftersom eleverna på dessa program i genomsnitt har sämre matematikresultat finns det goda skäl att misstänka att utfallet blivit ännu sämre. Dessvärre är det så att det är bara de två högsta betygen som rymmer elever som förstår matematik. Betygen under det kan man få utan att egentligen förstå matematik. Därav 10 % i mitt tidigare inlägg.
        Tyvärr verkar vuxenlivet vara så utformat att de som inte fortsätter att läsa matematik på universitetet i stort sett saknar matematisk förståelse. Så min siffra var absolut inte exakt, men den var inte tagen rakt ur luften.

        Johan:
        Är det så att man lär sig matematik på ett annat sätt än övriga ämnen? Eller är matematik ett kumulativt ämne? Jag tror det, men med tanke på att jag helt säkert tillhör de 90% som du hänvisar till så tror jag att jag inte ska uttala mig. Men jag vill för övrigt säga – jag för en pedagogisk diskussion – inte en ämnesdiskussion där ämnet matematik diskuteras.

        Niklas:
        Ja, man lär sig matematik på ett annat sätt än flertalet andra ämnen. Och ja, matematik är ett kumulativt ämne.
        Ja, du för en pedagogisk diskussion – på ett sätt som inkluderar alla ämnen i skolan, inklusive matematik och naturvetenskap. Det är därför du får mothugg av mig. Du pekar ofta på bristerna i PIE:s argumentation. Du menar att de t ex drar alldeles för generella slutsatser av Butlers studie från 1988. På den punkten håller jag med dig, men det finns ingen anledning att göra på motsvarande sätt i andra sammanhang. För det är faktiskt det du gör (och även de som du hänvisar till). Om man inte tar hänsyn till skillnader i stoff, komplexitet, krav på abstrakt tänkande, kognitiv utmaning, vilka förmågor som står i fokus, med mera, så kan man hamna väldigt fel.

        Johan:
        Jag hävdar att det finns många sätt att se på människan och det är precis det som Allard och Sundblad gör i Hur ser vi på människan. Jag vet inte om du accepterar det, men det är så jag ser på det hela.

        Niklas:
        Det har jag inte opponerat mot, men det var inte det frågan gällde. De gör betydligt mer än att hävda att det finns många sätt att se på människan. De uttalar sig bland annat i vetenskapsteoretiska frågor. Det är dessa delar jag invänt mot. Invändningarna är mycket relevanta, eftersom brister i vetenskaplig metod är en viktig orsak till skolans förfall.

        Johan:
        Vid ganska många tillfällen har det visat sig att vi har helt olika uppfattningar om många frågor. Att du ska få mig att ändra uppfattning eller komma med de där argumenten så att jag äntligen förstår är ungefär som att en moderat ska få en inbiten kommunist att älska marknadskrafterna. Skulle inte hända. Därför lämnar jag diskussionen med dig för denna gång.

        Niklas:
        En attityd jag bara kan beklaga. Jag har inga problem med att ändra ståndpunkt om goda argument läggs fram.


  13. Tråkigt om debatten dör ut för att man har olika uppfattning. Jag har läst många argument i den här tråden som tvingat mig att tänka efter ordentligt vilka de verkliga orsakerna till olika uppfattningar kan vara (även mina egna). En sak som framgår tydligt är att den vetenskap man försöker använda i svensk skolpolitik inte duger, den är inte till större hjälp än skönlitteratur när man försöker skapa fungerande läroplaner.


    • Tomas,

      Nej den dör inte ut, ni kan alla diskutera vidare, men jag har inte tid att i all oändlighet debattera frågor som rör relativa betyg, nationella prov och synen på naturvetenskap. Detta har jag gjort i några år nu och det intresserar inte mig längre. Dessutom är tiden ytterst begränsad för mig.

      Rättelse: Det är just debatten i all oändlighet som jag tröttnat på. Jag lyfter gärna fram fenomen och lyfter fram hur jag ser på saken. Sedan kanske jag inte alltid är så pigg på att diskutera – speciellt då jag har diskuterat i flera år.


      • Bra slutkommentar Johan. Diskutera och älta är inte samma sak.



Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s