Nytt om UKÄ:s utvärdering av forskarutbildning

Härom dagen lade Universitetskanslersämbetet (UKÄ) ut de beslutade resultaten av pilotutvärdering av utbildning på forskarnivå på sin hemsida. Alla utvärderade forskarutbildningsämnena bedömdes ha ”hög kvalitet” (men för två utbildningar konstaterades brister som UKÄ kommer att följa upp inom ramen för ordinarie utvärderingscykel). De tio utlåtandena med lärosätenas svar utgör intressant läsning eftersom de ger en fingervisning om hur utvärderingsresultatet kommer att presenteras i den skarpa utvärderingen, med planerad start januari 2017. I den är det meningen att ungefär en tredjedel av alla forskarutbildningsämnen i landet (cirka 300 av 900) ska utvärderas inom en sexårsperiod. Vilka ämnen som kommer att utvärderas, och när, är ännu inte fastställt. Så snart som UKÄ vet urvalet, kommer de att lägga ut information om detta på sin hemsida. Rent statistiskt skulle då fem av femton forskarutbildningsämnen vid Malmö högskola ingå i UKÄ:s utvärdering.

Pilotomgången har gett UKÄ anledning till att skruva på en del detaljer inför starten av den stora utvärderingen. Vissa av metodens bakgrundsfrågor befanns inte ge tillräckligt mervärde och kommer därför att utgå. Antalet individuella studieplaner som kommer att granskas per forskarutbildningsämne minskas från maximalt 70 till 16, vilket också verkar rimligt.

Frågan är då hur Malmö högskola ska hantera den förmodade merpart av forskarutbildningsämnen som inte kommer att ingå i den nationella utvärderingen 2017–2022. En intern utvärdering genomfördes ju med början hösten 2013. Först ut var forskarutbildningsämnena vid Fakulteten vid hälsa och samhälle och sist ut datavetenskap vid Fakulteten för teknik och samhälle. En tanke vore att behålla sexårsintervallet med en andra utvärderingsomgång som börjar hösten 2019. Visserligen finns stora likheter mellan Malmö högskolas och UKÄ:s utvärderingsmetodologi, men kommande kvalitetsramverk för forskarutbildningen får visa i vilken utsträckning de egna utvärderingarna ska färgas av den metod som UKÄ använder nationellt och vad som präglar utvärdering av Malmö högskolas utbildning i övrigt.

 

Exemplet Nederländerna – en framstående forskningsnation; avslutande kommentar om utvärderingsspelet

I två tidigare Forskningsbloggar (23 februari och 11 mars 2016) har Nederländerna lyfts fram som ett exempel på en framgångsrik forskningsnation. Det som skiljer Nederländernas och Sveriges nuvarande forskningspolitik är bland annat att Nederländernas statsmakter inte påverkar lärosätenas verksamhet genom att direktallokera resurser i förhållande till prestation. Trots det har Nederländernas forskning i många avseenden uppvisat större framgång än Sveriges under rätt lång tid och trots att resurstillskotten inte har varit omfattande (Öquist & Benner, 2012). För att finna en del av förklaringen till varför det kan förhålla sig på detta vis kan det vara lämpligt att gå drygt 40 år tillbaka i tiden och titta på hur det nederländska utvärderingssystemet för forskning har utvecklats.

Elfenbenstornet – Republic of Science

Som i så många andra västländer hade lärosätena i Nederländernas fram till i slutet av 1960-talet undgått grundläggande frågor från regeringen om hur de statliga forskningsmedlen användes. Man kan på ett sätt säga att den akademiska autonomin trumfade över skattebetalarnas intressen ända till dess att ”accountability paradigmet” började slå igenom på allvar. Men då på 1960-talet var kvalitetskontrollen av forskning således enbart en inom-akademisk fråga (jämför med tankegångarna i Michael Polanys ”Republic of Science” från 1962) och staten stack helt enkelt bara in checken under dörren med jämna mellanrum.

Prototyp

Tillvägagångssättet att regeringen i Nederländerna bara sände iväg forskningsanslaget utan efterföljande kontroll ifrågasattes 1969 när ett rådgivande organ till regeringen ansåg att “ad hoc committees of experts… that should assess the nature and suitability of the research financed by the government in restricted fields of research” skulle bildas (van der Meulen, 2006). Efter många om och men genomfördes flera, men inte alltför genomarbetade och från varandra fristående, utvärderingar av forskning inom olika vetenskapliga områden under 1970-talet och en bit in på 1980-talet.

Utvärderingarna gav emellertid sällan regeringen tillräckligt tydliga signaler, varken beträffande kvaliteten på forskningen eller rekommendationer om vad som statsmakten behövde prioritera. Den här första generationen av utvärderingar lyckades alltså inte etablera någon nämnvärd interaktion mellan akademi och regering, men fick i alla fall till följd att kvalitetsbegrepp stöttes och blöttes (till exempel frågan om vilka vetenskapliga publikationer som skulle anses nationella respektive internationella) på ett sätt som förmodligen inte hade varit lika utbrett tidigare. Därför finns det goda skäl att anta att diskussionen ledde till att kvalitetsbegrepp började synliggöras och därmed blev kända inom akademin. Rutinen att bli utvärderad av expertpaneler fick, i förhållande till flera andra länder, också tidigt fäste.

Betaversion

Men 1979−1982 började ansvarig minister ta ett fast grepp om skeendena. Vid den här tiden tydliggjorde staten, i analogi med vad som varit implicit tio år tidigare, att universiteten inte tog tillräckligt ansvar för att visa vad de åstadkom för skattepengarna. Universitetens förmåga till att planera och prioritera sin verksamhet ansågs också undermålig, i likhet med samarbetet mellan lärosäten som därmed inte tog vara på landets forskningskapacitet och därigenom gjorde systemet med universitetsforskning ineffektivt. Lösningen var att introducera ett nytt sätt att finansiera forskning som byggde på att tvinga universiteten att organisera sin forskning i så kallade ”forskningsprogram” (ofta sub-institutionsnivå, men med mer än fem forskare) som tillika skulle utgöra enheten för panelutvärdering. De universitet som misslyckades att fylla sin budget med sådana godkända ansökningar om forskningsprogram riskerade att mista forskningsresurser (även om det var sagt att en omfördelning mellan universitet inte skulle ske under de första fem åren som systemet var i bruk). En framgångsrik utvärdering skulle däremot tillförsäkra universitetet finansiering av framstående program under nästa femårsperiod (Blume och Spaapen, 1988). I konceptet ingick också att graden av konkurrensutsatt finansiering ansågs för låg. Tilldelningen till de statliga forskningsråden höjdes därför.

Men precis som den första utvärderingsomgången svarade inte heller denna generation av utvärderingar upp till de krav som kan ställas på stringens. Både styrning och tydliga riktlinjer saknades. Resultatet blev därefter. Inom vissa områden godkändes alla ansökningar, i andra underkändes mer än hälften. Utvärderingsrutinerna förbättrades 1984 efter protester från universiteten och de organisationer som höll i utvärderingarna. När utvärderingen slutfördes för andra gången 1992 resulterade den i en jämnare fördelning av avslagen och även en höjning av andelen godkända ansökningar (van der Meulen, 2006). Acceptansen för utvärderingssystemet inom akademin ökade betydligt i och med detta. Systemet började till och med ses av universitetsledningarna som ett redskap för att styra deras respektive organisationer med målet att uppnå högre kvalitet inom forskning, vilket gjorde att kvalitetsaspekter nu genomsyrade alla nivåer vid universiteten. Begreppet forskningsprogram − som är en form av vetenskaplig (bottom-up) självorganisering − fick också en fastare kontur genom att den utgjorde utvärderingsenhet.

Ansvarstagande = internalisering

Nu när universiteten accepterat den nya situationen med att vara ”accountable” var deras nästa steg att efterlysa större nytta av utvärderingarna och ställa högre krav på återkoppling i planeringssyfte nu när ansträngningarna för att genomföra utvärderingarna ändå var så stora. Universiteten ville också ta det fulla ansvaret för utvärderingarna av forskning. Det fick de 1993 då ”The Association of Dutch Universities” (VSNU; ungefär Sveriges universitets- och högskolors förbund; SUHF) tog över ansvaret; en tydlig maktförskjutning som innebar att den direkta statliga inblandningen marginaliserades. Det statliga maktutövandet kan därför i detta läge sägas vara mer informellt än formellt eftersom staten inte hade ingripit genom omfördelningar av forskningsmedel mellan universiteten.

På ett sätt var det nya maktförhållandet en återgång till Polanys ”Republic of Science” men med den skillnaden att de från statsmakterna från början pådyvlade kvalitetsaspekter beträffande forskning hade förfinats i dialog mellan departement och akademi till den grad att de internaliserats i universitetsorganisationen på ett genomträngande vis. Även om, eller rättare sagt: tack vare, att det säkert fanns en hel del oväntade avvikelser i progressionen av utvärderingssystemet, så kan slutet på denna del av utvecklingen ändå ses som att ett mål för en framsynt, långsiktig och uthållig forskningspolitik hade uppfyllts efter drygt 20 år.

Standardisering

Ansvarsövertagandet innebar också att universiteten skötte organiseringen av utvärderingarna. VSNU arbetade följaktligen 1993 fram standardiserade rutiner för utvärdering av forskning i en sexårscykel. Utvärderingsresultatens detaljer riktades främst till de lärosäten som utvärderades. Den nederländska motsvarigheten till utbildningsdepartementet fick enbart en översiktlig sammanfattning. Den nya praxisen fick snabbt fäste och alla universitet deltog. Resultaten av utvärderingarna användes av universitetsledningarna som vägledning för framtida investeringar, utlysningar av anställningar och organiseringen av forskning. Framgångsrika forskargrupper kunde också skylta med goda utvärderingsresultat för att öka chanserna att få bra samarbetspartners och större tillgång till olika former av externfinansiering. Standardiseringen innebar samtidigt att genomförandet av utvärderingarna blev oberoende av en samordnande organisation. Utvärderingar som bygger på ett gemensamt protokoll kan organiseras på olika vis. Lärosätena var inte längre beroende av VSNU.

De nya frihetsmarginalerna gör att en framställan 1998 till en då ny ansvarig minister hörsammas om att utvärderingsbördan är orimlig och måste åtgärdas. (Till utvärderingarna av forskningsprogrammen har fler utvärderingar fogats under tiden.)

Delegation

Framställan får till följd att från och med 2002 ligger ansvaret på de enskilda universiteten att genomföra utvärdering av forskning enligt ett Standard Evaluation Protocol som sanktionerats av VSNU och två andra nationella organisationer (Royal Netherlands Academy for Arts and Sciences (KNAW) och deras Forskningsråd (NWO)). Protokollet bygger på VSNU:s tidigare standard, men varje universitet kan själv avgöra vilka av dess forskningsverksamheter som ska omfattas av utvärderingen. Om det finns anledning kan flera universitet gå samman och genomföra en gemensam utvärdering, till exempel för en enskild disciplin.

Distansen mellan lärosätena och regeringen ökade när universiteten tog över utvärderingarna. Inte helt oväntat började departementet klaga på bristande insyn och frånvaro av kontroll var forskningspengarna landar eftersom lärosätenas interna resursallokering inte alltid var transparent i förhållande till utvärderingsresultat och prestationer. Dessutom ökade antalet expertpaneler vilket minskade effektiviteten.

Trots alla turer på senare år, framhålls utvärderingsmetoden som en viktig förklaring till att Nederländerna har så pass framstående forskning. I landets “2025. Visons for Science – choices for the Future” från 2014 står det: “The Standard Evaluation Protocol has made a significant contribution to the quality of fundamental research in the Netherlands and is regarded as an exemplar by the international academic community.” Det ligger något I det.

Resumé

En markant intervention av statsmakterna kring 1980 gjorde att de nederländska universiteten internaliserade och utvecklade kvalitetsbegreppen. I samarbete med andra organisationer byggde universiteten upp ett utvärderingssystem som har varit relativt stabilt de senaste 15 åren. Denna stabilitet verkar ha gett lärosätena arbetsro i och med att systemet är förutsägbart och utvecklat av akademin, även om arbetet från första början sattes igång som en reaktion på ett utspel av deras regering.

Varken utvärderingsresultat eller forskningsprestationer påverkar fördelningen mellan de Nederländska universiteten, vilket kan ha medfört att inget av dem finns representerat i absoluta toppen på de vanligaste rankinglistorna. Å andra sidan kan ambitionen att ha ”toppuniversitet” vara missriktad, särskilt som hälften av Nederländernas universitet ändå befinner sig bland de 100 högst rankade. Nederländernas forskningspolitiska mål verkar att ha uppfyllts efter en väldig lång resa.

Sweden 35 B.C.

Fram till 2009 fördelade den svenska regeringen basanslaget för forskning till lärosätena främst på historiska grunder; lärosätena fick i princip vad de fick förra året plus en procentuppräkning. Det fanns sedan tidigare emellertid politiska ingrepp som störde lugnet i Republic of Science, nämligen satsningar på de nya universiteten och nationella forskarskolor kring millenniumskiftet samt nymodigheten att ge högskolorna egna forskningsresurser i slutet av 1990-talet. De strategiska forskningsområdena utgjorde också en (över)tydlig intervention i universitetens och högskolornas verksamhet i stordriftsfördelens och excellensens namn. Men bortsett från dessa politiska (nota bene) punktvisa och inte alltför samordnade interventioner, kom forskningsprestationer i och med kvalitetsindikatorerna inte på allvar in i bilden förrän det i betänkandet Resurser för kvalitet (2008) föreslogs en (ännu gällande) prestationsbaserad tilldelning som är baserad på hur mycket externa medel ett lärosäte drar in och hur väl citerade dess publikationer är. Den nationella resursfördelningsmodellens kvalitetsindikatorer har anammats av lärosätena. Merparten av de svenska lärosätena, i likhet med Malmö högskola, använder numera – i New Public Management-anda – en eller annan form av hänsyn till prestation i den interna fördelningen av forskningsanslaget.

En nationell utvärdering av forskning kom inte på tal förrän Vetenskapsrådet lämnade sitt förslag FOKUS 2014. Förslaget påminner mer om det engelska systemets Research Evaluation Framework än det nederländska Standard Evaluation Protocol (och det är kanske därför FOKUS verkar arbeta i motvind; se Forskningsbloggen 25 januari 2016).

Med denna bakgrund är det ganska tydligt att de senaste decenniernas svenska forskningspolitik i förhållande till Nederländernas har saknat stringens och uthållighet. Därför har högskolesektorn fått otydliga signaler i sin strävan att bidra till att göra Sverige till en ledande forskningsnation. Att, som tidigare regering, göra stora ekonomiska satsningar på forskning i de två senaste forskningspropositionerna är absolut nödvändigt, men tydligen inte tillräckligt.

Vi såg i Nederländerna att universiteten slöt sig samman relativt snabbt inför hotet om ”accountability” som regeringen på allvar började mönstra redan kring 1980. Det gällde för lärosätena att i kraft av sin akademiska trovärdighet skapa ett system för utvärdering av forskningskvalitet som den nederländska regeringen kunde acceptera. I detta oberoende låg nyckeln till internaliseringen av kvalitetsbegreppet som genom uttalad New Public Management på universitetsledningsnivå skärpte kvaliteten på bred front. I Sverige har ju lärosätena aldrig behövts enas i dessa frågor eftersom de inte varit utsatta av politisk påtryckning på samma sätt som i Nederländerna. Trots det, skulle den minst sagt tydliga beställningen i det uppdrag som den borgerliga regeringen gav Vetenskapsrådet 2013 kunnat vara ett lämpligt startskott för en sådan sammanslutning − lämpligen ledd av Sveriges universitets- och högskoleförbund.

Bristen på samordning mellan de svenska lärosätena betyder inte brist på initiativ. Sedan cirka tio år tillbaka har en lång räcka lärosäten (se till exempel Göteborgs universitet, Mälardalens högskola, Uppsala universitet och Örebro universitet) genomfört egeninitierade kvalitetsutvärderingar av forskning med externa expertpaneler. KK-stiftelsen har också möjliggjort och finansierat utvärdering av forskning vid Högskolan i Halmstad, Högskolan i Skövde och Mittuniversitetet (ARC 13) enligt en modell som var gemensam för alla tre lärosätena.

Det finns sålunda erfarenhet av kvalitetsutvärdering av forskning vid svenska lärosäten. Men även om utvärderingarna har vissa likheter framstår den ändå som fragmenterad. Vad som skulle behövas för att stärka och kommunicera den akademiska legitimiteten framöver är att de svenska lärosätena enas om ett gemensamt utvärderingsprotokoll, liksom det som används i Nederländerna. Det skulle samtidigt leda till att lärosätena genom fortsatt internalisering bildar en samsyn på vad som utgör forskningskvalitet.