Kategori: forskning

Eftersom Vetenskapsrådet (VR) sedan 2009 tydligen inte har varit tillräckligt motiverat att utveckla kvalitetsindikatorn vetenskaplig produktion och citeringar för egen maskin, har VR på uppdrag med fem veckors varsel från regeringen lagt ett förslag till ny beräkningsformel för det bibliometriskta indexet (som lämnades in med deras sedan tidigare kända brasklapp att den bästa användningen av bibliometri i samband med fördelning av resurser är som komplement till peer review).

Den stora skillnaden jämfört med den befintliga modellen är bara topp 10 % citeringar räknas. Ändringen är vällovlig, inte minst med tanke på att den befintliga beräkningen kan ge alldeles för stora effekter även för stora lärosäten när enskilda mycket välciterade artiklar fasas ut från citeringsfönstret.

En annan avsevärd skillnad är att de 34 områdesnormalerna, som byggde på tidskriftsindelningen i Web of Science, byts ut i ett svep till nio ämnesområden − också de knutna till tidskriftsklassificeringen i Web of Science − som tilldelas de konkurrensutsatta medlen i proportion till andelen FoU-intäkter som dessa områden har enligt Statistiska centralbyråns två senaste tillgängliga omgångar med ekonomistatistik. (Se tabell nedan.) Anledningar till denna förändring är problem med att entydigt koppla samman forskare med publikationer i Web of Science och att VR anser att de beräkningsalgoritmer som ligger till grund för att skatta den vetenskapliga normalproduktionen med Waring-metoden är alltför skakiga.

I den justerade modellen tilldelas varje lärosäte ämnespoäng i proportion till hur mycket som lärosätet bidrar till landets universitets och högskolors topp 10 % citeringar inom detta ämnesområde. Lärosätets nya bibliometriska index är dessa ämnespoäng summerade över alla ämnesområdena (se räkneexempel i Tabell 3 på sidan 9 i förslaget).

Ämnesområdenas storlek skiljer sig markant åt; från 1,5 % (matematik) till 33,1 % (medicin och hälsa) och det är befogat att ställa frågan om inte indelningen kunde göras mer finfördelad. Det finns sannolikt skillnader i citeringsgrad inom de stora fälten medicin och hälsa samt teknik där trots allt goda citeringsresultat riskerar att diskvalificeras i den hårda TOP10-konkurrensen. För kan verkligen publiceringsklasserna ”Dentistry”, ”Oral Surgery & Medicine”, ”Nursing” och ”Health Care Sciences & Services” konkurrera på lika villkor med ”Cell Biology”, ”Neurosciences” och ”Cardiac and Cardiovascular systems”? VR kunde därför lagt ner extra ansträngning på att tentativt finfördela de stora ämnesområdena medicin och hälsa samt teknik och redovisat denna ansträngning, även om det inte låter sig göras lätt på så kort tid som tycks ha stått till förfogande. (Åtminstone odontologi kan förefalla vara lätt att isolera.) Språnget från 34 till 9 områden som indelningsgrund för publikationerna blir som sagt markant.

Ett annat alternativ som också borde testats och redovisats i deras PM är variera omfånget på det som anses som högt citerade artiklar till att inkludera hela övre kvartilen (TOP25), bland annat för att få ett större och därmed statistiskt säkrare underlag för landets mindre enheter. Som det ser nu kan enstaka TOP10-publikationer ge ett stort utslag i det nya bibliometriska indexet. I förslaget till fördelning 2017 har så många som elva högskolor mindre än 20 högt citerade artiklar och en enstaka artikel bidrar mellan 5 % och 16 % till indikatorutfallet. Slumpen kan få en stor inverkan på om dessa fåtal publikationer råka falla under eller passera över tioprocents-strecket. VR:s förslag löser därmed inte problematiken att enskilda publikationer riskerar att få stort genomslag – en osäkerhet som främst drabbar högskolelandskapets mindre enheter.

Till de mindre förändringarna som föreslås att ”Letter” stryks som dokumenttyp, att fraktionering sker per författare (istället för som tidigare på adress) och att universitetssjukhusens vetenskapliga produktion inkluderas i det lärosäte till vilket det är knutet.

Fördelning enligt det nya förslaget

VR har med dessa justeringar i modellen lämnat in ett alternativt fördelningsunderlag inför budgetpropositionen för 2017. (Se Excel-arket i högermarginal på deras hemsida: ”Fördelningsunderlag enligt justerad modell”.)

Naturligtvis finns det vinnare och förlorare med förslagets sätt att räkna jämfört med hur utfallet skulle se ut om den befintliga modellen används. Till de största vinnarna hör Chalmers tekniska högskola, Sveriges lantbruksuniversitet och Karolinska institutet. Och till de lärosäten som förlorar mest om förslaget skulle genomföras hör Södertörns högskola, Malmö högskola och Karlstads universitet men även Stockholms universitet.

Underlaget är för Malmö högskolas del som sagt inte trevlig läsning, för trots att det bara är åtta lärosäten som har en högre andel TOP10-artiklar, förlorar Malmö högskola bibliometriska marknadsandelar på VR:s nya sätt att räkna (det blev inte så illa som modelleringen i förslaget, se tabell 4 på sidan 11, men nästan). Malmö högskolas marknadsandelar skulle därigenom minska från 1,11 % (2016) till 0,79 % när två decimaler är med, vilket vore en rejäl minskning. Underlaget visar att Malmö högskola har 45 TOP10 artiklar (av landets 5 991); se tabell nedan för dessa artiklars fördelning mellan ämnesområden. Tyvärr kan vi enbart gissa oss till vilka artiklarna är eftersom VR inte lämnar ut mer information än vad de har på sin hemsida, vilket är synd för det skulle vara intressant att analysera TOP10-materialet. Och det är möjligt att ökad transparens också skulle öka tilltron till metodiken.

Tabell vars andra rad visar den procentuella fördelningen mellan ämnesområdena i VR:s nya bibliometri som bygger på SCB:s statistik över forskningsintäkter samt, på den tredje raden, det antal högt citerade (TOP10) artiklar (2011−2015) som Malmö högskola har inom respektive ämnesområde.

Biologi	Fysik	Geovetenskap	Huma-niora	Kemi	Mate-matik	Medicin & Hälsa	Sam-hälls-veten-skap	Teknik
11,4 %	5,4 %	2,6 %	6,2 %	4,0 %	1,5 %	33,1 %	14,4 %	21,4 %
0	1	0	5	2	0	27	5	5

Fördelning enligt hittillsvarande sätt att räkna

VR har också räknat ut fördelningen enligt gängse metoden (Se Excel-arket i högermarginal på deras hemsida: ”Fördelningsunderlag för 2017”.)

Med detta sätt att räkna kommer Malmö högskolas marknadsandelar istället att öka från 1,11 % (2016) till 1,23 % (2017) när två decimaler är med. De enskilda publikationsklasser som bidrar mest till Malmö högskolas bibliometriska index är: ”Dentistry” (141); ”Humanities” (86); ”Education” (80): Social Science (78); Computer Science (66) och ”Health” (50).

Prognostiserade ekonomiska effekter

Med tanke på att insatsen som denna kvalitetsindikator har i den nationella ”tombolan” var nästan 1,3 miljarder kronor 2016 (för Malmö högskolas del var insatsen 14,9 miljoner kronor) betyder det att skillnaden mellan de två beräkningssätten (0,79 % minus 1,23 % = – 0,44 %) gör att Malmö högskola uppskattningsvis kommer att få nästan 5,5 miljoner kronor mindre i forskningsanslag 2017 om det nya beräkningssättet appliceras jämfört med om det befintliga används. Med tanke på att Malmö högskolas forskningsanslag bara är 137 miljoner kronor (2016) vore det ett rejält avbräck. Allt annat lika, kommer den justerade modellen således att betyda en avsevärd anslagsminskning jämfört med 2016 om förslaget genomförs, medan befintlig modell innebär att Malmö högskola fortsätter att ta bibliometriska marknadsandelar som arbetar i en positiv riktning och en fortsatt ökning av den indikatordrivna delen av forskningsanslaget.

Eftersom 2015 inte var ett bra år för Malmö högskolas andra kvalitetsindikator, externa medel, kommer sannolikt dessa marknadsandelar knappast att höjas.

Avslutande kommentar

Vetenskapsrådets justerade modell verkar inte vara helt genomarbetad eller förankrad. De problem med enstaka publikationer som den justerade modellen skulle lösa dyker istället upp på andra ställen. Det hade därför varit på sin plats att ett alternativ med en mer finfördelad indelning av vissa ämnesområden hade redovisats (alternativt att överge idén att använda FoU-intäkter som indelningsgrund) samt att TOP25 hade testats och redovisats. Ett införande bör avvakta en sådan redovisning.

Och förankringen: Nu återstår det att se om utbildningsdepartementet bestämmer sig för en remisshantering. Hinns en remissrunda överhuvudtaget med innan budgetpropositionen?

Men regeringen har ju satt kvalitetsfördelningen ur spel tidigare (senast till högskolornas och de nya universitetens fördel). Vi får se om något liknande sker även 2017, för allt pekar på att indikatorerna, i en eller annan form, kommer att användas vid resursfördelningen av forskningsanslaget mellan landets lärosäten till dess att ett annat system implementeras. Höstens forskningspolitiska proposition innehåller säkert ett och annat om den saken.

I två tidigare Forskningsbloggar (23 februari och 11 mars 2016) har Nederländerna lyfts fram som ett exempel på en framgångsrik forskningsnation. Det som skiljer Nederländernas och Sveriges nuvarande forskningspolitik är bland annat att Nederländernas statsmakter inte påverkar lärosätenas verksamhet genom att direktallokera resurser i förhållande till prestation. Trots det har Nederländernas forskning i många avseenden uppvisat större framgång än Sveriges under rätt lång tid och trots att resurstillskotten inte har varit omfattande (Öquist & Benner, 2012). För att finna en del av förklaringen till varför det kan förhålla sig på detta vis kan det vara lämpligt att gå drygt 40 år tillbaka i tiden och titta på hur det nederländska utvärderingssystemet för forskning har utvecklats.

Elfenbenstornet – Republic of Science

Som i så många andra västländer hade lärosätena i Nederländernas fram till i slutet av 1960-talet undgått grundläggande frågor från regeringen om hur de statliga forskningsmedlen användes. Man kan på ett sätt säga att den akademiska autonomin trumfade över skattebetalarnas intressen ända till dess att ”accountability paradigmet” började slå igenom på allvar. Men då på 1960-talet var kvalitetskontrollen av forskning således enbart en inom-akademisk fråga (jämför med tankegångarna i Michael Polanys ”Republic of Science” från 1962) och staten stack helt enkelt bara in checken under dörren med jämna mellanrum.

Prototyp

Tillvägagångssättet att regeringen i Nederländerna bara sände iväg forskningsanslaget utan efterföljande kontroll ifrågasattes 1969 när ett rådgivande organ till regeringen ansåg att “ad hoc committees of experts… that should assess the nature and suitability of the research financed by the government in restricted fields of research” skulle bildas (van der Meulen, 2006). Efter många om och men genomfördes flera, men inte alltför genomarbetade och från varandra fristående, utvärderingar av forskning inom olika vetenskapliga områden under 1970-talet och en bit in på 1980-talet.

Utvärderingarna gav emellertid sällan regeringen tillräckligt tydliga signaler, varken beträffande kvaliteten på forskningen eller rekommendationer om vad som statsmakten behövde prioritera. Den här första generationen av utvärderingar lyckades alltså inte etablera någon nämnvärd interaktion mellan akademi och regering, men fick i alla fall till följd att kvalitetsbegrepp stöttes och blöttes (till exempel frågan om vilka vetenskapliga publikationer som skulle anses nationella respektive internationella) på ett sätt som förmodligen inte hade varit lika utbrett tidigare. Därför finns det goda skäl att anta att diskussionen ledde till att kvalitetsbegrepp började synliggöras och därmed blev kända inom akademin. Rutinen att bli utvärderad av expertpaneler fick, i förhållande till flera andra länder, också tidigt fäste.

Betaversion

Men 1979−1982 började ansvarig minister ta ett fast grepp om skeendena. Vid den här tiden tydliggjorde staten, i analogi med vad som varit implicit tio år tidigare, att universiteten inte tog tillräckligt ansvar för att visa vad de åstadkom för skattepengarna. Universitetens förmåga till att planera och prioritera sin verksamhet ansågs också undermålig, i likhet med samarbetet mellan lärosäten som därmed inte tog vara på landets forskningskapacitet och därigenom gjorde systemet med universitetsforskning ineffektivt. Lösningen var att introducera ett nytt sätt att finansiera forskning som byggde på att tvinga universiteten att organisera sin forskning i så kallade ”forskningsprogram” (ofta sub-institutionsnivå, men med mer än fem forskare) som tillika skulle utgöra enheten för panelutvärdering. De universitet som misslyckades att fylla sin budget med sådana godkända ansökningar om forskningsprogram riskerade att mista forskningsresurser (även om det var sagt att en omfördelning mellan universitet inte skulle ske under de första fem åren som systemet var i bruk). En framgångsrik utvärdering skulle däremot tillförsäkra universitetet finansiering av framstående program under nästa femårsperiod (Blume och Spaapen, 1988). I konceptet ingick också att graden av konkurrensutsatt finansiering ansågs för låg. Tilldelningen till de statliga forskningsråden höjdes därför.

Men precis som den första utvärderingsomgången svarade inte heller denna generation av utvärderingar upp till de krav som kan ställas på stringens. Både styrning och tydliga riktlinjer saknades. Resultatet blev därefter. Inom vissa områden godkändes alla ansökningar, i andra underkändes mer än hälften. Utvärderingsrutinerna förbättrades 1984 efter protester från universiteten och de organisationer som höll i utvärderingarna. När utvärderingen slutfördes för andra gången 1992 resulterade den i en jämnare fördelning av avslagen och även en höjning av andelen godkända ansökningar (van der Meulen, 2006). Acceptansen för utvärderingssystemet inom akademin ökade betydligt i och med detta. Systemet började till och med ses av universitetsledningarna som ett redskap för att styra deras respektive organisationer med målet att uppnå högre kvalitet inom forskning, vilket gjorde att kvalitetsaspekter nu genomsyrade alla nivåer vid universiteten. Begreppet forskningsprogram − som är en form av vetenskaplig (bottom-up) självorganisering − fick också en fastare kontur genom att den utgjorde utvärderingsenhet.

Ansvarstagande = internalisering

Nu när universiteten accepterat den nya situationen med att vara ”accountable” var deras nästa steg att efterlysa större nytta av utvärderingarna och ställa högre krav på återkoppling i planeringssyfte nu när ansträngningarna för att genomföra utvärderingarna ändå var så stora. Universiteten ville också ta det fulla ansvaret för utvärderingarna av forskning. Det fick de 1993 då ”The Association of Dutch Universities” (VSNU; ungefär Sveriges universitets- och högskolors förbund; SUHF) tog över ansvaret; en tydlig maktförskjutning som innebar att den direkta statliga inblandningen marginaliserades. Det statliga maktutövandet kan därför i detta läge sägas vara mer informellt än formellt eftersom staten inte hade ingripit genom omfördelningar av forskningsmedel mellan universiteten.

På ett sätt var det nya maktförhållandet en återgång till Polanys ”Republic of Science” men med den skillnaden att de från statsmakterna från början pådyvlade kvalitetsaspekter beträffande forskning hade förfinats i dialog mellan departement och akademi till den grad att de internaliserats i universitetsorganisationen på ett genomträngande vis. Även om, eller rättare sagt: tack vare, att det säkert fanns en hel del oväntade avvikelser i progressionen av utvärderingssystemet, så kan slutet på denna del av utvecklingen ändå ses som att ett mål för en framsynt, långsiktig och uthållig forskningspolitik hade uppfyllts efter drygt 20 år.

Standardisering

Ansvarsövertagandet innebar också att universiteten skötte organiseringen av utvärderingarna. VSNU arbetade följaktligen 1993 fram standardiserade rutiner för utvärdering av forskning i en sexårscykel. Utvärderingsresultatens detaljer riktades främst till de lärosäten som utvärderades. Den nederländska motsvarigheten till utbildningsdepartementet fick enbart en översiktlig sammanfattning. Den nya praxisen fick snabbt fäste och alla universitet deltog. Resultaten av utvärderingarna användes av universitetsledningarna som vägledning för framtida investeringar, utlysningar av anställningar och organiseringen av forskning. Framgångsrika forskargrupper kunde också skylta med goda utvärderingsresultat för att öka chanserna att få bra samarbetspartners och större tillgång till olika former av externfinansiering. Standardiseringen innebar samtidigt att genomförandet av utvärderingarna blev oberoende av en samordnande organisation. Utvärderingar som bygger på ett gemensamt protokoll kan organiseras på olika vis. Lärosätena var inte längre beroende av VSNU.

De nya frihetsmarginalerna gör att en framställan 1998 till en då ny ansvarig minister hörsammas om att utvärderingsbördan är orimlig och måste åtgärdas. (Till utvärderingarna av forskningsprogrammen har fler utvärderingar fogats under tiden.)

Delegation

Framställan får till följd att från och med 2002 ligger ansvaret på de enskilda universiteten att genomföra utvärdering av forskning enligt ett Standard Evaluation Protocol som sanktionerats av VSNU och två andra nationella organisationer (Royal Netherlands Academy for Arts and Sciences (KNAW) och deras Forskningsråd (NWO)). Protokollet bygger på VSNU:s tidigare standard, men varje universitet kan själv avgöra vilka av dess forskningsverksamheter som ska omfattas av utvärderingen. Om det finns anledning kan flera universitet gå samman och genomföra en gemensam utvärdering, till exempel för en enskild disciplin.

Distansen mellan lärosätena och regeringen ökade när universiteten tog över utvärderingarna. Inte helt oväntat började departementet klaga på bristande insyn och frånvaro av kontroll var forskningspengarna landar eftersom lärosätenas interna resursallokering inte alltid var transparent i förhållande till utvärderingsresultat och prestationer. Dessutom ökade antalet expertpaneler vilket minskade effektiviteten.

Trots alla turer på senare år, framhålls utvärderingsmetoden som en viktig förklaring till att Nederländerna har så pass framstående forskning. I landets “2025. Visons for Science – choices for the Future” från 2014 står det: “The Standard Evaluation Protocol has made a significant contribution to the quality of fundamental research in the Netherlands and is regarded as an exemplar by the international academic community.” Det ligger något I det.

Resumé

En markant intervention av statsmakterna kring 1980 gjorde att de nederländska universiteten internaliserade och utvecklade kvalitetsbegreppen. I samarbete med andra organisationer byggde universiteten upp ett utvärderingssystem som har varit relativt stabilt de senaste 15 åren. Denna stabilitet verkar ha gett lärosätena arbetsro i och med att systemet är förutsägbart och utvecklat av akademin, även om arbetet från första början sattes igång som en reaktion på ett utspel av deras regering.

Varken utvärderingsresultat eller forskningsprestationer påverkar fördelningen mellan de Nederländska universiteten, vilket kan ha medfört att inget av dem finns representerat i absoluta toppen på de vanligaste rankinglistorna. Å andra sidan kan ambitionen att ha ”toppuniversitet” vara missriktad, särskilt som hälften av Nederländernas universitet ändå befinner sig bland de 100 högst rankade. Nederländernas forskningspolitiska mål verkar att ha uppfyllts efter en väldig lång resa.

Sweden 35 B.C.

Fram till 2009 fördelade den svenska regeringen basanslaget för forskning till lärosätena främst på historiska grunder; lärosätena fick i princip vad de fick förra året plus en procentuppräkning. Det fanns sedan tidigare emellertid politiska ingrepp som störde lugnet i Republic of Science, nämligen satsningar på de nya universiteten och nationella forskarskolor kring millenniumskiftet samt nymodigheten att ge högskolorna egna forskningsresurser i slutet av 1990-talet. De strategiska forskningsområdena utgjorde också en (över)tydlig intervention i universitetens och högskolornas verksamhet i stordriftsfördelens och excellensens namn. Men bortsett från dessa politiska (nota bene) punktvisa och inte alltför samordnade interventioner, kom forskningsprestationer i och med kvalitetsindikatorerna inte på allvar in i bilden förrän det i betänkandet Resurser för kvalitet (2008) föreslogs en (ännu gällande) prestationsbaserad tilldelning som är baserad på hur mycket externa medel ett lärosäte drar in och hur väl citerade dess publikationer är. Den nationella resursfördelningsmodellens kvalitetsindikatorer har anammats av lärosätena. Merparten av de svenska lärosätena, i likhet med Malmö högskola, använder numera – i New Public Management-anda – en eller annan form av hänsyn till prestation i den interna fördelningen av forskningsanslaget.

En nationell utvärdering av forskning kom inte på tal förrän Vetenskapsrådet lämnade sitt förslag FOKUS 2014. Förslaget påminner mer om det engelska systemets Research Evaluation Framework än det nederländska Standard Evaluation Protocol (och det är kanske därför FOKUS verkar arbeta i motvind; se Forskningsbloggen 25 januari 2016).

Med denna bakgrund är det ganska tydligt att de senaste decenniernas svenska forskningspolitik i förhållande till Nederländernas har saknat stringens och uthållighet. Därför har högskolesektorn fått otydliga signaler i sin strävan att bidra till att göra Sverige till en ledande forskningsnation. Att, som tidigare regering, göra stora ekonomiska satsningar på forskning i de två senaste forskningspropositionerna är absolut nödvändigt, men tydligen inte tillräckligt.

Vi såg i Nederländerna att universiteten slöt sig samman relativt snabbt inför hotet om ”accountability” som regeringen på allvar började mönstra redan kring 1980. Det gällde för lärosätena att i kraft av sin akademiska trovärdighet skapa ett system för utvärdering av forskningskvalitet som den nederländska regeringen kunde acceptera. I detta oberoende låg nyckeln till internaliseringen av kvalitetsbegreppet som genom uttalad New Public Management på universitetsledningsnivå skärpte kvaliteten på bred front. I Sverige har ju lärosätena aldrig behövts enas i dessa frågor eftersom de inte varit utsatta av politisk påtryckning på samma sätt som i Nederländerna. Trots det, skulle den minst sagt tydliga beställningen i det uppdrag som den borgerliga regeringen gav Vetenskapsrådet 2013 kunnat vara ett lämpligt startskott för en sådan sammanslutning − lämpligen ledd av Sveriges universitets- och högskoleförbund.

Bristen på samordning mellan de svenska lärosätena betyder inte brist på initiativ. Sedan cirka tio år tillbaka har en lång räcka lärosäten (se till exempel Göteborgs universitet, Mälardalens högskola, Uppsala universitet och Örebro universitet) genomfört egeninitierade kvalitetsutvärderingar av forskning med externa expertpaneler. KK-stiftelsen har också möjliggjort och finansierat utvärdering av forskning vid Högskolan i Halmstad, Högskolan i Skövde och Mittuniversitetet (ARC 13) enligt en modell som var gemensam för alla tre lärosätena.

Det finns sålunda erfarenhet av kvalitetsutvärdering av forskning vid svenska lärosäten. Men även om utvärderingarna har vissa likheter framstår den ändå som fragmenterad. Vad som skulle behövas för att stärka och kommunicera den akademiska legitimiteten framöver är att de svenska lärosätena enas om ett gemensamt utvärderingsprotokoll, liksom det som används i Nederländerna. Det skulle samtidigt leda till att lärosätena genom fortsatt internalisering bildar en samsyn på vad som utgör forskningskvalitet.

I förra bloggen (23 februari 2016) reflekterade jag över basanslagens roll i kunskapsöversikten om system för forskningsfinansiering och kvalitet som Expertgruppen för kvalitetsfrågor inom Sveriges universitets- och högskolors förbund publicerade nyligen (hittas på denna hemsida). I översikten finns också rekommendationer till regeringen inför kommande forskningspolitiska proposition. Nederländerna får stort utrymme i rapportens internationella utblick. Den forskningspolitiska styrningen i Nederländerna sker med hjälp av en fyraårig strategisk plan som är knuten till en övergripande vision. Planen har ett begränsat antal mål och till dessa kopplade åtgärder. Av särskilt intresse är att forskningsresurser inte är anhängiga prestationer samt följande åtgärd som kopplas till det tredje målet.

Ambition 3: The Dutch science is a breeding ground for talent.

The government wants talent in science even more have come into its own. This leads to a number of actions: 

• To reduce the pressure to publish (and acquire funding − som diskuterades I förra bloggen).

I Nederländerna finns alltså en syn som nästan är motsatsen till klyschan ”publish or perish” − och devisen ”hungriga vargar jagar bäst” beträffande externa medel. Forskarna vid de nederländska lärosätena ska således varken känna sig tvingade att publicera till varje pris eller vara alltför beroende av externa medel. Istället ska forskningsresultatens kvalitet vara ledstjärna. Kvalitet före kvantitet. Tankefiguren skulle kunna sammanfattas så här: hög kvalitet i forskning trivs bäst i en akademisk miljö präglad av arbetsro och långsiktighet.

Publiceringsstress, å andra sidan, kan hänga samman med för lite fasta ekonomiska resurser i forskningssystemet så till vida att publikationer kanske tvingas fram i försök att genom en bra ”track record” i CV:et öka chanserna att få nästa projekt externfinansierat. Andemeningen i den nederländska strategiska planen tampas lite varstans också med karriär- och meriteringssystemets övervärdering av en lång lista med vetenskapliga publikationer − en global företeelse, verkar det som.

Hur undviks då publiceringsstress och kan forskningssystemet locka fram en kärnfull vetenskaplig produktion? Vi vet att antalet vetenskapliga publikationer ökar i rask takt samtidigt som en del av dessa förblir ociterade även flera år efter publicering – en klassisk fråga om kvalitet versus kvantitet. Frågan är om Expertgruppens förslag till Regeringen att utreda om belöning av publikationsprestationer enligt norsk/dansk modell skulle vara saliggörande i det här fallet. Tänk om rekommendationen är ett uttryck för en övertro på sådana modellers styrningsförmåga på nationell nivå? Det finns anledning till att undersöka senare års utveckling av vetenskaplig produktion och citeringar i Sverige och i våra skandinaviska grannländer.

I den norsk/danska modellen belönas enbart antalet publikationer (inte citeringar). Beroende på hur statusfylld en publikationskanal anses vara – det är forskarsamhället som bestämmer nivåindelningen – får olika kanaler olika tyngd, liksom publikationsformen (artikel, monografi, bokkapitel). Det ligger nära till hands att kritisera tillvägagångssättet med en sådan subjektiv nivåindelning av publikationskanaler och -former. Och det är samtidigt bekvämt för de specialister som står för nivåindelningen av artiklar att väga in en tidskrifts Journal Impact Factor (JIF) för att få in någon sorts objektivitet i sammanhanget. Men vi får komma ihåg att JIF berättar enbart hur ofta en publikation i just den tidskriften är citerad i genomsnitt de senaste åren och säger därför inget om de enskilda publikationernas citeringar. The San Francisco Declaration on Research Assessment har av den anledningen avrått från användning av JIF vid mätning av såväl enskilda forskares meriter och forskningens genomslag i större sammanhang.

Erfarenheterna från Norge och Danmark visar att modellerna knappast förbättrat genomslaget i forskning. Norska ”tellekantsystemet” har visserligen inneburit en rejäl ökning av antalet publikationer men, som också konstateras i en utvärdering: “… it is less surprising that the indicator seems to have affected scale rather than impact. If the intention was to encourage publications of the highest possible quality, the design of the Indicator and its reward mechanisms would probably have been different.” Utvärdering av den danska modellen talar samma språk: “Verken i Norge eller Danmark har indikatoren hatt innvirkning på siteringshyppighet. Danmark er blant verdens mest siterte land, mens Norge har en stabil siteringshyppighet på et lavere nivå.”

I den svenska modellen belönas som bekant citeringar i Web of Science. Vetenskapsrådet konstaterar i Forskningens framtid! förvisso en något ökad citeringsgrad för svenska publikationer men också att antalet publikationer har ökat som en effekt av ”bland annat införandet av resursfördelningsmodellen 2009, vilken har gett tydliga incitament för lärosätena att maximera antalet publikationer till lärosätet.” Även den svenska modellen verkar således ha drivit på den vetenskapliga produktionen men utan att genomslaget ökat nämnvärt i någon generell utsträckning. Hur som helst verkar det inte vara någon större skillnad mellan den svenska och norska modellens beskrivning av vetenskaplig produktion på lärosätesnivå (Sandström och Sandström, 2008). Skillnaden ligger istället i att citeringar ger ett tydligt och svårmanipulerbart kvalitetsincitament. Men det är, som sagt, osäkert om den avsedda effekten har åstadkommits i Sverige som helhet. Det utesluter inte att enskilda lärosäten kan påverkas positivt. Malmö högskola, som använder den svenska modellen i den interna resursfördelningen av forskningsanslaget, har ökat såväl sin samlade produktion och citeringsgrad. Från att ha varit under världsgenomsnittet under de första åren då modellen var verksam har nu Malmö högskola en citeringsgrad på 1,06 i Vetenskapsrådets fördelningsunderlag 2016 (det vill säga en bit över världsgenomsnittet).

Med dessa tre skandinaviska erfarenheter kan man fråga sig om det finns en övertro på att det är möjligt att genom olika former av incitamentsstrukturer dirigera fram en förbättring av ett lands vetenskapliga position i världen? Nederländerna har som sagt en mer avslappnad och icke-kontrollerande hållning i denna fråga. Visserligen redovisas antalet publikationer i det nederländska Standard Evalution Protocol men där ska det också anges vilka fem publikationer som anses vara de mest framstående. Varken den vetenskapliga produktionen eller genomslaget i from av citeringar påverkar som sagt fördelningen av forskningsmedel mellan de nederländska lärosätena. Och, som också konstaterades i förra bloggen, verkar det gå bra för Nederländerna ändå − vilket det höga genomslaget för det landets vetenskapliga produktion visar.

Expertgruppen för kvalitetsfrågor inom Sveriges universitets- och högskolors förbund (SUHF) har nyligen publicerat en läsvärd kunskapsöversikt om system för forskningsfinansiering och kvalitet (hittas på denna hemsida) som också innehåller ett antal rekommendationer till regeringen nu lagom inför slutarbetet med kommande forskningspolitiska proposition. Översikten innehåller en internationell utblick där särskilt, det inom forskning framgångsrika, Nederländerna ges stort utrymme och framhålls samtidigt som ett föredöme (jmf. Öquist och Benner, 2012) på grund av den starka kvalitetskulturen där − som tycks ha gagnats av att utvärderingar sedan 2003 genomförs av lärosätena själva enligt ett överenskommet Standard Evaluation Protocol. Till skillnad från Vetenskapsrådets förslag FOKUS, som är färgat av tankefiguren bakom Storbritanniens Research Excellence Framework, påverkar det nederländska utvärderingsresultatet inte fördelningen av ekonomiska resurser mellan det landets lärosäten.

Resursfördelningen görs istället genom att deras regering förhandlar fram och träffar överenskommelser med varje lärosäte beträffande kommande års profilering och de stora dragen i verksamhetens utveckling. I Nederländerna sker den forskningspolitiska styrningen med ganska mjuk, men bestämd, hand i form av att en strategisk plan läggs fram vart fjärde år. Planen är knuten till en övergripande vision som innehåller ett begränsat antal mål. Dessa ambitioner kopplas en serie lite mer konkreta åtgärder. Av särskilt intresse för situationen i Sverige är en åtgärd som kopplas till det tredje (av tre) mål.

Ambition 3: The Dutch science is a breeding ground for talent. The government wants talent in science even more have come into its own (ungefär “komma till sin rätt”). This leads to a number of actions (varav denna är extra lovvärd):

 To reduce the pressure to … acquire funding.

Ljuv musik i många akademikers öron. Det kostar nämligen för mycket energi för den forskande personalen att skaffa pengar till sin egen och/eller andras forskning. Tävlingskostnaderna i ett system som i alltför hög grad bygger på externfinansiering riskerar att överstiga det mervärde som sund konkurrens kan ge. Externfinansieringen blir då moset och inte grädden på moset som den typen av finansiering bör vara. Projektmedel har dessutom en kort finansieringshorisont jämfört med basanslag; tre års projektperiod kan vara lång tid i sådana sammanhang. Dessa korta pengar skapar osäkerhet på flera sätt: en benägenhet hos lärosätena att föredra visstidsanställningar framför tillsvidareanställningar och erosion av basanslaget för fri forskning på grund av medfinansieringen av projekt som inte är fullkostnadsfinansierade.

Ett höjt basanslag för forskning skulle kunna råda bot på en del av dagens svenska problematik med de tidstjuvar inom forskning som är en följd av överdriven jakt på externa medel. SUHF rekommenderar i rapporten att riktmärket bör vara att 65 % av de samlade forskningsresurserna ska utgöras av basanslag. Malmö högskola är på samma linje i sitt inspel till forskningspropositionen där det föreslås att om inget ytterligare utrymme för forskningsresurser kan skapas, ska höjningen av lärosätenas basanslag ske på bekostnad av tilldelningen till de statliga forskningsråden. Men vägen är lång dithän. Anslagsmedel stod för 45 % av de svenska lärosätenas intäkter för forskning 2014. Motsvarande siffra för Nederländerna är enligt SUHF-rapporten ungefär 70 %.

En överslagsberäkning förklarar varför SUHF-rapporten förståeligt nog inte skyltar med vad detta skulle kosta. Högskolesektorns forskningsintäkter motsvarade 2014 totalt cirka 38 miljarder kronor vilket betyder att om finansieringen via basanslag ska höjas från 45 till 65 % motsvarar det en investering på hisnande 13 miljarder kronor om de externa medlen bibehålls på nuvarande nivå och även om tre miljarder kronor av de externa medlen överförs i denna beräkning från de statliga forskningsråden till basanslaget (en halvering av allokeringen till råden). Förra regeringarnas ovanligt kraftfulla satsningar på forskning under de två senaste forskningspolitiska perioderna (fem miljarder kronor 2009−2012 och fyra miljarder kronor 2013−2016) ter sig som milda västanfläktar i jämförelse. Med tanke på att budgetutrymmet för forskning förmodligen är mer begränsat än tidigare, främst på grund av den oroliga situationen i omvärlden, är en sådan höjning av basanslagen utopisk. Inom högskolesektorn konkurrerar denna fråga också med den högre utbildningens underfinansiering. Några större tillskott (om några) är därför inte att vänta i nästa forskningsproposition. En substantiell höjning av basanslaget för forskning är därmed tyvärr inte realistisk.

Och förresten, hur går det då för de Nederländska universiteten? Rankingtabeller av olika slag ska helst tas med en nypa salt och till skillnad från åsikterna i en insändare i Sydsvenskan bör den nationella forskningspolitiken inte enbart låta sig styras av en strävan att ha vissa av landets lärosäten bland de allra högst rankade i världen. Mönstret i Nederländerna är ett alternativ till detta synsätt. För att visa det måste vi (motvilligt) konsultera Times Higher Education World University Rankings 2015−2016. På deras lista har Nederländerna inget universitet bland de fyrtio bästa. Däremot hela åtta universitet på platserna 47 till och med 88. Gott så för Nederländerna, verkar det som.

Vetenskapsrådet (VR) fick i mars 2013 uppdrag av den förra (borgerliga) regeringen att föreslå en modell för resursfördelning till universitet och högskolor som innefattar sakkunnig granskning av kvalitet och relevans. Förslaget, FOKUS, publicerades i slutet av 2014. Regeringskansliet skickade rapporten på remiss i oktober 2015 och remissinstanserna svarade i januari 2016.

I Malmö högskolas yttrande avråds regeringen att införa FOKUS. Vi är inte ensamma om den uppfattningen. Faktum är att motståndet bland landets lärosäten är ganska kompakt (se till exempel svaren från Mittuniversitetet, Umeå universitet och Uppsala universitet). Andra organisationer, som Sveriges universitetslärarförbund och Universitetskanslersämbetet (UKÄ), vill inte heller ha FOKUS − men denna opinionsgrupp är inte riktigt lika homogen i frågan som lärosätena.

Kardinalfelet med FOKUS är att VR inte i tillräcklig grad har hörsammat lärosätenas autonomi i kvalitetsfrågor, till skillnad från UKÄ som i det nationella ramverket tydliggjorde lärosätenas kvalitetsansvar för högre utbildning. Men så var UKÄ:s förslag också framtaget i dialog med sektorn. Det är möjligt att VR hade samma ambition, men SUHF:s referensgrupp kastade in handduken i förtid när delaktigheten aldrig infann sig, vilket får den misstänksamme att undra om förslaget var ett beställningsjobb från den förra regeringen.

Malmö högskola och de andra remissinstanserna har en hel del andra kritiska synpunkter som bland annat rör Sveriges otydliga utvärderingslandskap; att det finns olika synsätt och granskningsmyndigheter för utbildning, forskning och samverkan. Många lärosäten har dessutom redan genomlyst sin forskningsverksamhet med hjälp av externa bedömarpaneler som granskar utvärderingsenheter som definieras av lärosätet i fråga. Utvärderingsresultatet har därmed större möjlighet att omsättas i lärosätets kvalitetsutveckling än det resultat som FOKUS-förslagets disciplinära indelning av forskningsverksamheten skulle ge – ett resultat tillika erhållet genom dubbelarbete. Olämpligheten att särskilja forskning och utbildning i utvärderingssamanhang har också påtalats eftersom FOKUS motverkar integrerad verksamhet.

Yttrandena innehöll mycket kritik, men inte alltid uppbygglig sådan. Enligt remissen skulle svaren innehålla synpunkter på hur andra system och processer som mäter lärosätens samverkan kan samordnas med FOKUS eller dagens resurssystem. Malmö högskola ställde sig positiv till att inkludera forskningssamverkan enligt förslaget, men på så sätt att regeringen avsätter en bestämd summa pengar att fördela enligt det betyg som ett lärosäte erhåller för sitt samlade forskningsgenomslag utanför akademin. Malmö högskola anser också att nuvarande resursfördelningssystem innehåller en god portion sakkunnig granskning som är mer svårmanipulerad, och därmed bättre, än det som VR föreslår. Dagens bibliometri-indikator behöver emellertid uppdateras. Precis som i inspelet till den forskningspolitiska propositionen, föreslår Malmö högskola i sitt yttrande angående FOKUS att nuvarande indikatormodell också behöver utvidgas och i framtiden även ta hänsyn till den högre utbildningens forskningsanknytning (utbildningsvolym) samt en effektivitetsbelöning (produktion och kvalitet) relativt det basanslag som ett lärosäte har.

Nu får vi se hur regeringen väger samman alla dessa yttranden – som trots allt pekar i en viss bestämd riktning. Kommande forskningspolitiska proposition (förväntad hösten 2016) ska ju innehålla ett ställningstagande till hur resursfördelningen av anslaget för forskning och forskarutbildning ska se ut i framtiden.