Eftersom Vetenskapsrådet (VR) sedan 2009 tydligen inte har varit tillräckligt motiverat att utveckla kvalitetsindikatorn vetenskaplig produktion och citeringar för egen maskin, har VR på uppdrag med fem veckors varsel från regeringen lagt ett förslag till ny beräkningsformel för det bibliometriskta indexet (som lämnades in med deras sedan tidigare kända brasklapp att den bästa användningen av bibliometri i samband med fördelning av resurser är som komplement till peer review).
Den stora skillnaden jämfört med den befintliga modellen är bara topp 10 % citeringar räknas. Ändringen är vällovlig, inte minst med tanke på att den befintliga beräkningen kan ge alldeles för stora effekter även för stora lärosäten när enskilda mycket välciterade artiklar fasas ut från citeringsfönstret.
En annan avsevärd skillnad är att de 34 områdesnormalerna, som byggde på tidskriftsindelningen i Web of Science, byts ut i ett svep till nio ämnesområden − också de knutna till tidskriftsklassificeringen i Web of Science − som tilldelas de konkurrensutsatta medlen i proportion till andelen FoU-intäkter som dessa områden har enligt Statistiska centralbyråns två senaste tillgängliga omgångar med ekonomistatistik. (Se tabell nedan.) Anledningar till denna förändring är problem med att entydigt koppla samman forskare med publikationer i Web of Science och att VR anser att de beräkningsalgoritmer som ligger till grund för att skatta den vetenskapliga normalproduktionen med Waring-metoden är alltför skakiga.
I den justerade modellen tilldelas varje lärosäte ämnespoäng i proportion till hur mycket som lärosätet bidrar till landets universitets och högskolors topp 10 % citeringar inom detta ämnesområde. Lärosätets nya bibliometriska index är dessa ämnespoäng summerade över alla ämnesområdena (se räkneexempel i Tabell 3 på sidan 9 i förslaget).
Ämnesområdenas storlek skiljer sig markant åt; från 1,5 % (matematik) till 33,1 % (medicin och hälsa) och det är befogat att ställa frågan om inte indelningen kunde göras mer finfördelad. Det finns sannolikt skillnader i citeringsgrad inom de stora fälten medicin och hälsa samt teknik där trots allt goda citeringsresultat riskerar att diskvalificeras i den hårda TOP10-konkurrensen. För kan verkligen publiceringsklasserna ”Dentistry”, ”Oral Surgery & Medicine”, ”Nursing” och ”Health Care Sciences & Services” konkurrera på lika villkor med ”Cell Biology”, ”Neurosciences” och ”Cardiac and Cardiovascular systems”? VR kunde därför lagt ner extra ansträngning på att tentativt finfördela de stora ämnesområdena medicin och hälsa samt teknik och redovisat denna ansträngning, även om det inte låter sig göras lätt på så kort tid som tycks ha stått till förfogande. (Åtminstone odontologi kan förefalla vara lätt att isolera.) Språnget från 34 till 9 områden som indelningsgrund för publikationerna blir som sagt markant.
Ett annat alternativ som också borde testats och redovisats i deras PM är variera omfånget på det som anses som högt citerade artiklar till att inkludera hela övre kvartilen (TOP25), bland annat för att få ett större och därmed statistiskt säkrare underlag för landets mindre enheter. Som det ser nu kan enstaka TOP10-publikationer ge ett stort utslag i det nya bibliometriska indexet. I förslaget till fördelning 2017 har så många som elva högskolor mindre än 20 högt citerade artiklar och en enstaka artikel bidrar mellan 5 % och 16 % till indikatorutfallet. Slumpen kan få en stor inverkan på om dessa fåtal publikationer råka falla under eller passera över tioprocents-strecket. VR:s förslag löser därmed inte problematiken att enskilda publikationer riskerar att få stort genomslag – en osäkerhet som främst drabbar högskolelandskapets mindre enheter.
Till de mindre förändringarna som föreslås att ”Letter” stryks som dokumenttyp, att fraktionering sker per författare (istället för som tidigare på adress) och att universitetssjukhusens vetenskapliga produktion inkluderas i det lärosäte till vilket det är knutet.
Fördelning enligt det nya förslaget
VR har med dessa justeringar i modellen lämnat in ett alternativt fördelningsunderlag inför budgetpropositionen för 2017. (Se Excel-arket i högermarginal på deras hemsida: ”Fördelningsunderlag enligt justerad modell”.)
Naturligtvis finns det vinnare och förlorare med förslagets sätt att räkna jämfört med hur utfallet skulle se ut om den befintliga modellen används. Till de största vinnarna hör Chalmers tekniska högskola, Sveriges lantbruksuniversitet och Karolinska institutet. Och till de lärosäten som förlorar mest om förslaget skulle genomföras hör Södertörns högskola, Malmö högskola och Karlstads universitet men även Stockholms universitet.
Underlaget är för Malmö högskolas del som sagt inte trevlig läsning, för trots att det bara är åtta lärosäten som har en högre andel TOP10-artiklar, förlorar Malmö högskola bibliometriska marknadsandelar på VR:s nya sätt att räkna (det blev inte så illa som modelleringen i förslaget, se tabell 4 på sidan 11, men nästan). Malmö högskolas marknadsandelar skulle därigenom minska från 1,11 % (2016) till 0,79 % när två decimaler är med, vilket vore en rejäl minskning. Underlaget visar att Malmö högskola har 45 TOP10 artiklar (av landets 5 991); se tabell nedan för dessa artiklars fördelning mellan ämnesområden. Tyvärr kan vi enbart gissa oss till vilka artiklarna är eftersom VR inte lämnar ut mer information än vad de har på sin hemsida, vilket är synd för det skulle vara intressant att analysera TOP10-materialet. Och det är möjligt att ökad transparens också skulle öka tilltron till metodiken.
Tabell vars andra rad visar den procentuella fördelningen mellan ämnesområdena i VR:s nya bibliometri som bygger på SCB:s statistik över forskningsintäkter samt, på den tredje raden, det antal högt citerade (TOP10) artiklar (2011−2015) som Malmö högskola har inom respektive ämnesområde.
| Biologi | Fysik | Geovetenskap | Huma-niora | Kemi | Mate-matik | Medicin & Hälsa | Sam-hälls-veten-skap | Teknik |
| 11,4 % | 5,4 % | 2,6 % | 6,2 % | 4,0 % | 1,5 % | 33,1 % | 14,4 % | 21,4 % |
| 0 | 1 | 0 | 5 | 2 | 0 | 27 | 5 | 5 |
Fördelning enligt hittillsvarande sätt att räkna
VR har också räknat ut fördelningen enligt gängse metoden (Se Excel-arket i högermarginal på deras hemsida: ”Fördelningsunderlag för 2017”.)
Med detta sätt att räkna kommer Malmö högskolas marknadsandelar istället att öka från 1,11 % (2016) till 1,23 % (2017) när två decimaler är med. De enskilda publikationsklasser som bidrar mest till Malmö högskolas bibliometriska index är: ”Dentistry” (141); ”Humanities” (86); ”Education” (80): Social Science (78); Computer Science (66) och ”Health” (50).
Prognostiserade ekonomiska effekter
Med tanke på att insatsen som denna kvalitetsindikator har i den nationella ”tombolan” var nästan 1,3 miljarder kronor 2016 (för Malmö högskolas del var insatsen 14,9 miljoner kronor) betyder det att skillnaden mellan de två beräkningssätten (0,79 % minus 1,23 % = – 0,44 %) gör att Malmö högskola uppskattningsvis kommer att få nästan 5,5 miljoner kronor mindre i forskningsanslag 2017 om det nya beräkningssättet appliceras jämfört med om det befintliga används. Med tanke på att Malmö högskolas forskningsanslag bara är 137 miljoner kronor (2016) vore det ett rejält avbräck. Allt annat lika, kommer den justerade modellen således att betyda en avsevärd anslagsminskning jämfört med 2016 om förslaget genomförs, medan befintlig modell innebär att Malmö högskola fortsätter att ta bibliometriska marknadsandelar som arbetar i en positiv riktning och en fortsatt ökning av den indikatordrivna delen av forskningsanslaget.
Eftersom 2015 inte var ett bra år för Malmö högskolas andra kvalitetsindikator, externa medel, kommer sannolikt dessa marknadsandelar knappast att höjas.
Avslutande kommentar
Vetenskapsrådets justerade modell verkar inte vara helt genomarbetad eller förankrad. De problem med enstaka publikationer som den justerade modellen skulle lösa dyker istället upp på andra ställen. Det hade därför varit på sin plats att ett alternativ med en mer finfördelad indelning av vissa ämnesområden hade redovisats (alternativt att överge idén att använda FoU-intäkter som indelningsgrund) samt att TOP25 hade testats och redovisats. Ett införande bör avvakta en sådan redovisning.
Och förankringen: Nu återstår det att se om utbildningsdepartementet bestämmer sig för en remisshantering. Hinns en remissrunda överhuvudtaget med innan budgetpropositionen?
Men regeringen har ju satt kvalitetsfördelningen ur spel tidigare (senast till högskolornas och de nya universitetens fördel). Vi får se om något liknande sker även 2017, för allt pekar på att indikatorerna, i en eller annan form, kommer att användas vid resursfördelningen av forskningsanslaget mellan landets lärosäten till dess att ett annat system implementeras. Höstens forskningspolitiska proposition innehåller säkert ett och annat om den saken.