Forskningsbloggen

I början av juni var Åsa Lindberg-Sand och Anders Sonesson från Centre of Educational Development vid Lunds universitet här och berättade om utmaningar för kvalitet inom utbildning på forskarnivå. Timingen var bra, eftersom vi står just nu inför en intern utvärdering av vår forskarutbildning.

Deras ansats var att forskarutbildningen är akademins solar plexus i den meningen att forskarutbildningen är den högsta nivån inom högre utbildning och att examen från den reglerar inträdet till akademin. Forskarutbildningen fungerar också som en länk mellan utbildning på grundnivå och avancerad nivå och tillhörande forskning. Dessutom bidrar doktorander med en rejäl portion forskning till den samlade forskningen i Sverige (doktorander stod 2012 till exempel för mer än en tredjedel av Malmö högskolas forskningsvolym). Och forskarutbildningen står för föryngringen av både själva forskningen och av den forskande personalen, oavsett om forskningen sker inom eller utanför högskolesektorn.

Av dessa skäl är det viktigt att värna om kvaliteten genom hela forskarutbildningen, från rekrytering och antagning ända fram till och med examen. Samtidigt befinner sig som bekant forskarutbildningen i ett dynamiskt sammanhang; villkoren för den ändras kontinuerligt. Högskoleförordningen förändras emellanåt, finansieringsformerna varierar över tid och andelen doktorander från andra länder än Sverige växer. Att vara följsam med de förändrade villkoren samtidigt som höga kvalitetskrav uppfylls, ställer stora fordringar på oss som arrangerar forskarutbildning.

Även om det svenska systemet för fördelning av direktanslag för forskning och forskarutbildning genom de två så kallade kvalitetsindikatorerna har varit igång sedan budgetåret 2009, så uppkommer fortfarande frågor om hur detta system fungerar. Särskilt frågor om vetenskaplig produktion och citeringar (den andra är externa medel) är värda att reda ut. Därför denna text.

Bakgrund

Innan 2009 fick landets lärosäten sina direktanslag till stor del genom historisk hävd. Ibland förekom också politiskt motiverade tillskott, såsom satsningen på de nya universiteten. Inspirerat av hur andra länder hanterade resursfördelningen samt att den svenska tilldelningen kritiserades för att vara alltför konservativ och inte byggde på vad som anses vara akademisk kvalitet, föreslogs i ”Resurser för kvalitet” (SOU 2007:81) att med akademisk trovärdighet samt på ett transparent sätt införa ett belöningssystem för goda insatser med syfte att sporra Sverige som forskningsnation.

Regeringen satte ner foten i propositionen ”Ett lyft för forskning och innovation” (2008/09:50) och presenterade där två lika tungt vägande kvalitetsindikatorer; externa medel samt vetenskaplig produktion och citeringar. Dessutom, för att bland annat inte missgynna lärosäten med stor andel humanistisk och samhällsvetenskaplig forskning, infördes ytterligare vikter på lärosätesnivå för att jämna ut effekter som uppkommer genom att det finns skillnader i lärosätenas vetenskapliga profiler. Anledningen till denna kompensation är att alla forskningsinriktningar inte har lika lätt att få externa medel och att publiceringstraditionerna skiljer sig åt.

Indikatorn vetenskaplig produktion och citeringar

Införandet av indikatorn för vetenskaplig produktion och citeringar, är menat att ge tydliga incitament till lärosätena att öka kvaliteten och konkurrenskraften, även om ”Ett lyft för forskning och innovation” kunde varit explicitare i det fallet. Genom att öka antalet citeringar i välrenommerade internationella tidskrifter ska Sverige flytta fram sin position som forskningsnation. Frågan hur man mäter en sådan sak. I ”Ett lyft för forskning och innovation” föreslås att indikatorn ska innehålla en kombination av områdesjusterad vetenskaplig produktion och fältnormaliserade citeringar av publikationer i databasen Web of Science.

Följden av beslutet är bland annat att enbart de tidskrifter som indexeras i Web of Science – databaserna Science Citation Index, Social Science Citation Index och Arts & Humanites Citation Index; publikationskategorierna articles, reviews, proceeding papers och letters – är gångbara i sammanhanget. (Låt vara att denna databas växer hela tiden; över 13 000 tidskrifter är indexerade i dagsläget.) I Web of Science förs en tidskrift till en eller flera av över 200 tidskriftsklasser (mikroklasser). För den bibliometriska analysen slås dessa samman (genom analys av den samlade citeringstrafiken) till 34 makroklasser som representerar större forskningsfält med liknande publiceringsförhållanden. Indikatorn beräknas i regel som ett fyraårigt medelvärde.

Principer

En artikel hänförs till ett lärosäte genom författaradressen. En publikation och citering vägs relativt genomsnittet för det eller de publiceringsfält som tidskriften för publikationen förekommer i. Fält med hög artikelproduktion får därför till följd att fältets enskilda publikationer blir mindre värda än inom ett fält där produktionen är låg. Likadant förhåller det sig med antalet citeringar. Inom fält där den förväntade citeringsgraden är hög, väger varje citering mindre än inom fält där medelciteringsgraden är låg. Denna (fält)normalisering (se ”Resurser för kvalitet”, sidorna 389–443) gör alltså att produktion och citeringar från olika fält får olika vikter när varje lärosätes sammalagda värde (bibliometriskt index) kalkyleras. Avsikten är möjliggöra jämförelser över ämnesgränser.

Vetenskaplig produktion

Normaliseringen av den vetenskapliga produktionen sker genom att varje forskningsfält tilldelas ett referensvärde som räknas ut genom att estimera hur många artiklar en normalproduktiv (nordisk) forskare producerar inom fältet. Varje lärosäte erhåller därigenom ett värde på vad lärosätets vetenskapliga produktion av artiklar motsvarar i antal normalproducerande författare. Utgångspunkten är att antalet artiklar per författare följer en viss fördelning inom varje fält. Analys av denna så kallade ”Waring-fördelning” möjliggör skattningen. Produktionen inom varje fält divideras med motsvarande referensvärde. Exempelvis om referensvärdena för fysik, odontologi och sociologi är: 1,0; 0,5 respektive 0,2, väger en artikel i sociologi lika mycket som fem i fysik och två och en halv i odontologi. På så sätt kan ett lärosätes vägda artikelproduktion summeras fält för fält.

Citeringar

Citeringar mäter indirekt forskningens internationella genomslagskraft. Normaliseringen sker på artikelnivå. Varje enskild artikels citeringar jämförs med den internationella forskningens citeringsfrekvens inom fältets tidskriftsklasser. Citeringsgraden är antalet citeringar som artiklar inom ett fält har, dividerat med medelvärdet av antalet citeringar inom det fältet. Om kvoten är större än ”1” i ett fält, citeras artiklarna således mer än världsgenomsnittet; om den är lägre än ”1” mindre än världsgenomsnittet. För varje fält beräknas en vikt för att balansera olikheter i citeringsfrekvens så olika fält kan jämföras. Om vikterna för fysik, odontologi och sociologi är – till exempel – 0,5; 1,0 respektive 3,0, väger en citering inom tidskriftsklassen sociologi lika tungt som sex citeringar inom fysik och tre inom odontologi.

Fraktionalisering används, vilket betyder att om en artikel har gjorts i samarbete mellan, till exempel, tre lärosäten, tilldelas varje lärosäte 1/3 av artikeln. En artikel som är affilierad till enbart ett lärosäte väger alltså tyngre för det lärosätet än en som är gjord i samarbete med andra lärosäten. Självciteringar räknas inte.

Bibliometriskt index

Varje lärosäte tilldelas ett bibliometriskt index som är summan av produkterna av den vetenskapliga produktionen och citeringsgraden för varje fält för de artiklar som lärosätet står för i Web of Science. Sättet innebär att artiklar som inte citeras ej heller ger någon utdelning (om man multiplicerar ett tal med ”0” blir svaret alltid ”0”), vilket innebär att det bibliometriska indexet i grund och botten är en citeringsindikator.

Humaniora utgör ett undantag härvidlag eftersom endast normaliserad vetenskaplig produktion räknas i och med att citeringsgraden alltid sätts till ”1”. Anledningen är att citeringsdata inom humaniora får för högt genomslag på grund av relativt få citeringar. Utväxlingsgraden på artiklar inom humaniora blir därmed förhållandevis hög.

Vetenskapsrådet

Vetenskapsrådet räknar inför varje budgetproposition ut den vetenskapliga produktionen och citeringarna för varje lärosäte[1] (se tabell nedan).

Sammanfattning fördelningsunderlag för 2013
Lärosäte	Volym	Medel-citering	Bibliometrisk index	Andel
Uppsala universitet	5123.0	1.14	5050.6	12.54%
Lunds universitet	5599.2	1.14	5654.4	14.04%
Göteborgs universitet	3730.6	1.17	4101.5	10.18%
Stockholms universitet	3219.8	1.30	4123.2	10.24%
Umeå universitet	2530.2	1.06	2461.8	6.11%
Linköpings universitet	2385.6	1.08	2366.1	5.87%
Karolinska institutet	5479.8	1.28	5246.5	13.02%
Kungliga tekniska högskolan	3447.6	1.07	3095.3	7.68%
Chalmers tekniska högskola	2124.2	1.14	1837.8	4.56%
Luleå tekniska universitet	687.3	0.74	478.6	1.19%
Sveriges lantbruksuniversitet	2172.9	1.19	2198.5	5.46%
Karlstads universitet	298.8	0.74	293.1	0.73%
Mittuniversitetet	330.3	0.85	343.7	0.85%
Linnéuniversitetet	507.0	0.91	570.9	1.42%
Örebro universitet	436.5	1.09	603.4	1.50%
Blekinge tekniska högskola	128.4	1.10	162.4	0.40%
Högskolan i Jönköping	211.6	0.85	239.5	0.59%
Malmö högskola	273.3	0.76	249.6	0.62%
Mälardalens högskola	175.5	0.86	192.7	0.48%
Gymnastik- och idrottshögskolan	30.5	0.84	22.2	0.06%
Högskolan i Borås	127.0	0.64	81.7	0.20%
Högskolan Dalarna	86.3	0.93	81.5	0.20%
Högskolan på Gotland	13.8	1.17	25.3	0.06%
Högskolan i Gävle	119.8	0.73	130.4	0.32%
Högskolan i Halmstad	102.4	1.06	140.7	0.35%
Högskolan Kristianstad	66.0	1.23	82.6	0.21%
Högskolan i Skövde	138.3	0.92	137.3	0.34%
Högskolan Väst	47.0	0.67	41.4	0.10%
Södertörns högskola	138.0	0.97	268.1	0.67%
Totalt	39730.4	1.14	40281.0	100%

 I regeringens proposition ”Forskning och innovation” (2012/13:30) ges Vetenskapsrådet i uppdrag att utreda och lämna förslag till ett resursfördelningssystem som gör det möjligt att fördela direktanslaget med kollegial bedömning. En fördelning av resurser utifrån sådan bedömning kan dock inte vara aktuell att införa förrän tidigast 2018. I väntan på detta, dubbleras med början 2014 omfördelningen som kvalitetsindikatorerna står för.

Slutsats

För att en vetenskaplig publikation ska räknas in i kvalitetsindikatorn, krävs således att den tidskrift som artikeln är publicerad i finns indexerad i Web of Science. Vidare, för att den fraktionaliserade icke självciterade artikeln ska ingå i indikatorn ska den dessutom ha blivit citerad inom det fyraåriga citeringsfönstret.

Malmö högskola, då?

Det är upp till varje lärosäte att förhålla sig till den svenska modellen för (om)fördelning av det direkta statsanslaget. Malmö högskola har sedan 2010 i sin interna fördelning av statsanslaget för forskning rekonstruerat det nationella bibliometriska indexet för sina fakulteter och låtit det påverka den interna resursfördelningen. År 2013 fördelas drygt tre miljoner kronor på nyckeln bibliometriskt index. Omfördelningen kommer att femdubblas stegvis fram till år 2017. Därmed finns ett tydligt incitament för att Malmö högskolas medarbetare ska publicera sig i internationella tidskrifter. Malmö högskolas interna fördelningsmodell (Dnr. Mahr 20-2012/319) säger emellertid inget om att fakulteterna måste ta detta i beaktande i vidarefördelningen av anslaget till institutioner (motsvarande).

Det kan finnas anledning till att se över publiceringsstrategierna på olika nivåer inom högskolan i ljuset av vad som premieras, men med samtidig hänsyn till vad som är gångbart inom varje forskningstradition. Vi ska också veta att många indikatorer har – och kanske också ska ha – en begränsad livslängd. Denna redogörelse blir därför på ett sätt en ögonblickbild av hur situationen ser ut i slutet av 2012. Men det går inte att komma ifrån att nuvarande system gynnar en ökad internationalisering, vilket samtliga representanter för vetenskaplig produktion borde se som något positivt.

Benchmarking brukar innebära att man utvärderar sin verksamhet kvantitativt i förhållande till andra inom sitt verksamhetsområde. Denna benchmarking visar hur Malmö högskola står sig jämfört med andra lärosäten i Sverige i fråga om de nationella kvalitetsindikatorerna för forskning – externa medel och vetenskaplig produktion och citeringar (bibliometriskt index) – som används i fördelning av forskningsanslaget till landets lärosäten. Benchmarkingen (läs hela rapporten) redovisades i Forum för forskning på deras möte den 30 augusti 2012 och det är fjärde gången i rad som en sådan benchmarking görs för Malmö högskola.

Liksom vid förra benchmarkingen placerar vi oss på 18:e plats för båda indikatorerna men även om vi inte passerar något lärosäte, så har vi glädjande nog ökat våra indikatorutfall mer än genomsnittet för de 28 lärosätena som undersökningen omfattar.

Om motsvarande ranking görs med hänsyn till utväxlingen av vårt direktanslag för forskning förbättras båda placeringarna. Det betyder att vårt forskningsanslag förvaltas väl; vi är effektiva när det gäller att dra in externa medel, men också att anslaget ger förhållandevis bra utdelning i den vetenskapliga produktionen i form av publikationer.

När staten fördelar anslaget via indikatorerna i Budgetpropositionen så viktas lärosätenas mix av forskningsinriktningar i fördelningsmodellen för att inte diskriminera lärosäten med stor andel humaniora och samhällsvetenskap. Dessa forskningsinriktningar har som bekant inte lika lätt att attrahera externa medel som teknik och medicin. Så långt är allt väl. Men när viktkoefficienterna för Malmö högskola räknades ut i starten för detta resursfördelningssystem blev det inte alls bra. Regeringen utgick från hur anslaget fördelades i Budgetpropositionen sista gången då pengar öronmärktes till vetenskapsområden. Malmö högskola hade vid den tiden anslaget i två ungefär lika stora påsar; en för medicin (med vikten 1,0) och en för “övrigt” (med vikten 1,1). Vår samlade viktkoefficient sattes därmed till 1,05 (Se Tabell 3 i Benchmarkingen). Det är bara det att vår största del av verksamheten inom “övrigt” är humaniora-samhällsvetenskap som har vikten 2,0. En rättvisande samlad vikt för Malmö högskola borde därför ligga nära 1,5. Trots flera påpekanden från vår sida har den inte ändrats. Genom åren har vi gått miste om flera miljoner kronor i anslag på grund av detta. Därför ser vi fram emot att Anders Flodströms förslag i Prestationsbaserad tilldelning för universitet och högskolor genomförs så snart som möjligt, nämligen att underlaget till alla viktfaktorer fortsättningsvis ska hämtas från Statistiska Centralbyrån (i likhet med viktkoefficienterna för de högskolor som inte hade vetenskapsområde vid den tidpunkten då vikterna bestämdes).