Hösten 2013 inledde Malmö högskola en intern utvärdering av de 15 forskarutbildningsämnen som ingår i de områden som Malmö högskola innehar examenstillstånd för. Formellt sett är det högskoleledningen, genom Forskningsberedningen, som är beställare och därmed också mottagare av utvärderingsresultaten. Utfallet av utvärderingen omsätts i åtgärder såväl på högskolegemensam nivå som på fakultets- och institutionsnivå.
Utvärderingen genomfördes enligt vissa överenskomna principer av en utvärderingsgrupp som bestod av fakulteternas studierektorer för utbildning på forskarnivå[1] samt doktorandrepresentation. Den studierektor och doktorand vars fakultet utvärderingen gällde, stod utanför just den utvärderingen. Ordförandeskapet cirkulerade så att alla studierektorer var ordförande en gång. En sådan inter-fakultär sammansättning av utvärderingsgruppen innebar att fokus var på de kvalitetsbärande strukturer som varje forskarutbildningsämne har och de processer som förknippas med varje ämne. En grannlaga peer review-granskning angående kvaliteten av den till avhandlingsdelen och forskarutbildningsmiljön knutna forskningen var således inte fallet.
En bärande tanke med denna utvärdering är att entusiasmera kvalitetsarbete genom att på ett kritiskt tillvägagångssätt granska forskarutbildningarnas förutsättningar för att hålla god kvalitet samt att genom självvärderingar och utfärdande av rekommendationer till förbättringar underlätta lärandet av varandra inom Malmö högskola beträffande kvalitetsfrågor som tillhör forskarnivån samtidigt som kvalitetsförbättrande åtgärder får tillfälle att genomföras. Eftersom frågor kring själva forskningsinnehållet inte ingick i utvärderingen, har de grundläggande förutsättningarna för forskarutbildningsämnen med vitt skilda inriktningar kunnat fokuseras. Genom ett sådant förfarande blev det tydligt att många av de grundläggande förutsättningar som olika forskarutbildningsämnen har, påminner om varandra och tillhör en problematik som ofta är gemensam för alla forskarutbildningsämnen. Likformigheten i vissa frågor understryks av högskoleförordningens relativt strikta reglering av utbildning på forskarnivån beträffande bland annat: antagning, studieplaner, handledning och examination. Det är således denna – ställvis nationellt såväl vid Malmö högskola reglerade – gemensamma bas för att bedriva högkvalitativ utbildning på forskarnivå som har varit föremål för granskningen.
Metoden för utvärderingen mejslades fram genom Forskningsberedningens försorg efter ett ursprungligt förslag av forskningskoordinator, som också var utvärderingens processledare. Som en del i framarbetandet av metoden utpekades utvärderingens aktörer och deras respektive roller definierades. Metoden tillkännagavs på den hemsida som skapades för utvärderingen.
En övergripande tidsplan för utvärderingen arbetades fram i dialog med fakulteternas representanter i Forskningsberedningen. I varje terminsstart gjordes ordningen upp för utvärderingens detaljerade aktiviteter under den kommande terminen med representanterna för forskarutbildningsämnena på ett sätt som gjorde att utvärderingen av utbildning på forskarnivå undvek att tidsmässigt kollidera med övriga åtaganden vid fakulteten. I samband med den terminsvisa detaljplaneringen höll externa föreläsare föredrag om frågor som är av betydelse för kvalitet i utbildning på forskarnivå för att inspirera kvalitetsarbetet vid Malmö högskola.
Utvärderingen bestod av följande komponenter (som presenteras nedan): självvärdering och övrigt underlag, hearing, rapport med rekommendationer samt åtgärdsprogram.
Självvärdering och övrigt underlag
Självvärderingen var central i utvärderingen. En bestämd disposition fanns som stöd för självvärderingarna i form av att olika aspekter av det aktuella forskarutbildningsämnet var avsedda att lyftas fram och tydliggöras: utbildningsprocessen, forskarutbildningsmiljö, handledning, publicering, internationalisering, rekrytering och karriärplanering samt ekonomi. I självvärderingen ingick också en SWOT-analys. För varje ämne utsåg fakulteten en självvärderingsgrupp som hade tre till fyra deltagare, varav en person ledde självvärderingen och dessutom var forskarutbildningsämnets kontaktperson samt också oftast ämnets företrädare. Vid sidan om självvärderingen tillhörde studiehandbok och allmän studieplan det ytterligare material som tillställdes utvärderingsgruppen. Självvärderingsgrupperna ombads även att inlämna exempel på kursplaner på forskarnivå samt tre på varandra följande individuella studieplaner för tre slumpvis utvalda doktorander.
Till underlaget hörde också Ladok-uppgifter om det antal doktorander som var antagna i respektive forskarutbildningsämne samt deras ålder, kön, aktivitetsgrad, studiefinansiering och år för antagning/examen samt namn på de kurser som doktoranderna har gått och hur många som gått dem. Därutöver fanns uppgifter från personalavdelningen om vilka lärare som genomgått utbildning för handledare på forskarnivå och om långtidssjukskrivning fanns registrerad bland ämnets doktorander.
Hearing
Utvärderingsgruppen höll tre separata typer av hearings med varje fakultet. En öppen hearing med fakultetens doktorander (två timmar) som fakultetens alla doktorander var välkomna till. Minst en doktorand från varje forskarutbildningsämne hade särskilt bjudits in av berörd studierektor och Doktorandkåren Malmö. En med forskarutbildningsämnets självvärderingsgrupp (två timmar) samt med fakultetens ledningsgrupp (en timme).
Med självvärderingarna och övrigt material som underlag, förberedde utvärderingsgruppen frågor inför hearingarna att ställas efter att en inte alltför rigorös rollfördelning hade gjorts upp men som ändå var baserad på självvärderingens disposition. Forskningskoordinator kommenterade hur nationella och lokala regler efterföljdes, såsom beslutsvägar och att alla doktorander hade minst en handledare (angiven i Ladok) och att minst en av handledarna för varje doktorand har genomgått handledarutbildning. Hearingarna leddes av den studierektor som var utvärderingsgruppens ordförande för fakulteten som granskades. Självvärderingsgruppen inledde vanligtvis hearingen med att lyfta fram några viktiga detaljer i självvärderingen. Hearingarna fördes som ett samtal och utgick från de frågor som utvärderingsgruppen hade med sig från början i kombination med dem som dök upp under samtalets gång.
Rapport med rekommendationer
Utvärderingsgruppen sammanställde en rapport för varje fakultet. Ordförande för respektive utvärdering var redaktör för rapporten. Varje rapport innehåller rekommendationer för den högskolgemensamma nivån och för fakultetsnivån. För varje forskarutbildningsämne finns därutöver en reflekterande och värderande beskrivning som utmynnar i ett antal ytterligare rekommendationer som rör just det ämnet. Innan rapporten överlämnades till högskoleledningen, fakultetsledningen i fråga samt till kontaktpersonerna för forskarutbildningsämnena och doktorandernas representanter, skickades ett utkast till kontaktpersonerna för berörda forskarutbildningsämnen för kontroll så att faktafel kunde rättas till. Ordförande för utvärderingen i fråga redogjorde för rekommendationerna i Forskningsberedningen i samband med överlämnandet. Rapporten publicerades på utvärderingens hemsida i den takt som de blev klara. Det var således ett medvetet val att vara öppen med utvärderingsresultaten.
Åtgärdsprogram
Varje rapports rekommendationer ledde fram till att ett åtgärdsprogram upprättades för att komma till rätta med de svagheter som konstaterats i rapporten. Studierektorn för den fakultet som utvärderingen gällde, presenterade fakultetens åtgärdsprogram i Forskningsberedningen; åtgärder på fakultetsnivå och åtgärder för varje forskarutbildningsämne. Rekommendationer till den högskolegemensamma nivån ackumulerades under utvärderingens gång och syntetiserades av Forskarutbildningsutskottet efter det att alla fakulteteters forskarutbildningar hade genomlysts. Varje åtgärdsprogram följs upp av Forskarutbildningsutskottet ungefär ett år efter att det blev känt i Forskningsberedningen.
Innan sommaren 2015 har ännu inte några åtgärdsplaner hunnit följas upp. Det högskolegemensamma åtgärdsprogrammet kommer att presenteras i Forskningsberedningen av vicerektor för forskning och forskarutbildning strax efter sommaruppehållet. Eftersom utfallet av åtgärderna kommer att redogöras för under höstterminen 2015 och vårterminen 2016 återstår därmed utvärdering av det konkreta resultatet.
Några reflektioner
Utvärderingar av det här slaget ska inte göras för ofta eftersom de är oerhört tidskrävande och för att forskarutbildning är en relativt långsam process. Men samtidigt är det också viktigt att konstatera att utvärdering är integrerat i det ordinarie arbetet och ska som sådant vara en naturlig del av den verksamhet som tillhör forskarutbildningen. Genom att det arbete som investerats i utvärderingen förhoppningsvis återvinns i form av förbättrad kvalitet, finns motiv för att genomföra en utvärdering av det här slaget. Sen hör det också till saken att de forskarutbildningsämnen som räknas till de senast erhållna examenstillstånden aldrig har utvärderats, samtidigt som de fortfarande är i en formativ fas, vilket gör att förändringar kan vara lättare att införa inom förhållandevis unga forskarutbildningsämnen än vid mer traditionstyngda forskarutbildningar. Men Malmö högskolas äldre forskarutbildningar har inte heller utvärderats under den senaste doktorandgenerationen, vilket ytterligare talar för att denna utvärdering genomfördes för hela högskolan. På det hela taget har utvärderingen, med undantag för smärre förseningar, gått planenligt.
Utvärderingsrapporternas rekommendationer avsågs att vara just rekommendationer och inte formellt bindande anbefallningar. Vissa gånger var det svårt att avgöra vilken nivå som borde ansvara för en bestämd åtgärd och överföringar av vissa rekommendationer gjordes unterwegs mellan fakultetsnivån och den högskolegemensamma. Hearing med just fakultetsnivån upplevdes därvidlag klargörande och infördes standardmässigt under utvärderingens gång. När utvärderingsgruppen har överlämnat rekommendationerna är det upp till mottagaren att värdera dessa rekommendationer i ljuset av den detaljkunskap om de lokala förutsättningarna att bedriva forskarutbildning som varje fakultet/institution besitter. Vissa rekommendationer kan därför betraktas som mindre relevanta eller inte möjliga att prioritera och behöver i sådana fall inte ingå i åtgärdsprogrammet. Motiven för att exkludera vissa av rekommendationerna i åtgärdsprogrammet bör emellertid vara tydligt uttalade.
Vid presentationerna av åtgärdsprogrammen framkom bland annat att flera svagheter som utvärderingsrapporterna gav rekommendationer om att åtgärda redan var kända vid fakulteten. Synpunkter från ”extern” part ansågs emellertid betydelsefulla i sådana fall eftersom de kunde ge extra kraft åt det förändringsarbete som rör just dessa frågor. Andra tillkortakommanden var däremot inte kända sedan tidigare och åtgärder för att komma till tals med dessa nyupptäckta brister kunde därmed nyansera och utöka förändringsarbetets repertoar. Tydliga tidsramar för åtgärdsprogrammets genomförande gjorde att genomförande och prioritering av kvalitetsarbetet underlättas.
Själva utvärderingsarbetet utvärderades fortlöpande genom att aktörerna vid den fakultet vars forskarutbildning blivit utvärderad samt doktorandrepresentanterna i utvärderingsgruppen skriftligen tillfrågades om genomförandet av utvärderingen passade utvärderingens mål – det vill säga att ”kontrollera att den forskarutbildning som Malmö högskola har examenstillstånd för visar tecken på hög kvalitet” – och om arbetet med självvärderingar och åtgärdsprogram hade varit mödan värt. I samtliga fall ansågs den använda metoden uppfylla de mål som satts upp för utvärderingen.[2] Vidare betraktades också det mödosamma arbete som lagts ner, speciellt på självvärderingarna, som en (nödvändig) investering för att utveckla forskarutbildningen i positiv riktning. Bland kommentarerna fanns också att det är för tidigt att uttala sig huruvida effekterna av åtgärderna har fått det genomslag som avsågs och att hearingen med doktoranderna kunde ha delats upp i flera hearingar.
Anledningen till att självvärderingen gjordes i en grupp – istället för att det finns en ensam ansvarig – är att minska personberoendet. En grupp kan också göra det lättare att få självvärderingen förankrad vid institutionen (motsvarande). Genom att en sammankallande för självvärderingarna är utpekad tydliggörs dessutom kontaktvägarna till alla forskarutbildningsämnen vid Malmö högskola. Det framkom emellertid att förankringsprocess och fördelning av arbetsuppgifter i samband med självvärderingen kunde skilja sig åt mellan självvärderingsgrupperna som också påpekade att de ekonomiska uppgifter som ingick som en del i självvärderingen inte alltid var lätta att få fram.
Forskarutbildningsutskottet roll i kvalitetsarbetet har tydliggjorts genom utvärderingen, bland annat genom att det är i den gruppen som åtgärdsprogrammen följs upp. Kvalitetsarbetet har därmed också synliggjorts på den högskolegemensamma nivån på ett annat sätt än tidigare. Malmö högskolas studierektorer har genom Forskarutbildningsutskottet också erhållit en mötesplats för överföring av goda exempel. Vidare deltar studierektorerna genom sin delaktighet i Forskarutbildningsutskottet i den viktiga tvåvägskommunikationen mellan forskarutbildningsämnena på respektive fakultet och den centrala nivån.
Det verkar som om den interna utvärderingen tillsammans med resultaten av pågående internrevisons genomgång av formalia (antagning, handledare, disputation och tillgodoräknande) har goda möjligheter att förbättra kunskapen på alla nivåer inom Malmö högskola i frågor som rör kvalitetsutveckling av forskarutbildning. Om en utvärdering liknande denna ska genföras i framtiden bör det övervägas huruvida externa peers kan fylla en funktion och hur formerna för deras insats i så fall ska utformas.
Förhållande till nationellt och lokalt ramverk
Höjd medvetenhet för kvalitetsfrågor i utbildning på forskarnivå kan också ses som en väl timad förberedelse inför Universitetskanslersämbetets (UKÄ) nationella utbildningsgranskning. Även om det inte är beslutat än, talar allt för att forskarnivån lyfts in i UKÄ:s nationella system för kvalitetsutvärdering av högre utbildning. Under 2015 genomför UKÄ en pilotutvärdering av ett begränsat antal forskarutbildningar enligt en metod som påminner om Malmö högskolas interna utvärderings. En stor skillnad är att i den nationella kvalitetsutvärderingen ges forskarutbildningsmiljöns omfattning och kvalitet ett betydligt större utrymme. Ifall förslaget om det nationella kvalitetssäkringssystemet för högre utbildning går igenom och genomförs i den takt som det är tänkt, har lärosätena att vänta utbildningsutvärderingar inom forskarnivån i en sexårscykel med början hösten 2016. Alla forskarutbildningsämnen (med en allmän studieplan och aktiva doktorander) planeras att ingå i den nationella utvärderingen.
I analogi med det nationella kvalitetssäkringssystemet, bör också Malmö högskolas lokala ramverk för kvalitetsarbete i utbildning på grundnivå och avancerad nivå (se projektdirektiv) öppnas för att omfatta även forskarnivån. Hänsyn måste emellertid tas till att forskarnivån skiljer sig från grundnivån och den avancerade nivån, bland annat genom att forskarutbildningen till stor del består av forskning och att utbildning på forskarnivå i hög grad är individualiserad.
[1] Eftersom professorskompetens i utvärderingsgruppen var att föredra, trädde ordföranden i Forskarutbildningsutskottet i detta utvärderingssammahang in i rollen som studierektor för forskarutbildningen vid Fakulteten för kultur och samhälle.
[2] Alla doktorandrepresentanter samt aktörerna vid Fakulteten för teknik och samhälle – som står för ett av de femton forskarutbildningsämnen som utvärderades – har ännu inte svarat.