Enligt stadgarna ska Mistra ”tillse att den forskning som stiftelsen stödjer utvärderas regelbundet” (§19).
Mistras forskningsprogram utvärderas på olika sätt och vid olika tillfällen. Utvärdering sker alltid vid ansökningsskedet och i slutet av programmets första fas (så kallad mid-term review). I vissa fall görs även ytterligare utvärdering av till exempel samhällsnytta eller kommunikation – ibland som en del av en tematisk utvärdering där flera program omfattas, ibland efter programmets avslut.
Syftet med utvärderingarna är att säkerställa kvaliteten på forskningsprogram och övriga satsningar som Mistra finansierar. Utvärderingarna ger styrelse och ledning viktiga beslutsunderlag.
Utvärderingarna har oftast formen av kollegial bedömning, så kallad peer review, där forskningens vetenskapliga kvalitet och samhällsnytta står i centrum. Även andra typer av utvärderingar förekommer, till exempel ledarskaps- och organisationsutvärderingar. Mistra utvärderar också sin egen verksamhet kontinuerligt, exempelvis kapitalförvaltning och kommunikationsinsatser.
Utvärderingskriterier
Mistra tillämpar följande kriterier:
- Ansats – I vilken mån programmet har en bärande och sammanhängande idé och innovativ inriktning. Hur välformulerade målen är samt hur väl de förväntade effekterna redovisas (inklusive indikatorer).
- Vetenskaplig kvalitet – Hur väl programmet svarar mot kraven på hög vetenskaplig kompetens, teoretisk höjd och metodologisk kvalitet.
- Nytta – Hur välutvecklad samverkan med användare av forskningsresultaten är (och förväntas vara) och vilka stödjande kommunikativa processer och metoder som används för att uppnå en effektiv implementering.
- Ledning och organisation – På vilket sätt programmet kommer att integreras i värdorganisationen, hur det kommer att styras och organiseras och med vilken grad av effektivt nyttjande av resurser.
Därutöver kan en utvärdering innehålla ett eller flera ad hoc-kriterier, till exempel ”bidrag till Sveriges konkurrenskraft” eller ”uppbyggnad av starka forskningsmiljöer”. Vid specialutvärderingar kan kriterierna vara annorlunda.
Forskningens samhällspåverkan
Det är svårt att förutse exakt vilka resultat ett forskningsprogram kommer att generera eller vilken samhällspåverkan forskningen leder till. I ett utvärderingsperspektiv är det dock viktigt att ändå försöka formulera antaganden om hur resultaten ska komma till användning. Alla ansökningar ska därför innehålla ett avsnitt om vilka samhällseffekter man förutser. På utvärderingsspråk brukar det kallas programteori eller effektlogik – man går längre än att bara mäta graden av måluppfyllelse.
De som lämnar in en ansökan till Mistra kan själva välja metod för att redovisa den tänkta effektlogiken, men här följer exempel på resonemang:
- Resultat – vetenskapliga artiklar, rapporter, policy briefs.
- Utfall – gemensam förståelse, systeminsikt, konsensus om karaktären hos ett problem.
- Samhällseffekter – kursändring, transformativ förändring, institutionalisering.
- Genomslag – långsiktiga samhällsförändringar.
Riktlinjer för utvärdering
Riktlinjer, så kallade Terms of Reference, tas fram för varje utvärdering. De ger bakgrund och syfte till utvärderingen och innehåller de utvärderingskriterier som ska tillämpas. Riktlinjerna beskriver utvärderingsprocessen som helhet, inklusive tidplan. Riktlinjerna tas fram av Mistras kansli och fastställs av vd, som också beslutar om utvärderingspanelens sammansättning.
Vill veta mer om Mistras utvärderingar, kontakta:
Johan Edman, programansvarig Mistra
johan.edman@mistra.org