Styrings- og evalueringsopskrift på rejse

Indledning

Mål- og resultatstyring af offentlige organisationer blev, sammen med kontraktstyring, indført med implementeringen af de forvaltningspolitiske reformer i 1980’erne og 1990’erne og er sidenhen i stigende grad blevet institutionaliseret og udbredt som et centralt styringsredskab i forholdet mellem det ministerielle niveau og de statslige institutioner (Hansen, Kristiansen & Sørensen, 2014, s. 327). Udviklingen beskrives tydeligt med stigningen i antallet af resultatkontrakter fra 10 i 1992 til 121 i 2009 (Hansen, Kristiansen & Sørensen, 2014, s. 327), i samme periode har mål- og resultatstyringssystemerne fundet vej ind i de videregående uddannelser, ligesom omfanget af styringsområder og antal af indikatorer i disse systemer det sidste årti er steget på universiteterne og professionshøjskolerne.

Styringen af de forskningsbaserede universitetsuddannelser har i dag ændret karakter fra tidligere at have været underlagt en form for selvstyring til en ny form for styring i spændet mellem decentralisering og centralisering (Kristensen, 2007, s. 13). I forbindelse med den ny universitetslov i 2003 blev universiteterne nu betragtet som ’selvejende institutioner’ inden for den offentlige forvaltning under tilsyn af ministeriet. De tidligere former for selvstyre blev derved afløst af en ny form for operativ autonomi. Universiteterne skulle nu i form af udviklingskontrakter med ministeriet for en årrække forpligte sig på at levere bestemte resultater, der skulle kunne kontrolleres og evalueres både kvantitativt og kvalitativt (Kristensen, 2007, s. 13–14).

I forbindelse med ændring i professionshøjskoleloven og en tildeling af en relativt lille bevilling fra ministeriet fik professionshøjskolerne i 2013 en ny forpligtelse til at foretage praksisnære og anvendelsesorienterede forsknings- og udviklingsaktiviteter til styrkelse af videngrundlaget i uddannelserne. På den baggrund opstod et nyt behov for styring og kvalitetssikring af forsknings- og udviklingsområdet i professionshøjskolesektoren, der skulle fungere som et supplement til den enkelte professionshøjskoles konkrete resultatafrapporteringer i udviklingskontrakten med ministeriet. Svaret på dette behov blev et såkaldt videnregnskab, som var en velafprøvet metode, der skulle fungere som et supplement til det finansielle regnskab, og som Ministeriet for Videnskab, Teknologi og Udvikling i 2002 anbefalede til både offentlige og private virksomheder (Ministeriet for Videnskab, Teknologi og Udvikling, 2002).

På universiteterne kom en ny resultatbaseret basisbevillingsmodel til i 2010. Det nye ved modellen var den såkaldte bibliometriske forskningsindikator (BFI). Implementering af modellen blev fra start omtalt som ”en konfliktfyldt affære” (Schneider & Aagaard, 2012). Sidenhen er bekymring og kritik fortsat blevet rejst i debatter og nationale fagudvalg, ligesom der er udarbejdet forskning med fokus på negative utilsigtede konsekvenser ved modellen og utilstrækkelige processer. Kritikken af modellen på forskningsområdet har primært omhandlet, at den bibliometriske forskningsindikator har negative implikationer, herunder at indikatoren imod alle anbefalinger bruges som internt ledelsesredskab på det enkelte universitet (Aagaard, 2011; Mouritzen et al., 2018; Andersen, 2017, s. 175). Det har desuden været kritiseret, at modellens vægtning af den bibliometriske forskningsindikator fikserer blikket på specifikke autoriserede publiceringskanaler, hvilket er begrænsende for forskningsfriheden (Andersen, 2017, s. 175). Sidst, men ikke mindst, har brugen af modellen som et internt styringsredskab i institutionerne været kritiseret for at bidrage til udbredelse af en tvivlsom forskningspraksis, der kan skabe problemer med forskningsintegriteten (Petersen, 2016; Friis, 2011). På den baggrund udsendte et ekspertudvalg, som var udpeget fra Uddannelses- og Forskningsministeriet, i marts 2019 en rapport med forskellige forslag til en ny resultatbaseret fordelingsmodel, hvori BFI udgår som indikator (Uddannelses- og Forskningsministeriet, 2019).

Gennem et studie af oversættelser og materialiseringer af den nye styrings- og evalueringsopskrift i professionshøjskolesektoren beskriver jeg med afsæt i skandinavisk ny institutionel teori denne proces. I artiklen tages afsæt i en personlig undren over, hvorfor forsøg på styring og evaluering af forskning og udvikling på professionshøjskolen ser ud, som den gør.

Min undren bevægede sig hurtigt i retning af spørgsmålet om, hvorfor et relativt komplet og detaljeret styrings- og evalueringskoncept baseret på nøgletal blev indført på forskellige niveauer af professionshøjskolesektoren uden en eksplicit begrundelse i en intern anvendelse af evalueringen til at højne kvaliteten, uden et veldefineret krav om afrapportering på alle disse nøgletal til det ministerielle niveau, og uden at en bredere debat om evalueringens mængde af indikatorer og deres indhold fandt sted i sektoren. Denne undren blev vakt, da jeg som konsulent skulle understøtte evalueringsprocessen på en professionshøjskole i 2017 og 2018. Evalueringsprocessen blev dog først efterfølgende genstand for et studie og er altså skrevet ud fra et forskningsperspektiv. I artiklen undersøger jeg, om der implicit er forbindelse mellem idéindhold og form på de to forskellige styrings- og monitoreringsværktøjer: BFI-moddelen og Videnregnskabet. Erkendelsesinteressen retter sig mod de ubemærkede og uformelle spejlinger og inspirationer, som forekommer at være på spil i udviklingen af modeller for styring og monitorering af forskningsområdet. Ambitionen er her at synliggøre og nuancere forståelsen af, hvordan forskning og udvikling evalueres og styres i professionshøjskolen på den måde, den gør.

Efter en introduktion til det metodologiske og teoretiske afsæt kommer først et baggrundsafsnit om BFI-modellen, som siden 2010 er blevet brugt af ministeriet til fordeling af basismidler til forskning til universiteterne. Herefter præsenteres artiklens to analytiske nedslag i afsnittene ’Indrejse i Professionshøjskolesektoren: oversættelse til et Videnregnskab’ og ’Indrejse i en professionshøjskole - oversættelse til et resultatorienteret evalueringskoncept’, hvorefter artiklen afrundes med en konklusion.

Metode og empirisk materiale

I artiklen spores en styrings- og evalueringsopskrift fra universitetssektoren til professionshøjskolesektoren og ned i en enkelt professionshøjskole med afsæt i translationsteorien. Der foretages to analytiske nedslag, først i professionshøjskolesektoren på niveauet af sektorens interesseorganisation og siden i en professionshøjskole. Erkendelsesinteressen retter sig mod at karakterisere oversættelser (translation) af en evalueringsopskrift som et væsentligt aspekt af en proces for institutionalisering af forskning i professionshøjskolen og sektoren.

Begreber

Centralt i artiklen står begreberne styrings- og evalueringsopskrift¹ og interorganisatorisk felt, som er hentet fra ny-institutionel teori og organisationssociologi. I det interorganisatoriske felt indgår de konkurrerende organisationer, som har samme opgaver og fagområde, men derudover også den involverede del af statsapparatet. Beslægtede termer såsom styringskoncept, ledelsesredskab og evalueringsværktøj anvendes også i artiklen. Med inspiration fra policyanalyser og diskursanalyser, der studerer ”soft governance”, har jeg en bred tilgang til styrings- og evalueringsopskrifter, der indbefatter både såkaldt ”hårde” resultatbaserede fordelingsredskaber og såkaldt ”bløde” selvinitierede analyse- og monitoreringsmetoder. Artiklens analytiske begreber præsenteres i det næste afsnit om translationsteori.

Derudover forekommer der i selve analysen en række evalueringstekniske og faglige begreber, som typisk stammer fra politiske dokumenter, og som de færreste i organisationen nok i virkeligheden forstår. Det gælder f.eks. begreberne videngrundlag, uddannelses- og praksisimpact, baseline, monitorering, benchmarking og indikator.²

Forskerens rolle og min undren

I artiklen tages, som sagt, afsæt i en personlig undren over, hvorfor forsøg på styring og evaluering af forskning og udvikling på professionshøjskolen ser ud, som den gør. Analysen er desuden informeret af min egen praksis som konsulent med konkrete opgaver såsom at sende evalueringen ud i hele organisationen, samle og kvalitetssikre data og nøgletal fra fagmiljøerne, vurdere og beregne kvalitative og kvantitative scoringer med afsæt i mål og vurderingsnøgle og, sidst men ikke mindst, at formidle resultater i skemaer.

Empirisk materiale

Artiklen baserer sig på en analyse af politisk godkendte styringsdokumenter, som på forskellig vis fastslår og beskriver en ny evalueringsopskrift inden for forsknings- og udviklingsområdet. Dokumenterne har deres ophav i to forskellige autoritative centre i professionshøjskolesektoren, nemlig interesseorganisationen Danske Professionshøjskoler og Rektorkollegiet bestående af rektorer fra alle professionshøjskolerne.³ Der er tale om offentliggjorte dokumenter, som kan downloades fra internettet, dog med undtagelse af FoU-evalueringen fra 2017 og 2018 fra den professionshøjskole, jeg arbejdede på. Denne er så vidt vides ikke offentliggjort.⁴ Der findes en komplet liste over det empiriske materiale under artiklens referencer. Med afsæt i oversættelsesteorien har jeg i artiklen afholdt mig fra at analysere de politiske processer og aktørernes bagvedliggende politiske motiver, interessekonflikter og kampe. Derimod stilles i artiklen skarpt på oversættelse som en tilgang til forandring, der opstår i en lokal idé, som oversættes til en organisations og et antal menneskers egne anvendelsesområder.

Introduktion til artiklens to analytiske nedslag og interorganisatoriske felt

Artiklens første analytiske nedslag omhandlende evalueringsopskriftens indtog og oversættelse i professionshøjskolesektoren baseres på centrale dokumenter med hovedvægt på dokumentet ’FoU Baseline rapport’ fra 2013. Det er en rapport, der udspringer fra en aktiv styregruppe bestående af rektorer, prodekaner og uddannelsesdirektører fra en lang række professionshøjskoler, som var dybt involveret i udarbejdelsen af evalueringsopskriften. Intentionen i artiklen er at undersøge, hvorfra den besluttede evalueringsopskrift, som med rapportens offentliggørelse blev fremlagt i august 2013, fremkom, og hvordan monitoreringsopskriftens idé og elementer havde forbindelse til eksisterende styrings- og evalueringskoncepter i det organisatoriske felt.

I artiklens andet analytiske nedslag undersøges forbindelsen fra en ny evalueringsopskrift til evaluering af forskning og udviklingsaktiviteter, der blev udrullet i en enkelt professionshøjskole i 2017 til 2018 til professionshøjskolesektorens Videnregnskab. Den udvalgte professionshøjskoles nye evalueringskoncept er ikke repræsentativt for de måder, hvorpå evaluering af forskning og udvikling er blevet grebet an på de øvrige af landets professionshøjskoler. I artiklens andet analytiske nedslag undersøges idé, elementer og rationaler i professionshøjskolens evalueringsopskrift og deres forbindelse til sektorens videnregnskab. Samtidig undersøges det, i hvilken grad ensartetheden i den konkrete organisering på den enkelte professionshøjskole har betydning for, hvorvidt og hvordan der kopieres idéer og elementer fra en styrings- og evalueringsopskrift i det organisatoriske felt.

Artiklen indledes med at spore evalueringsopskriften tilbage i tid og sted til en styringsmodel, som siden 2010 har været anvendt til fordeling af basismidler mellem universiteterne. I dette baggrundsafsnit inddrager jeg eksisterende forskning og andet skriftligt materiale til bredere informering. Den bibliometriske indikator (BFI) tildeles lidt større opmærksomhed end de øvrige indikatorer i modellen. Baggrunden for det er, at den bibliometriske forskningsindikator er det nyeste og mest kontroversielle styringselement i universitetssektoren, og at indførelsen af det fra starten skabte debat og kritik, ikke mindst fordi indikatoren er målrettet en kvalitativ ændring i målingen af forskernes forskningsadfærd. For denne artikel er valget om at prioritere et afsnit med forskningslitteratur om den bibliometriske forskningsindikator først og fremmest begrundet i, at indførelse og udbredelse af indikatoren netop skabte en debat og kritik i universitetssektoren, som interessant nok ikke er blevet overtaget i professionshøjskolesektoren.

Figuren viser organisationsfeltet for artiklens tre centrale styringskoncepter inden for forsknings- og udviklingsområdet, illustreret med tidslinje og fordelt i to sektorer.

De tre styringskoncepter virker inden for samme interorganisatoriske felt. I artiklen analyseres oversættelse og rekonstekstualisering af evalueringsopskriften i de to udvalgte analytiske nedslag, som er markeret i figuren med en stjerne. Institutionernes relation til statsapparatet – direkte i BFI-Modellen eller mere indirekte i Videnregnskabet – og evalueringen i den udvalgte professionshøjskole er medtaget i artiklens analyse, men er ikke tegnet ind i overbliksfiguren.

Afgrænsning af feltet og begrundelse for valg af analytiske nedslag

Det første nedslag i 2013 er valgt, fordi der her blev skabt en ny evalueringsopskrift i professionshøjskolesektoren, som blev gentaget og indoptaget i praksis. Her er fokus på rationaler bag og konkrete udformninger af sektorens videnregnskab, som det blev artikuleret i 2013. Med dette valg sker også et fravalg i forhold til spørgsmålet om, hvorfor dette sker netop i 2013 og med hvilke begrundelser, hvilket jeg i analysen kun berører forbigående med en fodnote om, at OECD udkommer med en rapport om forsknings- og udviklingsimpact samme år. I et videre studie vil det være interessant at forfølge det transnationale spor i analysen af oversættelser. Med den i artiklen valgte metodiske ramme er fokus afgrænset til et nationalt perspektiv inkluderende et interorganisatorisk felt bestående af universitetssektoren, ministeriet og professionshøjskolesektoren.

Valget af artiklens andet analytiske nedslag, dvs. indførelse af et nyt evalueringskoncept i en konkret professionshøjskole i 2017 og 2018, udspringer af min personlige tilstedeværelse og undren som medarbejder i netop denne organisation på dette tidspunkt. Den specifikke professionshøjskole er dog samtidig et godt valg, fordi videnregnskabets indikatorer i netop dette evalueringsdesign tildeles en iøjnefaldende central plads, modsat det man ser i andre professionshøjskolers løsninger – her er for eksempel universitetsforskningens traditionelle kvalitetssikringsmetode, fagfællebedømmelse, evalueringens omdrejningspunkt.

Baggrund – fordeling af basismidler i universitetssektoren (BFI-modellen)

Det nye resultatmålingsredskab til brug ved beregning af finanslovsbevillingerne til universiteterne, de såkaldte basismidler, blev besluttet i forlængelse af Globaliseringsstrategien i 2006 (Budtz Pedersen, 2017). Idéen med en ny resultatstyringsmodel var at styrke forskningens samfundsnytte ved at skabe ”sund konkurrence” mellem universiteterne (Budtz Pedersen, 2017, s. 4; Mouritzen et al., 2018, s. 17). Der gik adskillige år, hvor der kom forslag til flere forskellige indikatorer, der alle blev afvist. Kritikpunkterne var mange, herunder at modelforslagene ikke tog højde for forskelle på tværs af fag. I 2008 mundede tovtrækkeriet ud i, at beslutningen om at vedtage den endelige model flyttede fra det ministerielle og universitære niveau til den politiske forligskreds bag globaliseringsaftalen (Aagaard, 2011, s. 397). Resultatet af forhandlingerne om forslag til en ny model blev, at alle de øvrige elementer, der var tænkt sammen med indførelsen af den bibliometriske forskningsindikator (BFI), blev taget ud af forslaget, og man endte i en model, der nøjedes med at tilføre den eksisterende model en fjerde dimension, BFI, i tillæg til de tre eksisterende (uddannelse, ekstern finansiering og ph.d.-produktion). Vægtningen mellem de allerede eksisterende dimensioner var uddannelse 50 procent, ekstern finansiering 40 procent og ph.d.-produktion 10 procent. Over en indfasningsperiode fra 2010 til 2012 skulle det lande på en ny vægtning, henholdsvis: uddannelse 45 procent, ekstern finansiering 20 procent, ph.d.-produktion 10 procent og den bibliometriske forskningsindikator 25 procent (Schneider & Aagaard, 2012, s. 242; Friis, 2011, s. 103).

BFI-systemet bygger på, at alle forskere ved universiteterne årligt indberetter, hvad de har publiceret i en central database, som vedligeholdes af ministeriet. Hver publikation giver et vist antal point, og de 25 procent af basismidlerne fordeles på baggrund af, hvor mange point institutionen har opnået. Antallet af point afgøres ved autoritetslister over pointgivende serier og tidsskrifter, der vurderes til at publicere peer reviewed forskning. Autoritetslisterne vedligeholdes løbende og kan tilgås på ministeriets hjemmeside. I 2017 indgik 23.000 tidsskrifter og 13.000 forlag. Med den bibliometriske forskningsindikator var målet at lave et automatiseret outputmål, der afspejlede værdien af det, der kom ud af ressourceforbruget, sådan at man med et BFI-pointsystem i bedste fald ville kunne se, hvor samfundet fik mest for pengene (Andersen, 2017, s. 172–174).

Indrejse i professionshøjskolesektoren: oversættelse til et Videnregnskab

Det første Videnregnskab for professionshøjskolesektoren blev offentliggjort i 2013 i forbindelse med, at professionshøjskolerne for første gang modtog en egentlig forsknings- og udviklingsbevilling på ca. 273 millioner kr., de såkaldte Frascatimidler, som skulle fordeles blandt landets syv professionshøjskoler (Danmarks Evalueringsinstitut, 2017, s. 21).

Hermed blev Forskning og Udvikling (FoU) og forskningspligt en integreret arbejdsopgave i professionshøjskolen (Danske Professionshøjskoler, 2013, s. 2). Samme størrelsesorden på basisbevillingen er sidenhen i store træk videreført. Fordelingen følger en fastsat fordelingsnøgle, hvor størstedelen af midlerne fordeles baseret på årsværksaktivitet, og en mindre del fordeles til professionshøjskoler med lærer- og pædagoguddannelser. Dertil kommer også eksterne finansieringskilder i form af konkurrenceudsatte midler, som i 2016 tilsammen udgjorde 118 mio. kr. på professionshøjskolerne. Til sammenligning fik universiteterne i 2015 og 2016 ca. 9,7 mia. kr. i basistilskud til forskning samt ca. 7 mia. kr. i eksterne midler (Danmarks Evalueringsinstitut, 2017, s. 21). Til afklaring af, hvor meget FoU-aktiviteten fylder samlet set på professionshøjskolen, viser et gennemsnit for hele sektoren, at niveauet er ca. 11 FoU-årsværk pr. 1000 STÅ gældende for årene 2014, 2015 og 2016 (Danske Professionshøjskoler, 2017, s. 38), altså pr. 1000 studerende som på årsbasis er kommet gennem uddannelsernes eksaminer. På den baggrund ses, at det, som videnregnskabet holder øje med og optæller volumenmæssigt, dækker et meget lille område inden for en større produktion af uddannelse i professionshøjskolesektoren.

I dekontekstualisering af universitetsverdenens BFI-model i professionshøjskolesektoren kopieres de tre kategorier: Ekstern finansiering, antal undervisere med ph.d.-grad og den bibliometriske forskningsindikator. Uddannelseselementet er fratrukket, da rekontekstualisering i forbindelse med etablering af videnregnskabsmodellen i 2013 og frem til i dag har eksklusivt omhandlet forsknings- og udviklingsaktiviteter i professionshøjskolen og har altså ikke inkluderet nøgletal om uddannelse.

I rekontekstualisering af indikatorerne i det første videnregnskab i 2013 blev de tre kategorier fra BFI-modellen til nye termer:

• Forskningsaktivitet og ressourcer: antal medarbejdere med ph.d.-grad, FoU-aktive medarbejdere, FoU-årsværk og ekstern finansiering.
• Medarbejderkompetencer: medarbejdere med ph.d.-grad eller tilsvarende, antal medarbejdere, som publicerer forskning uden at have en ph.d.-grad.
• FoU-publikationer: bøger, artikler, konferencer og andre bidrag til autoritetslisten, som giver point i BFI-systemet og liste anerkendt af UC Videns kvalitetsudvalg.
• Innovation og videnomsætning: lærebøger, bachelorprojekter og undervisningsmateriale.

(Danske Professionshøjskoler, 2013b, s. 4–7).

Da professionshøjskolesektoren i 2012 fik udsigt til en FoU-bevilling året efter, initierede professionshøjskolernes rektorkollegium projektet ’FoU Baseline’ til udvikling af: ”[…] en ramme for professionshøjskolernes FoU-performance” (Danske Professionshøjskoler, 2013a, s. 3). Med projektets etablering af en ’baseline’ ønskede man at:”[…] imødekomme krav og forventninger i Uddannelsesministeriet og blandt professionshøjskolernes interessenter” (Danske Professionshøjskoler, 2013a, s. 3). Etablering af videnregnskabet var inden for denne logik således et svar på et behov for at overvåge og styre resultaterne på forsknings- og udviklingsområdet, som var aktualiseret i forbindelse med modtagelse af finanslovsmidler til forsknings- og udviklingsaktiviteter. I FoU-baselinerapporten, der er det politiske forarbejde bag indstillingen til det første videnregnskab, nævnes følgende tre hensyn vedrørende valg af indikatorer i videnregnskabet:

1. De skal være socialt robuste.
2. Indsamlingen af data skal lægge beslag på så få ressourcer som muligt.
3. Indikatorerne skal give et retvisende billede af værdiskabelse i sektorens videnproduktion.

(Danske Professionshøjskoler, 2013a, s. 6–7).

Det forekommer nærliggende for professionshøjskolerne, at der kigges mod universiteternes eksisterende bevillingsmodel i valget af kvalitetsindikator på forskningsområdet. Med Røviks begreb similarity kan spørges til, hvor meget kerneopgaver og mål ligner hinanden i de to kontekster, altså universiteternes og professionshøjskolernes. Begge parter er videregående uddannelsesinstitutioner og får bevilliget midler til forskning fra ministeriet, men det er nyt, at også professionshøjskolerne siden 2013 har fået tildelt en forskningsbevilling på finansloven. Magtforholdet mellem universiteterne og professionshøjskolerne er præget af professionshøjskolernes afhængighed i forhold til ph.d.-uddannelse og øvrigt samarbejde om forskningsprojekter. Powell & DiMaggio peger i den forbindelse på, at:

”The greater the dependence of an organization on another organization. The more similar it will become to that organization in structure, climate, and behavioral focus”.

(Powell & DiMaggio, 1986, p. 74).

Vi kan forstå valget af at rekontekstualisere indikatorer fra BFI-modellen som resultat af en oversættelse, hvor professionshøjskolerne er afhængige af universiteterne og imiterer universiteterne på forskellige måder. Ministeriet formulerede i et notat til rammesætning af puljemidlerne, at de anså ph.d.-uddannelse som den første naturlige fase i professionshøjskolernes arbejde med forskning og udvikling (Danmarks Evalueringsinstitut, 2017, s. 24) Hermed kan ph.d.-studerende være tilknyttet en professionshøjskole med vejleder osv., men skal også være tilknyttet en ph.d.-skole på et universitet. Ligeledes vil nogle private fonde stadigvæk have en forventning om, at forskningsprojekter gennemføres i tæt samarbejde med et universitet som en garant for såkaldt ’forskningshøjde’, dvs. en høj forskningskvalitet (Danmarks Evalueringsinstitut, 2017, s. 32). Det må forventes, at afhængigheden af universiteterne de første år var større, end den er i dag, hvor professionshøjskolernes og universiteternes interesseorganisationer har fået landet en aftale om styrket fokus på samarbejde om ph.d.-uddannelse (Danmarks Evalueringsinstitut, 2017, s. 32). Desuden har de private fonde fået lejlighed til at gøre sig bekendt med professionshøjskolernes anvendelsesorienterede forskning og ønsker samtidig at indtage rollen som strategiske partnere, der udpeger samarbejdspartnere til gennemførelse af projekter, der løser komplekse samfundsudfordringer. På den vis knyttede de konkrete afhængigheder af universiteterne i professionshøjskolesektoren i 2013 sig bl.a. til muligheden for lovgivningsmæssigt at kunne deltage i uddannelse af forskere, men også til en vis grad at kunne hjemtage forskningsprojekter med ekstern finansiering. Med Røviks similarity som analytisk optik ses det, at der i forhold til ekstern finansiering til en vis grad er ensartede vilkår, og at professionshøjskolerne har en afhængighed af universiteterne. Universitetsansatte og professionshøjskoleansatte skal operere i det samme system, samarbejde om konkrete projekter og måske endda skrive publikationer sammen, hvilket taler for, at de ansatte måles ud fra samme målestok, dvs. at professionshøjskolesektoren indoptager indikatorerne fra BFI-modellen. Vi skal nu se lidt nærmere på betydningen af publikationerne med point i det bibliometriske forskningsindikatorsystem i professionshøjskolesektoren.

I FoU-baselinerapporten 2013 (Danske Professionshøjskoler, 2013a) var rationalet – jf. det andet kriterium (oplistet nederst på side 29) om, at man ønskede en løsning, der ville lægge beslag på så få ressourcer som muligt – at det var oplagt at anvende ministeriets autoritetslister over de pointgivende forlag og serier, da it-platformen UC Viden i forvejen var introduceret til medarbejderne. Samtidig var logikken i baselinerapporten, at det bibliometriske forskningsindikatorsystem kunne implementeres og administreres via UC Viden for forholdsvis få økonomiske midler til teknisk udvikling og udvikling af procedure til bibliotekernes løbende kvalitetskontrol af de inddaterede data. På baggrund af Røviks begreb transformability kan man rejse et spørgsmål om, hvad der karakteriserer den overførte viden. Er der f.eks. tale om et koncept, en teknologi, en viden, som er mulig at ændre på? Specifikt hvad angår den bibliometriske forskningsindikator kopieres den uden ændringer, hvilket der er en pointe i i forhold til den legitimering, der ligger i at blive målt med samme målebånd, som de universitetsansatte forskere måles med. Desuden er godkendelse og administration af ministeriets dynamiske autoritetslister teknisk set lukket uden mulighed for ændring. Det interessante her er derfor, at Danske Professionshøjskoler og Rektorkollegiet i første omgang – samtidig med at de valgte den bibliometriske forskningsindikator – også besluttede at beholde deres egen autoritetsliste ud fra en begrundelse om hermed at kunne give et retvisende billede af professionshøjskolernes særegne værdiskabelse. Med det sker en addering i oversættelsen, dvs. at et nyt element tilføjes i oversættelsen af BFI-modellen. Qua lovkravet om professionshøjskolernes anvendelsesorientering og tætte samarbejde med praksisfelterne antydes det i FoU-baselinerapporten, at der var behov for flere indikatorer til at supplere den bibliometriske forskningsindikator. Her ses altså en indbygget tvetydighed i professionshøjskolernes rekontekstualisering af styrings- og evalueringsopskriften. Denne tvetydighed erkendes da også i FoU-baselinerapporten. I præsentationen af det tredje hensyn stå der, at:

”Dette hensyn i nogen grad er i modstrid med de to første. Konkret betyder fokus på social robusthed, at de baselineindikatorer, der foreslås, overvejende er traditionelle forsknings- og udviklingsindikatorer. Det skaber et behov for at synliggøre den del af værdiskabelsen, hvor der er et udviklingspotentiale i forhold til indikatorer” (Danske Professionshøjskoler, 2013a, s. 7).

Af citatet fremgår det, at man overvejende lænede sig op ad de traditionelle forsknings- og udviklingsindikatorer, men at der blev efterladt en åbning til at udvikle disse indikatorer på baggrund af erfaringer i professionshøjskolesektoren med særegen værdiskabelse i sektorens videnproduktion.

Analyseret med Powell og DiMaggio vil tvetydigheden i valget om at inkludere både autoritetslister baseret på den bibliometriske forskningsindikator og egen liste over anerkendte publikationskanaler oplagt blive tolket som et udtryk for professionshøjskolernes usikkerhed i forhold til sammenhæng mellem mål og midler. Ifølge Powell og DiMaggios teori handler mimetisk isomorfisme, i modsætning til f.eks. tvangsmæssig isomorfisme, om en tendens til, at der sker en frivillig imitation af de anerkendte aktører inden for et interorganisatorisk felt. Det kan eksempelvis have været en usikkerhed i forhold til, hvordan professionshøjskolesektorens egen videnproduktion og videnomsætning skulle kunne lade sig omsætte i kvantificerbare indikatorer koblet til en dermed udadtil legitimérbar og anvendelsesorienteret forsknings- og udviklingsprofil. Omkring usikkerhed peger Powell & DiMaggio på to centrale forhold i deres teori. Det handler om, i hvor høj grad organisation A kan og vil forme sig efter organisation B, hvis organisation A betragter B som værende succesfuld. Her peger de på to afgørende faktorer. For det første graden af usikkerhed om mål og midler. Det andet er graden af tvetydighed i organisationens egne mål. Høj grad af usikkerhed i forhold til de to nævnte punkter vil skabe høj grad af lighed og kopiering i imitationen, argumenterer Powell & DiMaggio.

Med forskning og udvikling som en ny finanslovsfinansieret opgave i professionshøjskolerne aktualiseredes et behov for institutionalisering af forskningspraksis. Det styringsmæssige greb, som professionshøjskolesektoren valgte, blev systematisk overvågning af udviklingen i nøgletal på forsknings- og udviklingsområdet via videnregnskabet. Indholdsmæssigt imiterede man universiteternes BFI-model, der blev rekontekstualiseret i professionshøjskolesektoren som et overvågnings- og analyseværktøj. Til forståelse af, hvad der her er på spil, giver translationsteori og imitationsperspektivet det bud, at det for institutionerne handler om en institutionalisering af forskningspraksis i en kontekst med tvetydige mål og evt. usikkerhed i forhold til mål og midler, hvilket skal resultere i en politisk gangbar og legitimitetsgivende position i et traditionsbundet forsknings- og udviklingslandskab.

Indrejse i en professionshøjskole – oversættelse til et resultatorienteret evalueringskoncept

I 2017 var det almindelig praksis på alle professionshøjskoler at indberette data om resultater inden for forsknings- og udviklingsområdet til professionshøjskolesektorens videnregnskab. Det daværende Forskningspolitisk Udvalg (FPU), som blev nedlagt i 2018, var ansvarlig for det årlige videnregnskab (Danske Professionshøjskoler, 2017, s. 46). Indberetningen og udtræk fra professionshøjskolernes fælles it-platform, UC Viden, med levering af nøgletal til Danske Professionshøjskoler blev udført fra skolernes biblioteker. Siden professionshøjskolernes etablering i 2008 skulle den enkelte skole desuden levere nøgletal om forskning og udvikling til Danmarks Statistik og som afrapportering i forbindelse med den enkelte professionshøjskoles udviklingskontrakt med ministeriet. I udviklingskontrakten havde man valgt at medtage enkelte af videnregnskabets indikatorer og en kort statusbeskrivelse på udvalgte målsætninger for kapacitetsopbygningen af forsknings- og udviklingsområdet.

I Videnregnskabet 2017, der gør status over resultaterne inden for forsknings- og udviklingsområdet i 2016, indgår de oprindelige fire tematiske kategorier fra Videnregnskabet 2013: 1. Forskningsaktivitet og ressourcer, 2. Medarbejderkompetencer, 3. Forskning- og udviklingspublikationer og 4. Innovation og videnomsætning i en ny orden. I videnregnskabets løbende justeringer fra 2013 til 2017 blev de fire kategorier etableret i det første Videnregnskab i 2017 rekontekstualiseret til følgende kategorier: 1. Finansiering, 2. Forskningsaktivitet, 3. FORSK 2025-temaer, 4. Medarbejderkompetencer, 5. Videnomsætning og 6. Viden til professionerne. I 2017-versionen af videnregnskabet er ”finansiering” blevet en selvstændig kategori. Under alle kategorierne opgøres, hvordan den enkelte professionshøjskole ’performer’ side om side med de andre institutioners resultattal. Det vil sige, at der i præsentationen af institutionernes nøgletal ikke tages hensyn til de store forskelle i institutions- og bevillingsstørrelse, hvilket er en forudsætning for en reel benchmarking.

I Videnregnskabet 2015 indledes regnskabet med en opgørelse over fordelingen af forskningsbevillingen. Inden for den enkelte institutions resultater kan institutionernes baseline og faktiske tal altså ikke sammenlignes direkte. Karakteristisk for Videnregnskabet fra 2015 og frem er dog, at den årlige udvikling i nøgletal i alle institutionerne indgår side om side i tabellerne, hvilket gør det muligt for den enkelte institution at sammenligne egne resultater med de andres. Hermed lægger videnregnskabets indhold og form potentielt set op til overvågning og konkurrence institutionerne imellem. I universiteternes BFI-model knytter resultattallene sig direkte til størrelsen af de basismidler, som tildeles. I professionshøjskolesektoren beror fordelingsnøglen og størrelsen af den enkelte institutions bevilling dog ikke på resultatmåling, men er retningsgivende (’blød implementering’) i form af bl.a. langsigtede strategiske sektormål, såsom målsætningen om 30% undervisere med ph.d.-grad i 2022, jf. professionshøjskolesektorens ph.d.-strategi (Danske Professionshøjskoler, 2015b). Også i antallet af enheder ses en vis lighed med ca. 6–8 institutioner på landsplan i både universitets- og professionshøjskolesektoren. I den specifikke professionshøjskole, som indførte forsknings- og udviklingsevalueringskonceptet i 2017 og 2018, genfindes denne lighed i form af syv organisatoriske centre og en centralt placeret institutionsledelse, der initierede evalueringsprocessen. Ifølge Røviks teori om imitation af organisationsopskrifter på tværs af sektorer og organisationer giver lighed i de organisatoriske betingelser oplagt nok en større risiko eller chance for ren kopiering i rekontekstualiseringen. Dette sammenfald i organiseringsform skal nok ikke undervurderes i svaret på spørgsmålet om, hvorfor evaluerings- og styringskonceptet på forsknings- og udviklingsområdet i denne professionshøjskole kom til at se ud, som det gjorde.

I forlængelse af en omorganisering fra central forsknings- og udviklingsenhed til en decentralisering af forsknings- og udviklingsaktiviteter ved integrering af aktivitet i uddannelsers fagmiljøer på professionshøjskolen i 2016 opstod et behov for at udvikle og gennemføre en ny styring og evaluering af forsknings- og udviklingsaktiviteterne i organisationen. Initiativet og arbejdet med at udvikle evalueringen udsprang fra tredje ledelsesniveau i organisationens centrale autoritative center. Konceptudkast til evalueringen blev i 2017 og 2018 indstillet til direktionsbehandling og godkendelse forud for gennemførelse af evalueringen, ligesom konceptet, som beskrevet i indledningen til FoU-evalueringsrapporten, blev sendt til høringsrunde blandt de decentrale enheders chefer.

Med forsknings- og udviklingsevalueringens rekontekstualisering af videnregnskabet fremkom seks faktorer, som man ville have fokus på i evalueringen af fagmiljøernes resultater på forsknings- og udviklingsområdet: 1. Videnskabelig kompetence, 2. Videnskabelig produktion, 3. Videnskabeligt samarbejde (eksterne partnerskaber), 4. Volumen (ekstern finansiering), 5. Praksisimpact og 6. Uddannelsesimpact. I oversættelsen fra videnregnskabet fik forsknings- og udviklingsevalueringens kategorier i store træk samme indhold, selvom termerne blev skiftet ud. For eksempel blev det, der i videnregnskabet hed ressourcer, reformuleret til kategorien volumen, ligesom videnomsætning i den ny prototype for evaluering blev reformuleret til uddannelses- og praksisimpact. I FoU-baselinerapporten fra 2013 nævnes i afsnittet om Videnomsætning i forskning og udvikling de fire typer af impact: 1. Uddannelsesmæssigt impact, 2. Impact, der har at gøre med velfærdsprofessionerne, 3. Impact rettet mod erhvervslivet og 4. Policy impact, hvilket i Videnregnskabet 2013 blev målt via indikatoren ’antal lærebøger’. I FoU-baselinerapportens typer af impact tog man afsæt i OECD’s 12 typer af impact, som er vedlagt på en samlet liste i et bilag til FoU-baselinerapporten (Danske Professionshøjskoler, 2013a, s. 27–28, bilag 2, s. 36).⁵ Opsummerende ses, at forsknings- og udviklingsevalueringen i store træk med Røviks begreber – primært har kopieret og i mindre grad også adapteret både form, indhold og indikatorerne fra videnregnskabet. Der er dog ikke tale om en rendyrket kopiering, da kategorierne er reformuleret, og indholdselementer fratrukket og adderet. Fratrukket var desuden indikatoren vedrørende ’indtægtsdækket virksomhed’, dvs. udviklings- og kompetenceudviklingsaktiviteter, som tjener sig selv hjem. Adderet var også en kvalitativ selvevaluering fra fagmiljøerne af deres formåen i forhold til at skabe uddannelses- og praksisimpact. Med rekontekstualisering med hensyn til forskydningen i ordvalget, og at der adderes en selvevalueringsmetode. Med Røviks tre forskellige former for oversættelser kan denne styrings- og evalueringsopskrift karakteriseres som reproducerende med træk af en modificering oversættelsesmodus. På indholdsdelen kopieres de kvantitative indikatorer fra videnregnskabets videnomsætning og de politiske rationaler, der herskede om, at forsknings- og udviklingsresultater skulle måles med kvantitative indikatorer, hvilket bl.a. kan ses i en særlig følgetekst til selvevalueringsdelen i evalueringsrapporten. Her bemærkes det, at der er behov for”at udvikle bedre datakilder til at vurdere resultaterne ift. praksisimpact” (Danske Professionshøjskoler, 2018, s. 4). Indikatorerne fra Videnregnskabet i professionshøjskolens autoritative center er rekontekstualiseret, således at enkelte elementer forstærkes. Det gælder BFI-publikationer og ekstern finansiering som i indledningen til FoU-evalueringsrapporten 2018 fremhæves og understreges i form af en ekspliciteret opstilling af ’best-practice-mål’:

”Således er eksempelvis det langsigtede mål for publikationer sat til 1,5 publikationer på autoritetslisten (BFI) ud fra niveauet for den i 2017 højest præsterende professionshøjskole, mens mål for ekstern finansiering på tilsvarende måde er sat til 81–100 % af FoU-grundfinansiering […]”.⁶

I citatet formuleres resultatmål i forhold til forskning og udvikling, som professionshøjskolens forskellige fagmiljøer kan holde egne resultater på forsknings- og udviklingsområdet op imod i den årlige evalueringsproces. Der peges på, at der er tale om langsigtede mål, hvilket igen kan ses som en kopiering af styrings- og evalueringsopskriften fra sektorniveauet. På den vis kommunikeres, at man fra institutionsledelsens side i udpræget grad prioriterer publikationer, der scorer point i forhold til den bibliometriske forskningsindikator og ekstern finansiering, særlig højt, hvilket giver fagmiljøernes decentrale ledelser et synligt pejlemærke (’blød implementering’).

Med Røviks begreber følger oversættelsen en modificerende modus, hvor der lægges til og trækkes fra styrings- og evalueringsopskriften, som efterlignes. Siden det første videnregnskab blev offentliggjort i 2013, er der sket en udvikling af kategorier, som er blevet ændret og udvidet, ligesom der er kommet flere indikatorer til. Man må forvente, at hele rækken af videnregnskaber fra perioden 2013 og frem til 2017 er indgået som grundlag for imitationen i dekontekstualisering af videnregnskabet og udviklingen af nye prototyper for styring. En væsentlig pointe er, at professionshøjskolesektorens egen liste over anerkendte publikationskanaler nedtones og udgår i professionshøjskolens styrings- og evalueringsopskrift til fordel for vægtningen af BFI-publikationer.

Den første prototype af styrings- og evalueringsopskriften i professionshøjskolen blev præsenteret for de faglige forskningsledere til et netværksmøde i organisationen i begyndelsen af 2017. Inddragelsen bestod i, at deltagerne kunne komme med input til prototypen ved en 2–3 timers workshop. I evalueringsrapporten kan man læse, at formålet med evalueringen af forsknings- og udviklingsaktiviteterne var at vurdere kvaliteten af arbejdet, dels i de enkelte fagmiljøer, dels i professionshøjskolen samlet set. Dette med henblik på at generere ny og relevant viden til strategisk prioritering og handling, der bl.a. kan slå igennem ift. budgetlægning, målsætninger og prioritering af indsatser for det efterfølgende år.

Til overblik over stigningen i krav om dokumentation i en enkelt professionshøjskole ses nedenfor et skema over stigninger i antallet af indikatorer og integrering af nøgletalsopgørelser, som i udgangspunktet var målrettet eksternt brug i forsknings- og udviklingsevalueringen.

I store træk viser skemaets indhold en intensivering i antal og kompleksitet i talopgørelser og resultatstyringselementer på FoU-området i tiåret fra 2008 til 2018. Samtidig illustrerer det, hvordan videnregnskabet, der i 2017 ses som en evaluerings- og styringsopskrift, oversættes til en prototype, som præsenteres videre i feltet og møder praksis. Oversættelsesbanen fortsætter i 2018, hvor opskriften gentages og hermed er på vej til at blive et element, der tages for givet.

Konklusion

I professionshøjskolesektorens imitation af BFI-modellen ses, at der er tale om en modificeret oversættelsesmodus, hvor elementer lægges til og trækkes fra. I det autoritative dokument Videnregnskabet er organisationsopskriften til styring af forskning fra universitetssektoren modificeret i retning af en tilpasning til professionshøjskolesektorens vilkår og behov. For eksempel er professionshøjskolesektoren ikke underlagt samme model for bevilling af basismidler med afsæt i scoringsresultaterne, som universiteterne er. Bevillingen fra ministeriet til professionshøjskolesektoren er yderst beskeden, og professionshøjskolerne ’rulles’ ikke ind i resultatstyringssystemet, som man f.eks. så det i forbindelse med Norges BFI-model (jf. Aagaard, 2015). I konteksten af professionshøjskolesektoren er udfordringen defineret som kapacitetsopbygning og udvikling af forsknings- og udviklingsmiljøer på professionsuddannelsesinstitutionen. Svaret blev i 2013 etablering af et årligt videnregnskab til årlig offentliggørelse af nøgletal fra professionshøjskolerne i en genkendelig styrings- og evalueringsopskrift, der i de efterfølgende år kunne vise stigning i produktions- og kapacitetstal.

I oversættelsen fra videnregnskab til opskrift til styring og til evaluering af forsknings- og udviklingsaktiviteter i en professionshøjskole, som blev behandlet i artiklens andet analytiske nedslag, så vi, at der er tale om en reproducerende til modificeret oversættelsesmodus. For en stor del af indholdet er der tale om reproducerende oversættelse, hvori imitationen tager form af kopiering, men der lægges også til og trækkes fra i en modificerende oversættelsesmodus. Kategorien Videnomsætning dekontekstualiseres og rekontekstualiseres i den nye prototype til kategorierne ’uddannelsesimpact’ og ’praksisimpact’. Hertil modificeres ved, at der rejses spørgsmål om uddannelses- og praksisimpact til kvalitativ besvarelse med afsæt i fagmiljøernes selvevaluering. Artiklen følger en styrings- og evalueringsopskrifts rejse fra universitetssektoren til professionshøjskolesektoren. Med reference til forskningsundersøgelser har vi set, at BFI-modellen, som oprindeligt alene var tiltænkt at blive brugt til ministeriets fordeling af basismidler mellem universiteterne, blev oversat og introduceret som styrings- og evalueringsopskrift på en professionshøjskole. Netop denne dynamik har været stærkt omdiskuteret i universitetssektoren.

I artiklens første analytiske nedslag ses, at BFI-modellen i professionshøjskolesektoren oversættes til en systematisk overvågnings- og analysemodel, Videnregnskabet, hvor der tilføjes nye elementer og nye kvantitative nøgletal, som er tilpasset sektorens udfordring med at skulle kapacitetsopbygge og institutionalisere forskning og udvikling. I professionshøjskolesektoren har fordelingen af basismidler fra start og frem til i dag været fastsat, hvorfor konkurrence mellem professionshøjskolerne om stigning i produktions- og kapacitetsopbygningstal i videnregnskabet har en anden og mere retningsgivende funktion. I artiklens andet nedslag i en enkelt professionshøjskole ses, at den enkelte institutions oversættelse af sektorens styrings- og evalueringsopskrift, dvs. overvågning og evaluering af resultater inden for forsknings- og udviklingsområdet via videnregnskabet, reproduceres og modificeres til internt ledelsesbrug, parallelt til enkelte universiteters kopiering af BFI-modellen til internt styringsbrug. Med afsæt i Røviks tre forskellige omformningsmodi er det værd at bemærke, at oversættelserne i artiklens analytiske nedslag på ingen måde nærmer sig det tredje modus: den radikale omformning, hvor oversættelsen har en innovativ karakter, som forvandler organisationsopskriften.

Det overordnede svar, som translationsteorien giver på spørgsmålet om, hvorfor forsøg på styring og evaluering af forskning og udvikling ser ud, som den gør, i professionshøjskolesektoren og på en udvalgt professionshøjskole, er, at der i forbindelse med et politisk behov for at legitimere sig som forsknings- og udviklingsinstitution sker en spejling i det interorganisatoriske felt, som konkret udfolder sig i oversættelse og imitation af eksempelvis en politisk set genkendelig og anerkendt styrings- og evalueringsopskrift. Implikationen er, at der ikke nødvendigvis er eller øjensynlig behøver at være en ekspliciteret forklaring på, hvorfor evalueringen ser ud, som den gør, og hvad den skal bruges til af organisationen.

I artiklens første analytiske nedslag så vi i tilsynekomsten af videnregnskabet en imitation af universiteternes BFI-model. Til besvarelse af spørgsmålet om tilsynekomsten af et videnregnskab uden tvangsmæssig nødvendighed for modtagelsen af finansmidler opstod med teoretisk afsæt i Powell og DiMaggios tre former for isomorfismer en udvidet forståelse af imitationsdynamikker. Med dem bliver det klart, at der ikke nødvendigvis tages afsæt i lovgivningsmæssig tvang, når et nyt evalueringssystem initieres. Det kan i lige så høj grad forklares som en imitation, der har en stærk symbolsk betydning, der relaterer sig til sektorens eller organisationens identitet og herunder graden af tvetydighed i organisationens egne mål eller en usikkerhed om mål og midler. Samtidig viste analysen med afsæt i Røviks begreber om similarity og transformability, at pragmatiske forhold som ensartethed i kontekster og reelle muligheder for at oversætte fra én kontekst til en anden og ændre i de konkrete elementer, man efterligner i opskriften, også spiller en central rolle i forhold til, hvordan en ny prototype af eksempelvis en styrings- og evalueringsopskrift kommer til at se ud. Her viste analysen, at de to sektorers organisering i antal enheder og institutionernes kerneopgaver og mål har en høj grad af lighed, og at eksempelvis BFI-systemet er et teknisk omfattende og lukket system, som ikke sådan uden videre kan transformeres og tilpasses. I artiklens andet analytiske nedslag så vi en gentagelse af samme pointe vedrørende høj grad af ensartethed de to konteksters organisering imellem og dermed tendens til, at der sker kopiering frem for transformering af opskriften. Analysen viste også, at der tilsyneladende er en tendens til, at den analyserede type styrings- og evalueringsopskrift i dette interorganisatoriske felt over tid inkorporerer stadig flere indikatorer og udvider anvendelsen fra eksternt brug til også at indbefatte internt brug, uden at det samtidig giver anledning til nærmere tilpasning til de lokale forhold og behov. I artiklen har jeg analyseret, hvad der foregår i den umiddelbare rekontekstualisering af evalueringsopskrifterne. Her er det bemærkelsesværdigt, at legitimering sker under henvisning til kvalitetssikring, men i oversættelsesprocesserne kommer det til at handle om at fremstå legitime i omverdenens øjne, give bedre styring og om at fremme produktivitetsmål i en proces, hvor styrings- og evalueringsopskriftens egentlige mål om at understøtte og sikre kvaliteten forsvinder.