I 2015 viste rankingen til Times Higher Education (THE), av Universitetsavisa omtalt som verdens mest prestisjefylte universitetsranking, at NTNU hadde falt rundt 100 plasser siden forrige måling. Rektorer og andre i nøkkelposisjoner måtte naturligvis kommentere dette, slik de må enten pila peker opp eller ned.

Ledere har naturligvis en tendens til å tro mer på rankinger hvor deres egen institusjon har framgang, enn på rankinger hvor det går den gale veien, slik partiledere legger mer vekt på meningsmålinger som viser framgang enn målinger som viser tilbakegang. Det er til å forstå. Jeg merket meg imidlertid også at en tidligere rektor ved NTNU sa klart fra om at THE-rankingen er metodisk uholdbar. Det er slikt man lettere kan gjøre når man er fritatt fra rektors forpliktelse til å ta dårlige nyheter på alvor.

Eks-rektoren har naturligvis helt rett. Det er både forunderlig og skremmende at slike rankinger møtes med noe annet enn et skuldertrekk blant folk med professorkompetanse. Eventuelt kan man se på det som uhøytidelig underholdning over lunsjbordet. Underholdende kan det selvsagt være, omtrent slik det er underholdende å lage lister over tidenes 30 beste filmer, eller fotballspillere. Litt mindre underholdende er det når vi vet at universitetene faktisk bruker ressurser på å levere data til slike rankinger.

Sannheten er at de fleste slike rankinger i beste fall er noen få prosent bedre enn rent tøv. I 2015-rankingen var for eksempel NTNUs score på doktorgrader satt til 0, sannsynligvis på grunn av et brudd i dataoverføringen, het det hos Universitetsavisa. Likevel lages det altså nyhetsstoff av dette, og selv ministre kan få kritiske spørsmål om universitetenes posisjon stuper.

Både denne og en rekke andre rankinger, både i utdanningssystemet og på andre felt, har det til felles at de forsøker å lage kvantitative mål av noe som i sin natur er kvalitativt. Kvantitative mål er ofte svært verdifulle, men det er grunn til å være omhyggelig når det gjelder å vurdere i hvilke sammenhenger de gir mening, og i hvilke de ikke gjør det.

Den norske samfunnsviteren Ottar Brox pleier i festlig lag å fortelle en vits som går omtrent som følger (jeg skriver den på bokmål, men den leses best med Senja-aksent): To isbjørner går på tur i Sahara. Så sier den ene isbjørnen til den andre: «Dæven, så glatt det er her»! Den andre isbjørnen spør: «Hva mener du, glatt»? «Ja», svarer den første isbjørnen, «ser du ikke som de har strødd?»

Brox pleier å bruke denne vitsen som en vennligsinnet advarsel mot å analysere verden utelukkende ved hjelp av indikatorer. Heftig strøing kan være en indikator på is, men det kan også indikere noe helt annet, for eksempel at isbjørnene befant seg utenfor sitt naturlige habitat. På samme måte kan en vekst i artikkelproduksjonen ved et universitet indikere at forskere er blitt flinkere og mer «produktive», men det kan også indikere mer strategisk og triviell publisering. For å ta stilling til om det ene eller andre er tilfelle, kommer vi ikke utenom å vurdere kvaliteten på det som publiseres. Og det er noe genuint annet enn kvantitet.

Måle-entusiaster ser imidlertid ikke det sistnevnte som noe hinder, for kvaliteten kan avleses av hvilket tidsskrift artikkelen er publisert i. Tidsskrifter på nivå 2 har høyere kvalitet enn tidsskrifter på nivå 1, følgelig gjelder det de enkelte artiklene også, kan de hevde. I alle fall betraktes antall tidsskriftsartikler som gode – ja, nettopp – indikatorer på kvalitet. På samme måte tolkes frafallsprosenten i høyere utdanning som en indikator på dårlig kvalitet, selv om de fleste som av ulike grunner ikke avslutter et studium, klarer seg godt i livet.

Når det kommer til stykket, viser det seg at de fleste i vår sektor likevel vegrer seg mot å forlite seg helt og holdent på kvantitative mål. Skulle vi tenke tanken helt ut, er det for eksempel ingen grunn til å bruke betydelige ressurser, både med hensyn til tid og penger, på å gjøre sakkyndige vurderinger av søkerne til en forskerstilling. I prinsippet kan jo en computer eller en sekretær gjøre jobben på noen minutter: det gjelder bare å summere hver enkelt søkers fagfellevurderte artikler, multiplisere hver enkelt av dem med en forhåndsdefinert faktor for tidsskriftets eller forlagets prestisje, og tilby stillingen til den som kommer ut med høyest score. Når vi ikke er kommet så langt (selv om det er vanlig å mene at antall artikler ofte tillegges uforholdsmessig stor vekt i forhold til artiklenes kvalitet), er det en indikasjon (sic!) på at vi i så viktige spørsmål vegrer oss mot å stole på utfallet rent kvantitative vurderinger vil gi.

Lysten til å kvantifisere handler ikke bare om ledere og byråkrater som vil ha mål på hvor flinke forskere og lærere er. Det ser ut til å være dypt rotfestet i sosialt liv, og ikke minst i kulturlivet. Det kjennes avleggs å skulle kritisere at journalister triller terningen for å gi en kortfattet oppsummering av kvaliteten (eller mangelen på sådan) på en film, en plate eller en bok. Det er avleggs også fordi det er relativt ufarlig: de fleste lesere tar det for det det er: mer eller mindre kompetente vurderinger av hvorvidt produktet er verdt tid og penger. Normalt er dessuten terningkastet ledsaget av en verbal og kvalitativ beskrivelse av innholdet.

I enkelte tilfeller dessuten er kvantifisering helt uproblematisk, og dessuten viktig og uomgjengelig. Mange vurderinger kan ikke gjøres på noen annen måte. Selvsagt er kvantitative mål helt uomgjengelige om vi er interessert i hvordan inntektsfordelingen eller fertiliteten utvikler seg, og selvsagt har meningsmålinger betydelig informasjonsverdi (selv om verdien av hver enkelt måling er nokså begrenset).

Men inntektsfordeling handler om å telle penger, fertilitet handler om å telle barn, og meningsmålinger handler om å telle velgere. Summen man får er identisk med svaret. Ved andre anledninger er det andre forhold vi ønsker å vurdere, og da må hensiktsmessigheten av rent kvantitative mål vurderes omhyggelig, slik tilfellet er med blant annet universitetsrankinger, nasjonale prøver i skolen og frafallsprosent.

Idretten kan fungere som eksempel: De såkalte cgs-idrettene (centimetre, gram, sekunder) baserer seg på rent kvantitative og ubestridelige mål. Ingen vil bestride at en som hopper 8,60 i lengde slår en som hopper 8,40. Det som skal vurderes er her helt identisk med det kvantitative målet selv. På samme måte er det med håndball og fotball: Den som scorer flest mål vinner. Man kan rett nok hevde at det var en «ufortjent» seier, men man må akseptere prosedyren: den som scorer flest mål vinner uansett.

Andre idretter er av en annen karakter. I estetiske idretter som kunstløp og turn oversettes kvalitative vurderinger til en (kvantitativ) tallkarakter. På den måten kan utøverne rangeres på en entydig måte, men grunnlaget for rangeringen er basert på (faglig forankret) skjønn, ikke ulikt en god sakkyndig vurdering av søkere til en forskerstilling. Vurderingen lar seg bestride, for det er ikke prestasjonen selv som måles direkte (slik tilfellet er med lengdehoppet), men vurderingen av (den kvalitative) prestasjonen som får et mer eller mindre kvalifisert mål.

Hur mäter man vackert? het en lærebok i kvalitativ metode av Bo Eneroth som ble utgitt i min studietid. Jeg sier ikke at måle-entusiastene blant oss på død og liv må lese boka. Men jeg håper de skjønner spørsmålet.

–> Hallgeir Gammelsæter, Kjetil Kåre Haugen, Arve Hjelseth og Maren Sæbø skriver fast i Panorama.