Faksimile: Tilstandsrapport for høyere utdanning 2018.

Tall og fortolkning

Nylig kom årets tilstandsrapport for høyere utdanning. Den inneholder enorme mengder tall, og mye interessant informasjon.

Arve Hjelseth er førsteamanuensis ved NTNU.

Men tall må også fortelles, som det het i en sosiologisk artikkel for snart 20 år siden, som handlet om fortolkning av kvantitative data. I vår sektor gjelder det samme. Hvis for eksempel andelen som består eksamen i et emne øker, kan man ikke uten videre ta for gitt at det dokumenterer økt utdanningskvalitet. Man må først undersøke om det for eksempel henger sammen med endret vanskelighetsgrad, med prosedyrer for sensur og annet. Hvis for eksempel institusjonene taper penger på at studenter stryker, kan det virke som insentiv til å la kandidater i grenseland bestå. Særlig hvis emnet ikke har ekstern sensur, har dette vist seg å være en utfordring

Blant de data som har fått oppmerksomhet i sektoren i forbindelse med den nye tilstandsrapporten, er variasjonen i frafall mellom institusjonene. Khrono har for eksempel presentert tall fra rapporten som viser at Universitetet i Oslo kommer dårligst ut når det gjelder andelen studenter som fullfører en bachelorgrad på normert tid. Andelen er dobbelt så høy ved NHH.

Dette er selvsagt interessant informasjon, og vel verdt å feste seg ved. Men både årsakene til og implikasjonene av denne informasjonen er komplekse spørsmål, som ikke kan besvares ved hjelp av tallene alene. For eksempel vil det være sterkt forhastet å tenke at dette er en indikasjon på at utdanningskvaliteten er bedre ved NHH enn ved UiO (rett nok litt avhengig av hvordan utdanningskvalitet defineres, noe som i seg selv er et interessant og komplisert spørsmål). Det vil også være forhastet å anta at UiO kan nå NHHs nivå ved å utvikle bedre prosedyrer for å ivareta motivasjonen og/eller det faglige nivået til studentene gjennom studieløpet.

Som professor Einar Lie har påpekt, er det grunn til å tro at frafallsprosenten henger nøye sammen med inntakskravene. Jo vanskeligere det er å komme inn på et utdanningsprogram, jo bedre forutsetninger har studentene for å fullføre. Ved NHH er inntakskravene høye, mens UiO har mange studier med beskjedne krav. Det er nokså opplagt at faglig nivå og fullføringsevne er variabler som henger sammen, og det er også nærliggende å tro at studentenes motivasjon for studiene varierer etter samme mønster.

I likhet med det som er tilfelle for en rekke tilsvarende oversikter i sektoren vår, mener jeg generelt slike rangeringer og statistiske oversikter får altfor stor oppmerksomhet, ikke minst i pressen. Et eksempel er de utallige internasjonale universitetsrangeringene, som har altfor stor prestisje i forhold til troverdigheten, og som enkelte ledere i sektoren ser seg nødt til å navigere etter.

Likevel er det som nevnt mange slike oversikter som sier noe, man må bare være omhyggelig med å tenke gjennom hva de egentlig illustrerer eller dokumenterer. Den intuitive fortolkningen av gjennomføringsgraden for bachelorutdanninger er at UiO kan og bør gjøre en bedre jobb, eller at studentene må skjerpe seg, eller kanskje helst begge deler. Men når forutsetningene er så ulike som blant andre Lie peker på, er det en fortolkning som mangler ethvert empirisk grunnlag.

I akkurat denne saken har pressen så vidt jeg har registrert opptrådt relativt edruelig. I de refererte sakene i Khrono har man vært forsiktig med å bruke tallene som indikator på utdanningskvalitet. Når de presenterer tall for hvordan utviklingen har vært over tid, dvs. om den enkelte institusjon opplever økning eller reduksjon i andelen som fullfører på normert tid, er det imidlertid vanskelig å ikke lese det som uttrykk for hvor godt institusjonene jobber med saken.

Åshild Bruun-Gundersen (Frp) i Utdannings- og forskningskomiteen på Stortinget mener for eksempel at universitetene må kunne sette strengere opptakskrav, og antyder til og med at det bør kunne være aktuelt å intervjue søkere for å få innblikk i hvor motiverte de er. Hun har altså forstått det samme poenget som Lie viser til, at mye av ulikheten i gjennomføringsprosent trolig kan forklares med inntakskvaliteten. Det kan også tenkes at det er noe fornuftig i forslaget hennes, selv om det å intervjue søkere høres urimelig ressurskrevende ut, særlig med tanke på hvor lite treffsikker metoden høyst sannsynlig vil være.

Men skulle man i så fall kunne nekte studenter muligheten til å prøve seg på studier, selv om de kanskje ikke kan vise til særlig gode resultater fra videregående? Selv om det gjennomsnittlig vil redusere frafallet, vil det jo knapt føre til en høyere utdannet befolkning, bare at de avviste søkerne må stille seg i andre køer og forverre statistikken på disse feltene.

Forslaget er dessuten basert på en logikk som sier at dersom andelen (merk at det her da er noe helt annet enn antallet, dersom antall studenter skulle gå ned som følge av høyere opptakskrav) som gjennomfører på normert tid øker, så indikerer det at kvaliteten er økt. Det sitter langt inne å akseptere at frafall kan ha sine gode grunner. Som jeg tidligere har pekt på, er det mange ulike årsaker til at studenter slutter, at de skifter studium eller at de blir forsinket. Oftest er det snakk om faktorer som hverken representerer noe samfunnsproblem av betydning eller personlige tragedier og nederlag.

Vi trenger slike oversikter som tilstandsrapporten tilbyr, men enda viktigere er det altså å fortolke tallene på edruelige måter. I tillegg kan det av og til være grunn til å tenke gjennom hvorvidt for eksempel redusert frafall er et selvsagt og udiskuterbart mål.

–> Kjetil Kåre Haugen, Odd Williamsen, Arve Hjelseth og Steinar Kristoffersen er spaltister i Panorama.

Én kommentar til “Tall og fortolkning”

  1. “We must keep in mind the story of the statistician who drowned while trying to wade across a river with an average depth of four feet.”
    ― Neil Postman (1931-2003)

Det er stengt for kommentarer.