Modellbasert vitenskap i krise?

Christian Skaug

For natur­vi­ten­ska­pene er data­ma­ski­nens inn­tog det vik­tigste som har skjedd i de siste femti årene. Sta­dig større utbre­delse av data­ma­ski­ner med økende regne­kraft, har bidratt til store frem­skritt i de fleste viten­ska­per hvor kvan­ti­ta­tive meto­der er av interesse.

Ved hjelp av teo­re­tiske model­ler kan man med stor påli­te­lig­het beregne med data­ma­ski­nens hjelp hvor­dan en rekke typer kon­struk­sjo­ner eller nye indu­stri­pro­duk­ter vil opp­føre seg under betin­gel­ser som det ville være vans­ke­lig eller svært res­surs­kre­vende å gjen­skape i et labo­ra­to­rium; gen­etiske sekven­ser kan iden­ti­fi­se­res; enorme meng­der sta­tis­tiske data av alle slag kan tol­kes på sekun­der. Man tar neppe mun­nen for full hvis man sier at data­ma­skin­be­reg­nin­ger mer enn noe annet har bidratt til eks­plo­sjo­nen av viten­ska­pe­lig pro­duk­sjon siden den annen ver­dens­krig, og at deler av denne har bidratt til å for­bedre men­nes­ke­nes liv.

Men har all denne suk­ses­sen vært med å skape en illu­sjon om viten­ska­pe­lig ufeilbarlighet?

Viten­ska­pen var en gang stort sett beskjef­ti­get med å inn­hente obser­va­sjo­ner, sys­te­ma­ti­sere disse og opp­dage mulige lov­mes­sig­he­ter. Ut fra en hypo­tese om lov­mes­sig­het kunne man så foreta pre­dik­sjo­ner, som styr­ket hypo­te­sen hvis de gikk i opp­fyl­lelse, enten i natu­ren eller i labo­ra­to­riet. De fysiske lovene med sin mate­ma­tiske per­fek­sjon viste seg spe­si­elt vel­eg­net til å gjøre gode pre­dik­sjo­ner, og fysik­ken kom etter­hvert til å bli et slags ideal for andre vitenskaper.

Med data­ma­ski­nens utbre­delse ble det der­med mye mer van­lig å foreta pre­dik­sjo­ner basert på modell­be­reg­nin­ger, også på andre fag­fel­ter enn de rent fysiske (her­under ast­ro­nomi, kjemi etc.). Sna­rere enn å trekke slut­nin­ger fra et obser­va­sjons­ma­te­riale, star­tet man altså med en teori og reg­net videre på denne. Selve bereg­nin­gene og resul­ta­tene av disse begynte såle­des å leve sitt eget liv, uten nød­ven­dig­vis å bli sjek­ket mot naturens/virkelighetens fasit.

Kan det hende at denne for­men for viten­ska­pe­lig basert spe­ku­la­sjon ufor­tjent får større tro­ver­dig­het tak­ket være den tra­di­sjo­nelle viten­ska­pens vel­for­tjent høye pålitelighet?

Den som selv gjør viten­ska­pe­lige modell­be­reg­nin­ger er opp­merk­som på at resul­ta­tet av disse skal for­tol­kes med den kri­tiske san­sen i behold, og at det kan føre svært galt avsted der­som teori­ene man put­ter inn i data­ma­ski­nen ikke hol­der. I bran­sjen omta­ler man gjerne feno­me­net som «gar­bage in, gar­bage out»: Det hjel­per ikke om resul­ta­tene er fun­net med ver­dens ras­keste data­ma­skin og pre­sen­tert av høyt utdan­nede per­soner med flotte figu­rer på glan­set papir, der­som anta­gel­sene som lå til grunn for bereg­nin­gen ikke hol­der vann. Men offent­lig­he­ten ser det neppe i samme grad.

Så hvor har det gått galt?

Kvan­ti­ta­tive model­ler fra flere viten­ska­pe­lige disi­pli­ner har i de senere årene gitt opp­hav til dår­lige pre­dik­sjo­ner. Dette omfat­ter, men er ikke begren­set til, økonomi/finans, klima­forsk­ning og medi­sin, eller ret­tere sagt epidemiologi.

For å ta det siste først: Det er knapt mulig å åpne en avis uten å finne såkalt helse­stoff hvor man blir gjort opp­merk­som på hva slags ernæ­ring, adferd eller medi­ka­men­ter som er sunn­hets­frem­mende eller ska­de­lig. Og gjen­tar man øvel­sen noe senere, er sjan­sen til­stede for at man blir for­talt det stikk mot­satte av det man først leste. Svært ofte skyl­des dette at viten­ska­pe­lige arbei­der innen fag­fel­tet epi­de­mio­logi er basert på kli­niske data, sna­rere enn data hen­tet fra et tilfeldig/representativt utvalg av befol­kin­gen. Man ras­ker altså sam­men de opp­lys­nin­ger som måtte fore­ligge i for­bin­delse med noens legers prak­sis eller på syke­hus, og bear­bei­der disse sta­tis­tisk. Da hjel­per det lite om data­ene kver­nes mate­ma­tisk etter alle kuns­tens reg­ler, så lenge den grunn­leg­gende for­ut­set­nin­gen om til­fel­dig­het er brutt: Sjan­sen er stor for at resul­ta­tet er galt.

For å teste de hypo­te­sene som kan leses ut av kli­niske data, burde man inn­hente data fra et til­strek­ke­lig stort antall til­fel­dige per­soner. Siden dette er langt mer res­surs­kre­vende, gjø­res det mye sjeld­nere. Men de gan­ger det gjø­res, skjer det ikke sjel­den at resul­ta­ter som har fått mye opp­merk­som­het i offent­lig­he­ten blir fal­si­fi­sert. En tid­li­gere redak­tør for den pre­sti­sje­tunge Bri­tish Medi­cal Jour­nal gikk så langt som å si at 90% av det som kom­mer på trykk i tids­skrif­tet han ledet, er søppel.

I kvan­ti­ta­tiv finans fort­set­ter mange sta­dig å gjøre viten­ska­pe­lig arbeid under anta­gel­ser om lov­mes­sig­he­ter som ikke eksis­te­rer, av og til basert på den ofte feil­ak­tige for­ut­set­ning at finan­si­elle data kan model­le­res med nor­mal­for­de­lin­gen, altså gauss­kur­ven, hvil­ket gav kata­stro­fale resul­ta­ter i den tid­li­gere omtalte LTCM-saken. Og selv bevæp­net med all ver­dens meto­der er det fort­satt uhyre vans­ke­lig å gjøre sikre pre­dik­sjo­ner for eksem­pel­vis olje­pri­sen. Finans­kri­sen var det like­le­des kun et lite mindre­tall av økono­mer som forutså.

Ende­lig har ingen av de sofis­ti­kerte klima­mo­del­lene noen sær­lig suk­sess å vise til når det gjel­der å for­utse tem­pe­ra­tur­ut­vik­lin­gen på noen års sikt. Lig­nende eksemp­ler fore­lig­ger også i andre disipliner.

Ikke noe av dette ville vært alvor­lig der­som viten­skaps­fol­kene det gjel­der drev en smule selv­ran­sa­kelse og for­kas­tet model­ler og frem­gangs­må­ter som man vet er gale eller ueg­nede. Men her er det at de ide­elle krav til viten­ska­pe­lig rede­lig­het kom­mer i kon­flikt med de men­nes­ke­lige ska­van­ker: Forsk­nin­gen er en stor indu­stri som sys­sel­set­ter mange per­soner, og den som skri­ver mye og til­de­les mange forsk­nings­mid­ler, nyter høy prestisje.

Når man så med data­ma­ski­nens hjelp kan opp­rett­holde eller øke en pro­duk­sjon som, uten at det nød­ven­dig­vis er gode grun­ner til det, tel­ler på den forsk­nings­po­li­tiske kjøtt­vek­ten, kre­ver det stor integri­tet og tykk hud å avstå fra anse­else og kar­rie­re­hopp ved å la være å pro­du­sere ting, maskin­mes­sig og under et inn­ar­bei­det para­digme, som man inn­erst inne vet er av mini­mal verdi eller med stor sann­syn­lig­het feil. Og fris­tel­sen blir stor til å ned­tone for­be­hold og selv­kri­tikk til for­del for en lek­ker, sen­sa­sjons­ar­tet og til­syne­la­tende skrå­sik­ker pre­sen­ta­sjon av forskningen.

Om det blir for mye av dette, risi­ke­rer man at det opp­står en eks­tremt uhel­dig, all­menn mis­til­lit til viten­ska­pe­lig arbeid som også ram­mer de seriøse i bransjen.




Om du ikke følger Document på sosiale media kan du følge oss på e-post.

Donere engangsbeløp?Kan du forplikte deg til fast betaling?

Penger kan også doneres til kontonummer 15030249981. Du kan også støtte oss ved å kjøpe bøker eller varer.

Leserkommentarer på Document er gjenstand for moderering, som ikke skjer kontinuerlig og under enhver omstendighet ikke om natten. Vi ønsker en respektfull tone uten personangrep, sleivete språk eller flammende retorikk. Vis særlig nøkternhet når temaet er følsomt. Begrenset redigering av skjemmende detaljer kan finne sted. Skriv til debatt@document.no dersom du ikke forstår hvorfor en kommentar uteblir. Se her for nybegynnerhjelp.