Sakset/Fra hofta

Aftenposten skrev nylig om troverdigheten til eksperter som ofte eksponeres i massemediene, og drøftet det hele blant annet ved å snakke om deres vitenskapelige publikasjon og siteringsfrekvens. Som det ble fremholdt er dette en god, men ikke fullt ut pålitelig metode, for en person kan av og til oppnå stor innsikt, i spesielle tilfeller sågar velfortjent gurustatus, på et felt uten å være blant de mest skriveivrige eller siterte. Ikke desto mindre er det i mangel av noe bedre en god rettesnor at den som har peiling, også har skrevet om det vedkommende har peiling på.

Men inntrykket fester seg av at implikasjonen gjelder den andre veien også: Har man publisert vitenskapelig, har man også peiling på det man har skrevet om (og kanskje mye annet også).

En stilltiende forutsetning for at denne implikasjonen skal gjelde, er at den vitenskapelige produksjonen holder høy kvalitet. Men det offentliggjøres hvert eneste år totalt mer enn en kvart million vitenskapelige artikler på verdensbasis. De færreste av dem er av interesse eller til nytte for praktikerne innenfor de respektive fagområder. Kan det likevel være mulig at mesteparten, eller i alle fall en betydelig andel av disse er av faglig verdi?

De vitenskapelige tidsskriftenes gullstandard for kvalitetskontroll er den såkalte fagfellevurderingen, som innebærer at et innsendt arbeid blir vurdert av en eller flere eksperter på samme felt. Holder ikke arbeidet faglig mål, skal det heller ikke offentliggjøres.

Men det er ikke gull alt som glimrer, og innvendingene mot dette systemet er gamle og velkjente: Det er dyrt og tidkrevende, vurderingene er ofte lite grundige og resultatene lite konsistente, og de kan være påvirket av såvel korrupsjon som tendensiøse fagfeller. Data og programvare som ligger til grunn for arbeidene blir ikke sjekket, i den grad de er på et format som kan kontrolleres av andre enn artikkelforfatteren, eller foreligger overhodet.

Ikke desto mindre har det vært en slags konsensus i vitenskapelige miljøer at fagfellevurderingen er omtrent som demokratiet: langt fra perfekt, men det beste man har. Dessuten har man systemet med såkalte impact factors, hvilket er et mål på den faglige tyngden til et tidsskrift. Om noe står på trykk i et av de mest prestisjetunge tidsskriftene innenfor en disiplin, blir det dermed gjenstand for høy tillit.

Å sette spørsmålstegn ved den vitenskapelige kvaliteten til arbeider av denne sistnevnte typen er litt som å banne i kirken, og de færreste kan tillate seg det. Det gjør derfor inntrykk når Richard Smith — som i tretten år var redaktør for den meget høyt respekterte British Medical Journal (BMJ) — i en artikkel publisert den 20. desember 2010 feller en knusende dom over kvaliteten til de mest prestisjetunge medisinske tidsskriftene, hans eget ikke unntatt.

Smith hevder at mindre enn én prosent av artiklene i de 100 viktigste medisinske tidsskriftene viser seg å oppfylle kravene til vitenskapelig holdbarhet og klinisk relevans når man går dem nøye etter i sømmene. Ofte er den statistiske analysen av dataene under enhver metodisk kritikk. Sjokkerende mange arbeider har konklusjoner som er direkte gale, og han kommer med eksempler på skadevirkninger på pasienter som følge av feil. Forfatterne av en artikkel i New England Journal of Medicine vedrørende den påstått forbedrede sikkerheten ved bruk av et nytt medikament mot leddbetennelse, overså f.eks. en økt risiko for hjertet, og tusenvis av pasienter fikk hjerteattakk som kunne ha vært unngått. Hvorfor ble det ikke oppdaget?

BMJs tidligere redaktør reflekterer over at vitenskapens menn og kvinner — som skal være undersøkende og kritisk og dobbeltsjekke alt, seg selv inkludert — ikke har foretatt mer kritiske undersøkelser av hvor godt et for vitenskapen så fundamentalt element som fagfellevurderingen fungerer. Han finner det meget ironisk, og sier at intet medikament ville blitt sluppet på markedet etter så mangelfull testing som fagfellevurderingen er blitt til del.

En viss testing har dog funnet sted, og flere av eksemplene Smith anfører gir grunn til dyp uro. Selv var han med på å gjøre et eksperiment hvor åtte feil med vilje ble påført et vitenskapelig arbeid, for deretter å bli sendt til vurdering hos 300 eksperter. Færre enn halvparten av disse oppdaget mer enn to av de åtte feilene, og 20 prosent oppdaget ikke en eneste av dem.

Smiths løsning er like enkel som den er radikal: Oppgi det redaksjonelle forarbeidet og den tradisjonelle fagfellevurderingen, og la alle vitenskapsfolk som ønsker det legge sine ting åpent ut på internett. I de sosiale medienes tidsalder kan alle interesserte fagfeller på den måten komme med ros og ris, og fagmiljøets dialog og samlede reaksjon kan ligge til grunn for hva som trykkes eller fremheves som forbilledlig relevant og velbegrunnet (i den grad det overhodet er nødvendig å trykke vitenskapelige arbeider i datamaskinalderen). I det hele tatt en transparent metode som gjør misbruk og korrupsjon vanskelig.

Den frimodige eks-redaktør har dog liten tro på at dette forslaget vil vinne frem, og hans forslag til forklaring på dette er dyster: De økonomiske og sosiale interessene knyttet til den tradisjonelle publiseringsmodellen er større enn kjærligheten til sannheten. Publisering i de velansette tidsskriftene bestemmer hvem som gjør karrière, hvem som får utdelt penger til sin forskning og vinner priser, for legevitenskapens vedkommende også hvilke medikamenter som blir solgt. Ironisk nok betaler også institusjonene, hvis forskere har skrevet vitenskapelige arbeider vederlagsfritt, i dyre dommer for å kjøpe tidsskriftene de er trykket i, noe som invitererer til industriell masseproduksjon av artikler snarere enn solid håndverk i mindre skala. En forretningsmodell hvor alle vinner, bortsett fra allmennheten.

Det er vanskelig å avvise en så høyt kvalifisert mann som har gjort en så grundig jobb med å argumentere for sin sak, og mange vitenskapsfolk nikker nok såpass gjenkjennende til hans observasjoner at man relativt trygt kan konkludere at han langt på vei har rett. Hans erfaring er riktignok begrenset til den medisinske vitenskapen, men det er grunn til å tro at slike mekanismer gjør seg gjeldende i andre disipliner også, særlig de som er relevante for bransjer hvor det sirkulerer mye penger. Leseren kan selv tenke over hvilke. (Mindre lukrative intellektuelle felter er nok mer sårbare for ideologi.)

Et vitnesbyrd som dette burde avføde selvransakelse innenfor vitenskapen. I den grad det ikke skjer burde det være en politisk sak, for det er i samfunnets interesse å få mest mulig innsikt igjen for de investerte forskningsmidlene. Det gjør man neppe om man holder frem som Smith mener vitenskapen stevner.