Referat møte i NENT 20. juni, 2019

Tid: 20. juni, klokken 9:00-14:00 
Sted: Vetenskapsrådet, Stockholm 
Til stede: Rune Nydal, Øyvind Mikkelsen, Kjellrun Hiis Hauge, Jørn Paus, Ole Andreas Engen, Gorm Johansen, Ketil Skogen, Steinar Heldal 
Fra sekretariatet: Camilla Bø Standal, Helene Ingierd (referent) 
Meldt avbud: Lise Øvreås, Tone Druglitrø, Michaela Aschan, Jim Tørresen, Cecilie Mejdell, Hanne Guldbrandsen 

1. Konstituering av møtet. Godkjenning av dagsorden. Vurdering av habilitet. Saker til Eventuelt. 

Dagsorden ble godkjent. Sak 4. og 5. byttet plass. Ingen vurderinger av inhabilitet. Det var en sak til Eventuelt. 

2. Runde rundt bordet 

• Norges forskningsråd arrangerte petroleumskonferanse 5. juni om petroleumsforskning og bærekraft. Ole Andreas Engen deltok i panelet, der også NENTs uttalelse om petroleumsforskning ble gjenstand for debatt. Mer åpenhet om finansieringsordninger og relasjoner i petroleumsforskningen ble fremhevet som en viktig endring etter uttalelsen.  
• I Trondheim ble vitenskapskonferansen arrangert i juni, med søkelys på store, globale utfordringer og forskningens rolle.  
• På HVL er det gjennomført et webseminar om forskningsetikk, og det etterlyses mer erfaringsutveksling om erfaringer knyttet til undervisning i forskningsetikk, i lys av ny lov. 
• På Nord Universitet har det vært diskusjoner rundt funn fra delrapport I fra RINO, og det var enighet om at rammebetingelsene for forskning må adresseres. 
• På SINTEF legges etisk råd ned, samtidig som det meldes om at etikk-diskusjonene skal tas inn på ledernivå. 
• NENT v/Øyvind og Helene og Jørn har hatt møte med Etisk Råd i TEKNA og Equinor for å diskutere mulig samarbeid. 
• FFA har gjort en undersøkelse om hvordan instituttene jobber med redelighetsutvalg. 

3. Orientering fra sekretariatet. 

• Presseklipp 
• WCRI: FEK var godt representert. Det arbeides med et Hong Kong-manifest: https://www.wcri2019.org/uploads/files/2019/Hong_Kong_Manifesto_v9.pdf 
• Stordataprosjektet er godt i gang og skal ferdigstilles i januar 2020 
  Forskningsetisk forum er i Bergen 26. september. Dette blir også sluttkonferansen for RINO-prosjektet.  

4. Angående IPBES publiseringspraksis 

Helene Ingierd innledet. NENT har mottatt en henvendelse angående Naturpanelets publiseringspraksis fra Sindre Langaas, NIVA. Langaas ber NENT om å vurdere praksisen med å publisere sammenfatningen av hovedrapporten uten å samtidig publisere selve hovedrapporten. Langaas viser to debattinnlegg i Aftenposten, og skriver at dette er en «…prinsipiell viktig praksis å få analysert og evaluert, ikke minst pga. den sterke koblingen mellom forskning og politikk».  
 
Forskningsetisk sett er det krav til selve forskningsformidlingen, og at  
forskeren skal få fram den graden av sikkerhet og presisjon som kjennetegner forskningsresultatene. Det er derimot ingen av retningslinjene til NENT som eksplisitt sier noe om formidling av forskningsresultater før publisering. Det sentrale spørsmålet her er hvorvidt sammendraget og rapporten fra Naturpanelet bør være gjenstand for forskningsetiske krav og hensyn, på lik linje med vitenskapelige publikasjoner. NENT mener det fremstår noe uklart, ut fra svaret fra Miljødirektoratet i Aftenposten, om Miljødirektoratet selv mener sammendraget og rapporten er forskning. Komiteen påpeker at selve rapporten er en sammenstilling av forskning, og at selve sammendraget bygger på rapporten og tillegges tyngde av den grunn. Dette tilsier at rapporten og sammendraget bør være gjenstand for forskningsetiske hensyn og krav, på lik linje med vitenskapelige publikasjoner. Samtidig er det uklart hvilken rolle myndighetsrepresentanter spiller i prosessen med å lage sammenfatningen og i hvilken grad de kan sensurere innhold. En sterk medvirkning tilsier eventuelt at dette ikke er en standard vitenskapelig publikasjon, der produktet og rådene utvikles av forskere.  
 
Konklusjon: Før komiteen bestemmer om de tar saken eller ikke, ber NENT Miljødirektoratet, som ansvarlige for Norges representasjon i Naturpanelet, om innspill for å avklare hvordan sammendraget utformes, og mer bestemt hvilken rolle spiller hhv. forskere og myndighetsrepresentanter i denne prosessen, og om deres syn på hvorvidt forskningsetisk retningslinjer er relevante i vurderingen av publiseringspraksisen eller ikke.   

5. Angående akademisk frihet og føre var 

Ingrid Bay-Larsen innledet. NENT har mottatt en henvendelse som gjelder spørsmål knyttet til akademisk frihet, og mer bestemt forskerens rett og plikt til formidling av egne forskningsfunn i offentligheten. På møtet 29. mars bestemte komiteen at de ville avgi en uttalelse om spørsmål saken reiser. I etterkant av møtet ba NENT ledelsen ved visse utvalgte forskningsinstitusjoner (UiB, UiO, NTNU, NORCE, Havforskningsinstituttet, SINTEF) om innspill angående forskerens akademiske frihet spesielt. Spørsmålene som ble stilt var: 

1. Finnes det legitime begrensninger på en forskers rett til å ytre seg i offentligheten om egen og andres forskning, og hva slags begrensninger er det eventuelt tale om? 
2. Finnes det situasjoner (for eksempel føre-var) der en forsker har plikt til å varsle offentligheten om sine forskningsfunn? 
3. Er det en prinsipiell forskjell på rett til formidling av upubliserte vs. publiserte forskningsfunn 

Pr 14.06.har NENT mottatt svar fra de tre universitetene. NORCE har varslet at de vil behandle henvendelsen, de to øvrige institusjonene har ikke svart (etter tre henvendelser). På møtet i NENT 29. mars diskuterte NENT hvilke forskningsetiske temaer og spørsmål saken reiser. Institusjonene svar utfyller enkelte av disse: 

• Akademisk frihet   

Akademisk frihet er ikke omtalt eksplisitt i NENTs retningslinjer, men viktige dimensjoner ved denne friheten fremkommer under punktene om oppdragsforskning (punkt 17 og 18) og i punktene om forskningsformidling (punkt 21-23). Når det gjelder spørsmål 1, viser alle universitetene til relevant lovgivning på området, dvs. universitets- og høgskoleloven § 1-5 (akademisk frihet) og Grunnloven § 100 (ytringsfrihet).1 Forskeres rett til å ytre seg om egen forskning er en del av samfunnsoppdraget og UiO viser også her til NENT pkt 21-23. Når det gjelder andres forskning henvises det til pkt 6. Legitime begrensninger eller forutsetninger som tas opp er, i tillegg til rettslige skranker som patentrettslige eller konkurransemessige interesser (jf. universitets- og høgskoleloven § 1-5 sjette ledd), krav til etterrettelighet og ansvar for å vurdere om konsekvenser av forskningen vil være skadelige for samfunnet eller misbrukes politisk (jf pkt 1) (UiO). Her nevnes også taushetsbelagte opplysninger og personvernhensyn, og at forskeren ikke bør misbruke sin akademiske tittel til å gi sine meninger større tyngde (UiB og NTNU).  

• Føre var-prinsippet  

Føre var-prinsippet fremstår som sentralt i saken. Føre var-prinsippet innebærer at forskeren skal bidra med kunnskap der «…det foreligger plausibel, men usikker kunnskap om at en teknologisk anvendelse eller en utvikling av et forskningsfelt kan føre til etisk uakseptable konsekvenser for helse, samfunn eller miljø». Hvis forskningsresultater om negative effekter blir underkommunisert vil en heller ikke oppnå en tilstrekkelig kunnskapsbasert forvaltning. 
 
I sitt svar på spørsmål 2 viser UiO til situasjoner som går utover varsling knyttet til metode eller arbeidssituasjon (pkt 19-20). Et eksempel som gis fra medisinfeltet er Thalidomid-saken. NTNU nevner fire ulike eksempler, der forskeren kan ha en plikt om å varsle offentligheten: (1) Høy risiko for at liv og helse står på spill, som ved forestående terrorangrep; (2) viktige forskningsmessige kontroverser som ikke er fremkommet; (3) alvorlige feil i egen eller andres forskning; og (4) manglende effekt av behandling. UiB understreker likeledes at det kan være en moralsk plikt til å varsle, som ved «…høy risiko for betydelig helsetap, men der omfanget av evidens ikke tilfredsstiller vitenskapelige krav til evidens grunnet små utvalgsstørrelser».   

• Forskningsformidling av upubliserte funn  

Det siste spørsmålet gjelder forskerens rett og ansvar til å formidle upubliserte funn. Er det at funnene ikke er publisert i seg selv noe som alltid vil utgjøre en begrensing på en plikt til å varsle?  
Føre var-prinsippet tilsier at det kan være gode grunner for formidling, selv uten at resultatene er publisert dersom «…det foreligger plausibel, men usikker kunnskap om at en teknologisk anvendelse eller en utvikling av et forskningsfelt kan føre til etisk uakseptable konsekvenser for helse, samfunn eller miljø». Samtidig understreker retningslinjene at «Forskeren skal få fram den graden av sikkerhet og presisjon som kjennetegner forskningsresultatene» (punkt 8).  
 
Alle understreker at det uansett er en rett til formidling, men at det er en reell forskjell mht. vitenskapelig status mellom publiserte vs. upubliserte forskningsfunn, og at det er viktig med åpenhet om dette i formidlingen, spesielt i forbindelse med kontroversielle uttalelser eller varslinger. NTNU skriver at retten til formidling av upubliserte funn i større grad er avhengig av situasjonen, og nevner momenter som avtale med medforfattere, oppdragsgiver, og om begrensninger fremkommer. 

Komiteen påpekte følgende: 

• Universitetene svarer reflektert rundt spørsmål om føre var og varsling. 
• Det hadde vært ønskelig med innspill fra instituttsektoren, og svarene fra universitetene i liten grad gjelder forskning innen NENTs fagområder og der politiske og økonomiske interesser også kan tenkes å kneble eller stilne forskning.  
• Formidling av og åpenhet om hypoteser og problemstillinger er også en viktig dimensjon. Det er for eksempel en rekke store samfunnsutfordringer, blant annet knyttet til marine økosystemer, som i dag ikke er direkte forskbare. Da vil det være nødvendig å formidle kritiske hypoteser, slutte og anta, basert på ekstrapoleringer, proxier m.m. som ikke uten videre er publiserbare.  
• Benyttelsen av føre var-prinsippet kan ha konsekvenser for etterprøvbarhet. 
• Policy om åpen forskning og åpen tilgang tilsier at forskning kan ligge åpent tilgjengelig mens det er til vurdering, noe som øker sannsynligheten for at media får tilgang til resultatene før endelig publisering. Dermed forsterkes problemstillingene denne saken reiser 
• Er NENTs retningslinjer dekkende nok om disse problemstillingene og om eventuelle forskjeller mellom UH-sektoren og instituttene? 
• Viktige dimensjoner i vurderingen av føre var er: tidsaspektet og om det haster at resultater kommer opp, og mottaker av formidlingen. 

Konklusjon: NENT avventer svar fra instituttsektoren før endelig uttalelse utarbeides.  

6. Forskningsetisk betenkning om kunstig intelligens 

Øyvind Mikkelsen innledet. Møtet med Expertgruppen for etikk 19. juni var nyttig og komiteen fikk gode innspill i arbeidet med en betenkning, samtidig som møtet bekreftet at momentene komiteen jobber med oppleves som relevante og viktige.  

NENT diskuterte særegne karakteristiske trekk ved KI. Følgende kjennetegn ved teknologien ble diskutert:  

• Etterligner, erstatter og utvider menneskelig intelligent handling, og menneskelig beslutningstaking og vurdering. KI kan også forsøke å simulere menneskelige følelser. Det er ulik grad av kompleksitet av de menneskelige handlinger som erstattes eller automatiseres. 
• Har utallige anvendelsesområder og enormt endringspotensiale. Utviklingen skjer dels i samhandling med oss og dels i interaksjon mellom de tekniske systemene. Teknologien er også kjennetegnet ved uforutsigbarhet; det er utfordrende eller umulig å forutse hvilke virkninger teknologien vil ha for enkeltindivider, samfunn og miljø.  
• Generering av stordata har muliggjort de siste års KI-utvikling, samtidig som KI igjen frembringer stordata, som kan inneholde personopplysninger.    

Arbeidsgruppen og NENT har samlet seg om 9 forskningsetiske aspekter. Komiteen mener det er viktig å ha oppmerksomhet om disse, både blant forskere, forskningsinstitusjoner og andre aktører som finansierer og utvikler rammevillkårne for forskning i Norge. 

• Uforutsigbarhet 

Forskningsetisk sett er det vesentlig å vurdere og kommunisere usikkerhet i forskningen. Kunstig intelligens-utviklingen er kjennetegnet ved grunnleggende usikkerhet og uforutsigbarhet. Usikkerheten i kunstig intelligens-forskning er knyttet til a) selve systemene, inkludert kvaliteten på data; b) bruken av systemene og virkninger på enkeltpersoner, dyr, miljøet og samfunnet; c) verdiene som (eksplisitt eller implisitt) bygges inn i systemene og hvordan disse påvirker utfall eller, i en større sammenheng, hvordan disse påvirker enkeltpersoner, dyr, miljøet og samfunnet; og d) konsekvensene ved å ikke utvikle teknologien. NENT ser et behov for systematiske studier av risikoene forbundet med utviklingen av kunstig intelligens. Det er av betydning at forskere, så vel som politiske beslutningstakere, anerkjenner usikre mulige konsekvenser og ukjente ukjente. Det bør legges til rette for tverrfaglighet i forskning for å anerkjenne uforutsigbarhet, og minimere usikkerhet, der det er mulig. Etikk må inn i utdanningen av fremtidig utviklere av kunstig intelligens.      

• Bred involvering 

Forskere har et ansvar for å kommunisere risiko som følger av forskningsfunn. Hvilke risikoer og muligheter ved teknologien som vektlegges vil imidlertid være ulikt avhengig av hvilket etisk perspektiv og hvilke verdier og interesser som legges til grunn. Utviklingen drives i dag i stor grad frem av teknologer og økonomiske interessenter. De som blir mest påvirket av beslutninger som tas, har ofte ikke en stemme i beslutningsprosessene. Derfor bør det legges til rette for bred involvering i diskusjoner om hva som er formålet med forskningen, innretningen på forskningssatsninger og bruk av forskningen. 

• Ansvar 

Spørsmålet om ansvar er essensielt i kunstig intelligens-sammenheng og viktigheten av dette spørsmålet forsterkes ved utvikling og bruk av autonome systemer. Generelt kan det hevdes at jo mer autonom et kunstig intelligens-system er, jo vanskelige vil det være å kontrollere det, og ansvaret er vanskeligere å lokalisere. 
 
NENT mener det må være et krav om å kunne lokalisere ansvar om det skjer en ulykke som konsekvens av en beslutning i et kunstig intelligens-system.  
 
Det må skilles mellom forskerens ansvar for kunstig intelligens-forskning og forskerens ansvar for videre bruk av forskningsresultatet. Forskningsetisk sett har forskeren et medansvar for bruk av forskningen.  
 
Forskere må samarbeide med eksterne aktører for å vurdere risiko ved eventuell videre bruk av forskningsresultater.  

• Menneskeverd

Forskningen må ikke bryte med de rettighetene som er nedfelt i anerkjente internasjonale konvensjoner om sivile, politiske, økonomiske, sosiale og kulturelle menneskerettigheter. Kunstig intelligens-forskning kan bidra til å fremme menneskeverdet, men også true det. Kunstig intelligens må utvikles og brukes på en måte som har respekt for menneskeverdet. Dette fordrer en innebygget etikk. Innebygd etikk (Ethics by design) er et begrep som viser til behovet for en proaktiv tilnærming for å sikre god og ansvarlig kunstig intelligens-forskning. De bygger på det mer veletablerte begrepet «innebygd personvern», som vi blant annet finner i personvernlovgivningen. «Innebygd etikk» er bredere og viser til at systemene må være bygd opp på en måte som ivaretar personvern, samt forventet eller mulig innvirkning på enkeltpersoner og samfunnet, og krav til rettferdig og etisk bruk av slike systemer. 

• Personvern og hensyn til enkeltmennesker 

Grunnleggende personvernprinsipper, nedfelt i personvernlovgivningen, om lovlighet, rettferdighet, gjennomsiktighet, formålsbestemthet, dataminimering, riktighet, lagringsbegrensning, integritet og fortrolighet og ansvarlighet skal følges. Forskningsetisk sett er samtykke en hovedregel når personopplysninger brukes i forskning. Men samtykke er ikke alltid mulig å innhente, og selv når samtykke er mulig, vil det ofte ha sine begrensninger. Utfordringer oppstår også fordi opplysninger som i utgangspunktet er anonymiserte kan bli personopplysninger ved nye sammenstillinger. Derfor er det en økt erkjennelse av at vi også trenger andre tilnærminger for å sikre respekten til de som deltar med sine personlige opplysninger i forskning. Den forskningsetiske vurderingen av opplysningens offentlighet, informasjonens sensitivitet, de berørtes sårbarhet og forskningens interaksjon og konsekvenser bør ligge til grunn for vurderingen av forskerens ansvar for å informere og innhente samtykke (NESH 2018).  

• Kvalitet og skjevhet 

Det kan være særlig grunn til å stille kritiske spørsmål ved dataenes kvalitet, sannferdighet og relevans i kunstig intelligens-forskning fordi vi ikke alltid vet hvor dataene kommer fra, og metadata kan mangle eller være usikre. Mulighetene for slutningsfeil øker pga. skjevheter i materialet, analyseverktøyet og grunnet menneskelig fortolkning. Dette gir grunnlag for usikkerhet knyttet til tolkninger og beslutninger basert på kunstig intelligens. NENT mener det er vesentlig å legge til rette for åpne og allment tilgjengelige data for å sikre etterprøvbarhet og kvalitet. Samtidig må usikkerhet og begrensninger ved forskningen kommuniseres.  

• Eierskap, tilgang til og deling av data 

Forskningsetisk sett er det vesentlig å legge til rette for at forskningen, inkludert data og resultater, som hovedregel gjøres tilgjengelig for alle. Deling av data er viktig for etterprøving og etterbruk av forskningsmateriale. Åpenhet er også en forutsetning for samfunnets tillit til forskning. NENT ser en risiko for at store deler av forskningsinnsatsen innen kunstig intelligens unndrar seg de krav til åpenhet som gjelder for forskning ellers (bl.a. nedfelt i FAIR-prinsippene), for eksempel med henvisning til nødvendigheten av hemmelighold for å sikre konkurransefortrinn. Samtidig bør det være et mål å sikre åpenhet på et mer overordnet plan om hvem som skal ha eierskap knyttet til teknologi, infrastruktur og data, hvilke forskningsområder som prioriteres, hvorfor de prioriteres og hvem som kan dra nytte av forskningsinnsatsen.  

• Forskningsformidling og hype 

Forskere skal bidra til informert samfunnsdebatt, slik at samfunnets vurderinger funderes i realisme. Det er imidlertid utfordrende å sikre en balansert diskusjon om risikoer og muligheter ved kunstig intelligens. Fremstillingene av KI i offentligheten kan tendere mot en slags «moralsk panikk», der scenarier knyttet til muligheten for superintelligens fremheves. På den annen side kan muligheter overdrives og farer som konsekvens av teknologi underkommuniseres for å sikre finansiering av utvikling og forskning. Vi bør som samfunn unngå naivitet og være klar over mulige risikoer og muligheter, for eksempel at kunstig intelligens kan komme i gale hender. Forskersamfunnet har et særlig ansvar for å formidle risikoer og muligheter på edruelig vis, da de best vet hvor langt utviklingen har kommet.  

• Inspiserbarhet 

Åpenhet, forskningsetisk sett, innebærer å være åpen og eksplisitt om valg av datakilder, utviklingsprosesser og interessenter. Inspiserbarhet betegner en evne til å beskrive, inspisere og reprodusere hvordan beslutninger tas av systemene, samt opprinnelsen til data som brukes og lages av systemet. Inspiserbarhet er helt avgjørende for å sikre rettferdighet og tillit ved automatiserte avgjørelser, som "profilering", der personopplysninger blir brukt til automatisk å analysere eller forutsi forhold ved enkeltpersoner eller grupper (f.eks. knyttet til økonomi, helse og atferd). Sort-boks-problematikk betegner ulike utfordringer knyttet til at kunstig intelligens-systemene og algoritmene kan være så kompliserte at vi ikke forstår hvordan systemene har kommet frem til et svar eller en beslutning. Et system bestående av en sort boks vil ofte kunne ha bedre ytelse enn et mer inspiserbart system, så forskeren må i enkelte tilfeller gjøre en avveining mellom kvalitet og åpenhet. NENT mener slike avveielser bør synliggjøres og begrunnes og at det må være et mål å oppnå «glassbokser» i kunstig intelligens-forskning, dvs. systemer som lar seg inspisere. 
 
Konklusjon: Helene Ingierd lager utkast til innspill til nasjonal strategi for KI, basert på momentene og diskusjonen som sendes på sirk. Arbeidsgruppen jobber videre med betenkningen, som ferdigstilles i høst.  

7. Høring Eventuell justering av publiseringsindikatoren i lys av Plan S 

Ole Andreas Engen innledet. Engen innledet om publiseringsindikatoren og Plan S, og hvordan Plan S kan forstyrre det nåværende publiseringssystemet. På grunnlag av den ensidige fremstillingen i høringsbrevet og de mangelfulle presentasjonene av de skisserte alternativene, kan De nasjonale forskningsetiske komiteene ikke ta stilling til alternativene som er presentert. Departementet oppfordres heller til å gjennomgå publiseringsindikatoren/tellekantsystemet på en helhetlig måte, ikke bare opp mot Plan S, men også opp mot andre initiativ som DORA, European Code of Conduct for Research Integrity og de nasjonale forskningsetiske retningslinjene, samt resultatene fra RINO-prosjektet. De nasjonale forskningsetiske komiteene bistår gjerne til et slikt arbeid. 
 
Konklusjon: Sekretariatet utformer svar etter innspill fra samtlige komiteer og utvalg.   

8. Eventuelt

Øyvind Mikkelsen har fått en henvendelse fra NOFIMA om innlegg om forskningsetikk. Mikkelsen videresender.