Ein million foto bidrar til identifisering av dyra på havbotnen

Snart skal det bli enklare for forskarane når dei skal analysere videoopptaka frå Mareano-tokt; dei skal få assistanse frå kunstig intelligens og maskinlæring.

– Når vi kjem heim frå tokt, har vi blant anna med oss timevis med video-opptak som kvart viser ein strekning på 200 meter, fortel forskar Heidi Kristina Meyer. Ho har hatt jobben med å gjennomgå bilete som kan brukast til opplæring av den kunstige intelligensen (KI).  

Tidkrevjande videoanalysar

Etter toktet vert videoane analyserte, kvart einaste dyr som dukkar opp skal skrivast ned – og det er her datamaskiner og KI kan få ei viktig rolle i framtida.

Foreløpig blir arbeidet gjort på gamlemåten.

– På eit tokt er det gjerne frå 50 til 150 videostasjonar. I perioden frå 2006 til 2023 har vi undersøkt heile 3482 videostasjonar, så det er eit rikhaldig biletmateriale å jobbe med, fortel Meyer.

På sikt håpar forskarane at dei kan få hjelp av KI til delar av denne jobben.

Lærer datamaskina å kjenne igjen dei ulike dyra

Før datamaskina kan hjelpe forskarane, må den lære seg jobben.  

– Å “lære opp” algoritmen, eller KI’en, til å gjere det du vil, betyr at den må få tilgang på nødvendig informasjon – og lære å bruke den på riktig måte. I dette tilfellet er det å dokumentere kva dyr som er på havbotnen, forklarar Meyer.

For at metoden, eller modellen, skal fungere, trengs det bilete av artane som skal gjenkjennast. Ikkje berre eit, men frå alle retningar.  

– Ein art kan sjå veldig ulik ut på to bilete. Dermed må maskina ha tilgang på ei rekke bilete av kvar art for å gjere jobben, seier Meyer.

– Dersom utvalet av bilete er feil, kan vi risikere at identifiseringane blir feil eller unøyaktige, seier ho.

1/6

Brukar ferdig analyserte bilete til maskinopplæringa

Vegen mot maskinlæring og bruk av kunstig intelligens har vert, og er framleis lang. Foreløpig har Meyer henta ut over ein million bilete frå Mareano sin database.

– Alle desse er analyserte frå tidlegare og inneheld artsnamn, seier ho.

No er desse bileta gjennomgått endå ein gong.  

– Det er viktig at opplysningane er lagt inn på tilsvarande måte  på alle bileta. Då blir den komande maskinlæringsjobben enklare, forklarar Meyer. For å komplisere det heile endå litt meir: Det er ikkje sjølve dyret den kunstige intelligensen skal kjenne igjen, men forma på det.

– På kvart bilete lagar vi ei slags ramme eller grense rundt alle dyra. KI’en lærer å setje desse saman på ein slik måte at den kan bruke desse rammene som utgangspunkt for identifiseringa, forklarar Nils Piechaud. Han har ansvaret for å utvikle modellane som blir brukt av KI’en i dette prosjektet.

No pågår arbeidet med å sette grensene og deretter lære KI’en å lese dei, for fullt.  

– Til saman er ca. 780 artar representert på bileta som er plukka ut. Nokre av artane har meir enn 30 000 bilete knytt til seg, seier Meyer. 

• Sjå bilete frå havbotnen.

Datamaskina skal lære seg å gjere jobben sjølv

No er utfordringa å få modellen og KI’en til å fungere slik forskarane har tenkt.

– Eit menneske kan sjå på ei sjøstjerne ein gong og deretter kjenne igjen denne arten. Slik er det ikkje for KI. Den treng mange ulike bilete frå ulike vinklar og retningar for å klare å kjenne igjen til dømes ei sjøstjerne, seier Piechaud.

Vanlegvis presterer KI’en dårleg til å begynne med, men som på mange andre område er det slik at øving gjer meister også her.  

– Med litt hjelp frå oss kan modellen, ved hjelp av KI, trene seg sjølv til å bli stadig betre, seier Piechaud.

Han held på å undersøke akkurat kor mykje informasjon som trengs for at datamaskina skal klare å kjenne igjen dei ulike artane.  

Ekstra utfordrande er det at etter kvart som fleire artar vert inkludert, aukar også krava til kva modellen må lære seg å gjere – det blir både fleire artar og fleire ulike formar å halde styr på.

– Til slutt, når modellen har lært nok, klarer den å kjenne igjen omrisset av dei utvalde dyra når dei dukkar opp på nye videoar, seier han.  

Kunstig intelligens i arbeid

Det er mange videoopptak av habotnen som skal analyserast etter eit tokt. Slik som opptaket over kan det sjå ut. "Plutseleg" dukkar det opp artar som skal dokumenterast - og då dukkar spora etter den kunstige intelligensen opp:

Når den kunstige intelligensen går gjennom videoane, ser den etter nøyaktig dei artane den har fått beskjed om. Her er det ei sjøpølse som er målet. Straks den dukkar opp i biletramma blir den tildelt eit unikt id-nummer (gul ramme). Den grønne streken viser kva retning arten "beveger" seg i, på den måten unngår forskarane at programmet blandar det "utvalgte" dyret sammen med andre dyr som kan dukke opp i samme biletramme. Dyret blir først talt når det har passert den blå streken nederst på skjermen.

Koden som er brukt til dette programmet er utvikla av Nils Piechad / Havforskingsinstituttet, inspirert av ei liknande løysing som er utvikla i open source og utvikla av Ultralytics.

Kan ikkje erstatte menneske

Foreløpig tvilar dei to forskarane på at datamaskina kan ta heilt over identifiseringa i nær framtid.

– Sjølv om den identifiserer raskt og sikkert på dei artane den har lært seg, er det foreløpig usannsynleg at den vil klare å telle og identifisere alle artane like godt som eit menneske kan gjere, seier Piechaud.

I praksis betyr det at det kjem til å bli ein kombinasjon av KI og godt, gammaldags identifiseringsarbeid i lang tid framover.

– Det endelege målet er at KI skal klare identifiseringa sjølv, men foreløpig blir det ein kombinasjon der KI gjer mykje av rutinearbeidet medan forskarar kvalitetssikrar og i tillegg identifiserer dei meir vanskelege eller ukjende artane, seier han.