– Det betyr at vi må gi roboten syn, evnen til å orientere seg i tre dimensjoner. Den må også kunne ta på plantene og ikke minst lære «faget» gjennom en KI-modell, sier forsker Marianne Bakken i SINTEF.
Alle som har forsøkt å dyrke tomater, vet for eksempel at det må plukkes utløpere – små «greiner» som stjeler energi fra planten. Målet er å få planten til å bruke energien sin på størst mulig avling, ikke grønne skudd.
Dette krever kunnskap på et høyere nivå enn om roboten for eksempel bare skal plukke ut jordbær som er modne.
- Roboten som gjør det kan du lese om i denne saken: Sensor avslører når jordbæra er best.
Med andre ord må forskerne få roboten til å forstå sammensetningen av plantene. Den må også forstå hvilke deler som kan flyttes eller bøyes når planten skal stelles, og hvordan den er plassert i forhold til omverdenen.
– Når det gjelder kunstig intelligens har vi jo sett at utviklingen er i full fart. Hva er det som er vanskelig med å gi roboten en KI-hjerne?
– Mye av kunnskapen til dagens KI kommer fra bilder som ligger på nettet. Et bymiljø finnes det mange millioner bilder av hos både Google og Meta. Det gjør at KI vet hvordan en by ser ut, svarer SINTEF-forskeren.
– Men når det gjelder innsida av et drivhus eller en åker med planter, finnes det ikke bildemateriale med nok variasjon.
Spesielt er det mye utfordringer med sol, skygge og ulike årstider. Derfor kombinerer forskerne bilder og video med data fra 3D sensorer. Det gjør det lettere for en robot å orientere seg riktig.
Robotgartneren i sitt rette element: et drivhus full av jordbær som skal bli kvitt tusenvis av utløpere. Foto: Lucas Vares Vargas/NMBU
Det trengs altså svært store mengder for å trene opp roboten. Dessuten trenger forskerne en fasit å trene mot.
Med gartneren på laget
Det er her våre kolleger på Ås og Hamar kommer inn i bildet. De sitter med gartnerkunnskapen og erfaringen med å utvikle landbruksroboter. I dette tilfellet er det gartneren som er fasit.
Kvinnen med det grønne fingrene heter Vivian Rognerud. Hun er utstyrt med såkalt eyetrackingbrille. De registrerer hvordan hun ser på omgivelsene og planten mens hun jobber i drivhuset hos Graminor på Hamar.
– Her er det mer riktig å kalle det gaze-tracking, altså blikk-overvåking, forklarer Marianne Bakken.
Dette er hvordan roboten ser planten. Det som er markert i rødt skal vekk. Illustrasjon: Lucas Vargas/NMBU
Utstyret gjør det mulig å se hvor gartneren har blikket rettet mot både planten, omgivelsene og hendene. Det gir oss en mengde data fra videoen som tas opp.
Forskerne har gått rundt med disse brillene sammen med flere gartnere både på Ås, Hamar og Jæren. Et problem de har sett er at gartnerne rett og slett er så rutinerte at de ligger noen steg foran oss andre, selv om vi også vet hva som skal gjøres.
– De vet nesten intuitivt hvor på planten de skal «angripe». Så vi har instruert dem til å ta det veldig rolig. Faktisk er nybegynnere de beste læremestrene for vår robot, sier forskeren.
Her kan du se hvor lynraskt det går når en av gartnerne hos Wiig Gartneri er i aksjon med “forskningsbriller” på nesa: Video: Marianne Bakken.
– Men hva synes gartneren om å bli erstattet av en maskin som kan erstatte dem som fagarbeider?
– Nå er jo gartnerne vi jobber med forskere selv, så de er muligens litt inhabile. Men det er en kjent sak at gartnere aldri kan ta sommerferie. Det er jo midt i høysesongen. Så vi har ikke fått negative signaler på det, svarer SINTEF-forskeren.
Målet til forskerteamet er derfor å lage et system som gjør det mer lønnsomt og effektivt for gartneren i den perioden av sesongen som krever ekstrem innsats og mange er overarbeidet. Da kan de jobbe mer normalt og kanskje få ferie samtidig som venner og familie.
• Kan roboter også lære å føle? Ja. Det kan du lese om i denne saken (med video).
– Har dere fått det til?
– Ja. Vi har fått til et viktig steg på veien: Vi har klart å trene opp en algoritme som forstår sammenhengen mellom ulike deler av planten og ulike handlinger som kan utføres. Vi ser at resultatene blir mye bedre med gaze-tracking, enn uten.
Slik ser dagens gartnerrobot ut. Snart får den ny hjerne som gjør at den selv kan se, forstå og stelle planter. Foto: Lucas Vares Vargas/NMBU
Når forskerne kombinerer denne algoritmen basert på videodata med gode data fra 3D sensoren, har roboten det den trenger for å orientere seg i forhold til planten, slik at den for eksempel kan klippe vekk utløpere.
Det betyr at teamet nå har en gartnerhjerne i KI-versjon. Neste steg blir å sette den inn i selve roboten.
Her kan du lese mer om saken på Graminor sine nettsider.
Fakta om prosjektet:
Prosjektnavn: ROBOFARMER - Safe and reliable sensing, learning and control of an autonomous multi-arm agri-robot platform
Finansiering: Kompetanse og samarbeidsprosjekt, Forskningsrådet
Budsjett og varighet: 12,1 mill, 2022-2026
Partnere: SINTEF Digital, NMBU Realtek, Graminor, Njøs frukt og bærsenter, Saga Robotics.
Her finner du Robofarmers nettside.
