Sashimi-Bot retter ut lakseloin, bytter verktøy, griper, skjærer og stabiliserer fisken. Til slutt danderer den sashimiskiver på et fat, ved hjelp av tre armer som “snakker sammen”. Dette kalles fysisk intelligens i robotfaget. Nylig ble forskningen publisert i Nature Magazine og Nature Robotics.
Lærte roboten myk multitasking
Å få en robot til å lage sashimi kan høres ut som en kuriositet. I realiteten handler det om en av de vanskeligste utfordringene i moderne robotikk. Nemlig å få autonome robotsystemer til å forstå og håndtere delikate objekter uten å ødelegge dem. En myk, glatt, klistrende og deformerbar lakseloin er fantastisk å spise, men er et marerittobjekt for roboter å jobbe med.
Sashimi-Bot kombinerer 3D formmanipulering, verktøybruk, presis skjæring og manipulasjon av tynne, skjøre skiver.
Her demonstrerer forsker Ekrem Misimi hvordan en robot kan få fingerspissfølelse ved hjelp av sensorer. Bildet er tatt i forbindelse med et tidligere prosjekt. Foto: SINTEF
– Det finnes knapt vanskeligere objekter i naturen å jobbe med, sier sjefforsker i SINTEF Ocean, Ekrem Misimi. Han har ledet teamet bak dette arbeidet.
Hva er Sashimi-Bot?
Sashimi-Bot er et nytt autonomt tri-manuelt robotsystem utviklet av forskere ved SINTEF Ocean, NTNU, QUT, Inria, MIT og NMBU, innenfor prosjektene GentleMAN (IKTPLUSS) og BIFROST (FRIPRO), finansiert av Norges Forskningsråd. Sashimi-Bot ble nylig publisert i det nyetablerte tidsskriftet Nature Robotics og omtalt i Nature Magazine. Systemet bruker tre robotarmer som samarbeider om å rette ut en lakseloin, bytte verktøy, gripe og føre en kniv, stabilisere fisken under skjæring og til slutt plukke opp tynne sashimiskiver og dandere dem på et fat.
Vi mennesker tenker ikke på dette som vanskelige og kompliserte oppgaver, men for roboter er det ekstremt vanskelig. Laksen er myk, glatt og varierer naturlig i form og størrelse. Den kan deformeres, skli, henge slapt og endre oppførsel underveis i kontakten med roboten.
– Dette er ikke bare en demonstrasjon av avansert manipulasjon og sashimi-kutting, men av autonom fysisk intelligens. Rett og slett roboter som må se, føle, tilpasse seg og handle i møte med usikkerhet, sier Misimi.
Samlet verdenseliten
Misimi samlet noen av de verdensledende miljøene innenfor taktil sansing. Altså det vi mennesker opplever gjennom berøring. De har jobbet med visuell styring av roboter, robotmanipulasjon og autonome systemer for å ta tak i de mest grunnleggende utfordringene i dagens robotikk.
– Vi har klart å lage en robot som samler flere av de mest avanserte løsningene innen robotikk i én robot.
Målet var ikke å lage en robot som kan skjære sashimi, men å demonstrere hvordan roboter kan utvikle mer fysisk intelligens. Det for å samhandle med den virkelige verden slik den faktisk er: Uforutsigbar og i stadig forandring.
– Vi har klart å lage en robot som samler flere av de mest avanserte løsningene innen robotikk i én robot, forteller Misimi.
Slik lærte forskerne roboten å føle
Den lærer først i en simulering hvordan den kan håndtere og forme en myk lakseloin – omtrent som å øve i et virtuelt treningsrom. Deretter tar den med seg denne kunnskapen rett over i virkeligheten, uten å måtte trene på nytt. Når roboten jobber, bruker den synet til å justere bevegelsene sine underveis, slik at fisken får riktig form før den skal skjæres. Samtidig styrer en robothånd kniven som et verktøy, nesten som en menneskehånd, og gjør det mulig å kutte presist og kontrollert.
Sashimi-Bot “ser” ikke bare hva den gjør, den kjenner det også. En sensor på kniven registrerer hvordan det føles når den skjærer. Litt som når vi selv merker motstanden i en kniv. Det gjør at roboten kan oppdage når den treffer skjærebrettet og automatisk justere bevegelsen.
Til slutt bruker den synet sitt til å plukke opp de tynne, skjøre sashimiskivene med spisepinner. Selv når de henger fast i kniven og er vanskelige å få tak i.
Her kan du se roboten i aksjon:
Har vist hva som er mulig
Resultatet er ikke bare enkeltstående robotferdigheter. Resultater er en hel arbeidsprosess der læring, syn, berøring og presis kontroll spiller sammen fra start til ferdig produkt.
– Dette har vært utrolig gøy å jobbe med, kanskje det morsomste prosjektet jeg har vært med på hittil. Det sier Sverre Herland som er forsker i SINTEF Ocean.
Han forteller at de her viser hvordan mange av egenskapene som trengs for avansert manipulering kan oppnås med relativt enkle verktøy. Hvis da robotene klarer å kombinere syn, berøring, læring og kontroll på en god måte.
– Dette har vært utrolig gøy å jobbe med, kanskje det morsomste prosjektet jeg har vært med på hittil.
– Arbeidet viser ikke bare hva som er mulig innenfor robotikk, men synliggjør også utfordringer. Det er først når roboten faktisk skal gripe, skjære og løfte et mykt og glatt objekt at vi ser hvor skoen trykker, sier Herland.
Finmotorikk på sitt beste når robotarmen fjerner laksebiten fra kniven. Foto: SINTEF
Et vanskelig testmiljø for fremtidens robotikk
Laks er ikke det enkleste testobjektet og ble valgt nettopp fordi den er krevende å håndtere. Laksen består av naturlige biologiske materialer og varierer i geometri. I tillegg har den dårlig karakteriserte materialegenskaper og er vanskelig å holde fast uten å skade. Nettopp derfor er sjømat et svært godt testområde for fremtidens robotikk.
– Hvis vi kan utvikle roboter som håndterer slike objekter, åpner det for langt mer enn lignende applikasjoner. Det kan bidra til automatisering av oppgaver som i dag fortsatt må gjøres manuelt fordi objektene er for variable, deformerbare eller skjøre for tradisjonell robotteknologi, sier Misimi.
Teknologien har betydning langt utover håndtering av laks fordi den adresserer et grunnleggende problem innenfor robotikk. Hvordan kan roboter forstå og fysisk samhandle med objekter som er utfordrende å modellere?
– Dette er relevant på tvers av ulike roboter og operasjonsmiljøer på land, under vann og i luften. Der roboten må kombinere persepsjon, kontaktforståelse og handling i sanntid, sier Misimi.
Mange praktiske bruksområder
I sjømatnæringen kan slike metoder bidra til mer fleksibel foredling, bedre råstoffutnyttelse, redusert matsvinn og mindre avhengighet av tungt manuelt arbeid. I matindustrien kan lignende metoder brukes for håndtering av kjøtt, frukt, grønnsaker og andre biologiske råvarer. I landbruk, helse, tekstil og resirkulering finnes tilsvarende utfordringer der roboter må forstå og håndtere objekter som ikke oppfører seg likt fra gang til gang.
Også innen undervannsrobotikk kan slike metoder åpne for nye muligheter. Dagens undervannsroboter brukes i stor grad til persepsjon, navigasjon, overvåkning og inspeksjon. Men, fysisk interaksjon og manipulasjon fortsatt er langt mindre utviklet.
Tynne skiver? Ikke noe problem for roboten. Foto: SINTEF
Mer avansert robotmanipulasjon under vann kan gjøre fremtidige systemer langt mer interaktive. På den måten kan de ikke bare observere og kartlegge, men også utføre inspeksjons-, vedlikeholds- og reparasjonsoppgaver mer autonomt og kostnadseffektivt for havindustri, energi, akvakultur og maritim infrastruktur.
Internasjonalt samarbeid på toppnivå
– Dette viser at krevende industrielle problemstillinger kan være en arena for helt grunnleggende forskning i robotikk og kunstig intelligens, sier Misimi.
Utfordringene handler ikke bare om en næring, men om noen av de største vitenskapelige nøkkelproblemene for neste generasjon autonome robotsystemer.
– Slike utfordringer løses ikke av ett miljø alene. Skal roboter lære å forstå, føle og handle i den fysiske verden, krever det samarbeid på tvers av fagfelt, institusjoner og landegrenser, sier Misimi.
Arbeidet er utviklet i samarbeid mellom flere ledende forskningsmiljøer som har vært partnere i GentleMAN og BIFROST-prosjektene. Blant medforfatterne er internasjonalt anerkjente forskere innenfor taktil persepsjon, visuell servoing og robotmanipulasjon, inkludert Edward H. Adelson fra MIT, François Chaumette og Alexandre Krupa fra Inria, og Peter Corke fra QUT.
