– Gripeevnen har vært en kjent utfordring for roboter i lang tid, men nå har vi endelig funnet en løsning, forteller SINTEF-forsker Ekrem Misimi.
Han har viet forskningen sin til å finne ut hvordan vi kan gi roboter egenskaper som gjør dem i stand til å håndtere vanlige gjenstander, inkludert sårbare og ettergivende objekter, som tomat og fisk.
Taktile ferdigheter er en utfordring
Sammen med Massachusetts Institute of Technology (MIT) har et forskerteam ved SINTEF, ledet av Misimi, studert hvordan vi kan lære roboter såkalte taktile ferdigheter.
Arbeidet ble først presentert på IROS, en av verdens største og mest innflytelsesrike forskningskonferanser innen robotikk i sommer og er nå vitenskapelig publisert.
En av de største utfordringene har vært roboters evne til å oppdage og reagere på de aller første tegnene til at objektet de holder begynner å slippe. Dette er krevende fordi det involverer komplekse, romlige og tidsmessige fenomener, ifølge forskeren.
– Når vi tar fingrene rundt et objekt og løfter det opp, skjer det en rik tolkning av det vi ser og føler. Hjernen vår, gjennom signaler fra huden i fingrene, danner et taktilt kart over kontaktflaten, forklarer Misimi.
Utfordringen er at ting har ulik overflatetekstur og materialegenskaper. Dermed må roboten gjøres i stand til å tolke disse unike kartene hver gang den griper et objekt.
Tyngdekraften gjør det enda mer komplekst. For det første så er ikke grepet nok. Det må justeres dynamisk, altså strammes etter behov for å unngå at objektet glir ut, faller ned og blir ødelagt.
Glatt kopp – fylt med vann. Ikke noe problem å skjønne for roboten, som lett klarer å gripe og holde den. Foto: Henriette Krogness
– Et kjent eksempel som kan forklare fenomenet er når man fyller en flaske med vann. Da kan vekten av vannet gjøre at den begynner å gli ut av hånden vår. For å forhindre at flasken glipper må vi justere grepet, forklarer Misimi.
For roboter er det en stor utfordring å oppdage og reagere på slike hurtige, små endringer i kraft og friksjon – og samtidig ikke ødelegge objektet.
Slik lærte forskerne roboten å føle
Fram til nå har roboter lært å oppdage at grepet slipper ved å løsne grepet litt etter litt til objektet faller. Problemet er bare at det ikke er dette som skjer i virkeligheten.
– Vi mennesker har en utrolig rik berøringsfølelse. Denne gir oss detaljert informasjon om hvordan et objekt beveger seg og hvor hardt vi må klemme. Det mangler roboter.
Løsningen ble å bruke bildedata fra taktile sensorer. Deretter ble roboten utstyrt med myke gripefingre og innebygde kameraer, som gir informasjon om objektet i 3D.
– Etter hvert som den myke overflaten i grepet skifter form, registrerer kameraet hvordan kontakten endrer seg. Det gjør at vi kan etterligne den sensoriske opplevelsen mennesker får gjennom fingrene. Roboten kan dermed vurdere hvor god kontakten er mellom grepet og objektet. På denne måten har vi lært roboten vår å «føle», forklarer Misimi.
Slik ser robotens “fingertupper” ut. De mange sensorene kan kjenne om overflaten er glatt eller ru, og registrerer vekten. Trykket justeres deretter. Foto: Henriette Krogness
99 prosent nøyaktighet
Men roboten må også lære å håndtere ulike former og størrelser.
Til dette brukte forskerne bilder av 30 forskjellige hverdagsobjekter med ulik form, tekstur og materiale. Så la de til KI-algoritmer, som likner på det ChatGPT bruker. Disse ble tilpasset visuelle data, i stedet for tekst.
Den avanserte algoritmen gjør det mulig for roboten å fokusere på de viktigste delene av bildene for å oppdage når et slipp er i ferd med å skje, slik at den kan reagere i tide og justere grepet for å forhindre at objektet glir ut.
Nå klarer roboten å detektere slipp på objekter med ulik form, tekstur og materiale som den aldri har sett før i 99 prosent av tilfellene.
– Det er et viktig gjennombrudd i utviklingen av taktil intelligens, og et avgjørende skritt mot å gjøre roboter i stand til å utføre nye, mer komplekse oppgaver i industrien og hverdagen i fremtiden, avslutter Misimi.
