Mennesker lærer gjennom en relativt sakte prosess som utspiller seg over flere år, fra babystadiet, til barndom og videre til voksen alder. I Neodroid vil vi utvikle en robothjerne i et akselerert læringsmiljø, slik at roboten kan lære i løpet av dager eller uker det som kan ta mennesker flere år å lære.
Det perfekte akselererte læringsmiljøet er virtuell virkelighet (VR), hvor tiden kan akseleres og hvor roboter kan bevege seg og lære raskere og tryggere enn i virkeligheten. Visjonen bak Neodroid er å lære roboter å gjennomføre oppgaver som kombinerer syn og motorikk, ved å trene robotenes hjerner i VR. Dette er samme filosofi som ble observert i filmen "The Matrix", hvor Neo lærte kung fu over en periode på flere timer i en simulator - som kun varte i noen sekunder i den virkelige verden.
På samme måte vil vi i Neodroid skape en robothjerne ved bruk av "deep learning" (en form for kunstig intelligens) ved å trene den mye hurtigere og tryggere i VR enn det er mulig å gjøre i den virkelige verden. Prosjektet har nå implementert de mest grunnleggende delene av robothjernen og fått det til å fungere på en enkel oppgave. Dette er delen av robothjernen hvor det dannes koblinger mellom hva 3D kamera (robotens øye) ser og hvor roboten kan plassere sin griper. Denne delen av robothjernen har blitt testet i VR, på en enkel oppgave - å plukke opp virtuelle fisk fra en eske. Høsten 2017 og våren 2018 ble det jobbet med å teste denne delen av robothjernen i en virkelig robot og med ekte fisk. Dette fungerte overraskende bra. Roboten klarte å plukke ekte fisk med en suksessrate på ca. 80%. Dette er overraskende fordi roboten aldri hadde sett en ekte fisk før.
Prosjektet jobber nå videre med å forbedre robothjernen på de områdene som den gjorde feil på under eksperimentene med ekte fisk. Spesifikt så jobbes det med å gjøre det mulig for roboten å tenke raskere. Tenkning i 3D tar mye beregningskapasitet og det må utvikles spesifikke deep learning algoritmer for å minske behovet for beregningskapasitet, slik at roboten både kan tenke raskere og gjøre mer komplekse handlinger.
Parallelt med å forbedre robothjernen jobbes det også med en mer effektiv måte for mennesker å vise roboten hva man ønsker at den skal gjøre. Dette gjøres gjennom et VR-spill som heter Neodroid Playground. Utviklingen av dette spillet begynte i 2019 og ble avsluttet i 2020.
I 2020 begynte arbeid på å forbedre robothjernen slik at den kunne forstå tidssekvenser av oppgaver som ble demonstrert i 3D. Det ble gjort demonstrasjoner på laboratoriet hvor roboten klarte å forstå en oppgave etter bare en halvtime med demonstrasjoner, men roboten var skjelven på hånda og ikke så veldig nøyaktig. Dette skyldes at det er svært utfordrende og krever mye beregningskapasitet, og det er utfordrende å få dette til å fungere godt. Derfor skal det i 2020 og 2021 jobbes videre med å forbedre dette.