Visuell databehandling

Medisinsk ultralyd

Medisinsk ultralyd er et viktig diagnostisk verktøy i helsevesenet. Ultralydapparater bruker avansert signal- og bildebehandling for å oppnå best mulig bildekvalitet og analysere resultatene. På grunn av de store beregningskravene har GPU-er blitt den foretrukne maskinvaren. Forskningsgruppen vår har lang erfaring med medisinsk ultralyd, fra å introdusere GPU-er i stasjonære systemer til å muliggjøre bærbare ultralydapparater som utfører all prosessering på mobile enheter. Vi har deltatt i flere prosjekter for å utvikle og optimalisere algoritmer for visuell databehandling sammen med våre samarbeidspartnere.

Et sentralt bidrag var i BIA-prosjektet INtelligent Cardiovascular Ultrasound Scanner (INCUS), som hadde som mål å forbedre hjerteundersøkelser med ultralyd. Prosjektet søkte å automatisere arbeidsflyten, justere bilder automatisk, utføre målinger og i noen grad tolke bilder ved hjelp av kunstig intelligens (KI). Vår forskning var rettet mot bruk av dyp læring og visualiseringsteknikker for å øke produktiviteten og støtte raskere beslutninger for ultralydoperatører.

I prosjektet INtelligent Handheld Ultrasound Device (INHUD) samarbeidet vi med en industripartner for å utvikle en intelligent håndholdt ultralyd-enhet tilgjengelig for alle helsepersonell. Prosjektet tok for seg utfordringen med å bruke utstyret og tolke ultralydbilder — oppgaver som normalt krever spesialistkompetanse. Vårt arbeid fokuserte på KI-drevne algoritmer for bildeanalyse og innovative visualiseringsteknikker. Løsningene er utviklet for å gi brukerne støtte til sanntidstolkning av ultralydbilder direkte på mobile enheter, og dermed gjøre ultralydteknologien mer tilgjengelig og brukervennlig for helsepersonell.

3D-rekonstruksjon

Effektive algoritmer: I flere prosjekter har vi utviklet effektive, parallelle algoritmer for å rekonstruere eller generere 3D-representasjoner av data. Dette inkluderer en GPU-akselerert algoritme for sanntids 3D-rekonstruksjon, utviklet i et ESA-prosjekt for å lage et høyoppløselig 3D-kamera til robotiserte synssystemer i rommiljøer. Vi har også arbeidet med 3D-rekonstruksjon av ultralydbilder, der algoritmene er tilpasset ressursbegrensede mobile enheter.

Generering av mikrostrukturer: Vi har utviklet metoder for å generere 3D-volumer av porøse mikrostrukturer. Ved å bruke generative adversarial networks (GAN), trent på høyoppløselige mikro-CT-bilder, kan metoden vår lage nye unike 3D-mikrostrukturer med kontrollerbare statistiske egenskaper. Denne generative og kontrollerbare tilnærmingen kan bidra til å akselerere materialdesign og optimalisering.

Neural radiance fields: Vi har arbeidet med neural radiance fields (NeRFs), et nytt konsept innen visuell databehandling. NeRFs lagrer romlig informasjon om et foto-fanget objekt eller miljø i nevrale nettverk. Denne implisitte representasjonen kan brukes til for eksempel å generere nye visninger eller rekonstruere 3D-modeller, som vist i bildet under. NeRFs inspirerer også løsninger på inverse problemer i andre vitenskapelige felt, som å bestemme fysiske egenskaper ut fra sparsomme målinger.