Onderzoekers aan de Technische Universiteit München (TUM) zijn erin geslaagd om nauwkeurige 3D-reconstructies van objecten te genereren met behulp van afbeeldingen vanuit slechts twee cameraperspectieven. Hun methode werkt zelfs met afbeeldingen die in hun natuurlijke omgeving zijn vastgelegd. Voorheen waren dergelijke reconstructies alleen mogelijk met honderden perspectieven of onder laboratoriumomstandigheden. Camera-gebaseerde reconstructies worden gebruikt bij autonoom rijden of bij het behoud van historische monumenten.
In de afgelopen jaren zijn neurale methoden wijdverspreid geraakt in camera-gebaseerde reconstructies. In de meeste gevallen zijn echter honderden cameraperspectieven nodig. Ondertussen bestaan er conventionele fotometrische methoden die zeer nauwkeurige reconstructies kunnen berekenen, zelfs van objecten met textuurloze oppervlakken. Deze werken echter meestal alleen onder gecontroleerde laboratoriumomstandigheden.
Nauwkeurigere reconstructies
Daniel Cremers, professor Computer Vision en Kunstmatige Intelligentie aan de TUM en leider van het Munich Center for Machine Learning (MCML) en directeur van het Munich Data Science Institute (MDSI), heeft samen met zijn team een methode ontwikkeld die de twee benaderingen combineert. Het combineert een neuraal netwerk van het oppervlak met een nauwkeurig model van het belichtingsproces dat rekening houdt met de lichtabsorptie en de afstand tussen het object en de lichtbron. De helderheid in de afbeeldingen wordt gebruikt om de hoek en afstand van het oppervlak ten opzichte van de lichtbron te bepalen. “Daardoor kunnen we de objecten met veel grotere precisie modelleren dan bestaande processen. We kunnen de natuurlijke omgeving gebruiken en relatief textuurloze objecten reconstrueren voor onze reconstructies,” zegt Daniel Cremers.
Toepassingen in autonoom rijden
De methode kan worden gebruikt om historische monumenten te behouden of museumstukken te digitaliseren. Als deze worden vernietigd of in de loop van de tijd vervallen, kunnen fotografische afbeeldingen worden gebruikt om de originelen te reconstrueren en authentieke replica’s te maken. Het team van Prof. Cremers ontwikkelt ook neurale camera-gebaseerde reconstructiemethoden voor autonoom rijden, waarbij een camera de omgeving van het voertuig filmt. De autonome auto kan zijn omgeving in real-time modelleren, een driedimensionale weergave van de scène ontwikkelen en deze gebruiken om beslissingen te nemen. Het proces is gebaseerd op neurale netwerken die 3D-puntenwolken voorspellen voor individuele videobeelden die vervolgens worden samengevoegd tot een grootschalig model van de bereden wegen.
