Met behulp van een databril kunnen virtueel de montage- of onderhoudsvoorschriften in het blikveld van de monteur worden gebracht. Deze trainingssystemen worden door automatische aanwijzingen ondersteunt en worden in toenemende mate in de industrie en productie ingezet bij innovatieve assistentiesystemen en trainingssimulatoren waarbij gebruik wordt gemaakt van virtuele en augmented reality (AR).
In het kader van het Europese samenwerkingsproject Cognito ontwikkelt het Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI) een nieuw soort leerproces en instrumenten voor sensorische detectie en ondersteuning van manuele werkprocessen.
Het intelligente assistentiesysteem
Een onderhoudstechnicus staat voor een pompsysteem van een grote industriële installatie. Een defecte kogelklep moet hier worden vervangen. Hij gebruikt daarbij een intelligent assistentiesysteem, bestaande uit een brildisplay en op zijn lichaam aangebrachte sensoren. Het systeem herkent zijn handelingen en toont hem binnen zijn blikveld belangrijke informatie voor elke volgende stap in de vorm van teksten en grafieken. Zijn leraar heeft het voorgeschreven werkproces gedemonstreerd en voorzien van aanvullende informatie.
Als de technicus zijn werk uitvoert met dit systeem, worden de werkzaamheden correct en op een ergonomisch juiste manier uitgevoerd. Mocht hij toch een fout maken of een ongezonde houding aannemen, dan wijst het systeem hem er daarop en toont de noodzakelijke correctie. Dankzij deze ondersteuning kan de technicus de klep veilig en zonder problemen vervangen en kan de installatie snel weer in werking worden gezet.
Het bovenstaande scenario beschrijft een intelligent assistentiesysteem bij industrieel gebruik. Op dezelfde manier diende een proefopstelling van het Europese project Cognito (Cognitive Workflow Capturing and Rendering with On-Body Sensor Networks), die aan het eind van het jaar 2012 werd gebruikt in de ontwikkelings- en demonstratie installatie SmartFactoryKL bij het Duitse onderzoekscentrum voor kunstmatige intelligentie (DFKI) in Kaiserslautern. Prof. Dr. Didier Stricker, hoofd van de afdeling augmented reality bij het DFKI, begeleidde het project met als doel het ontwikkelen van de noodzakelijke basistechnologieën voor dergelijke toepassingen.
De eisen aan dergelijke systemen zijn zeer gevarieerd. Ze moeten de werkomgeving en activiteiten van de gebruiker betrouwbaar opnemen en interpreteren om de juiste feedback te kunnen geven zonder kostbare programmering en ze zijn toepasbaar op diverse arbeidsprocessen. Ook is eenvoudig onderhoud, mobiliteit en flexibele aanpassing aan een veranderende omgeving vereist. Het waarnemen van de omgeving en de activiteiten wordt gedaan met speciale sensoren, waarbij de metingen vooral in een industriële omgeving uitermate robuust en nauwkeurig moeten zijn.
De kerntechnologieën
Een kernelement van het Cognito-system is de exacte waarneming van de bewegingen van het lichaam en de handbewegingen in combinatie met de interactie met de objecten in de werkomgeving. Hiervoor werden diverse complexe sensornetwerken en verwerkingsalgoritmen ontwikkeld en onderzocht. De uitgewerkte variant is gebaseerd op een mobiel om het lichaam gedragen netwerk van sensoren voor het draaien en versnellen (zogenaamde inertialsensoren) in combinatie met kleur- en dieptecamera’s. De projectorpartner Trivisio ontwikkelde zelf geïntegreerde, visueel-inertiale units.
De verwerking van de informatie van de verschillende sensoren is een speciaal gebied van de DFKI afdeling van prof. Stricker. Door de combinatie van de verschillende sensorsystemen kunnen de lichaamsbewegingen van de gebruiker ook onder moeilijke omstandigheden, zoals bij storingen door magnetische voorwerpen of door een afscherming, betrouwbaar worden opgenomen en verwerkt. Verder vormt de nauwkeurige waarneming van de hoofdbewegingen de basis voor de juiste samenstelling van de gegevens naar een databril.
Ook de waarneming van de handelingen aan de hand van beelden van een unieke kleurencamera horen binnen de competentie van het DFKI-onderzoeksgebied. In het kader van Cognito werd en bijzonder robuust proces ontwikkeld, dat hand- en vingerbewegingen zonder speciale markeringen op bij een afscherming of tijdens manipulatie van objecten en werktuigen in de real time kunnen worden opgenomen.
De nauwkeurige bewegingsdetectie vormt daarbij de basis voor een ergonomische beoordeling van de werkzaamheden door het Cognito-systeem. Dit wordt gedaan door een real time vergelijking van de bewegingen met het in de industrie bekende RULA-systeem. Deze vergelijking en de feedback werden ontwikkeld door het DFKI in nauwe samenwerking met de biomechanische experts van de universiteit van Compiegne (UTC) en vormt een grote innovatie in de arbeidswetenschap. In de resultaten van de studie komt de effectiviteit van het systeem en het terugbrengen van verkeerde houdingen duidelijk naar voren.
Terwijl het DFKI zich bezighield met het gedetailleerd opnemen van de gebruiker lag bij de universiteit van Bristol de focus op de haak driedimensionale waarneming van de werkplek in de aanwezige objecten met behulp van een dieptecamera. De universiteit van Leeds ontwikkelde binnen het project statische processen om uit de bewegingen en de acties van de gebruiker het verloop van de werkzaamheden te leren en afzonderlijke acties te herkennen. Het Centrum voor computergrafiek (CCG) in Portugal ontwikkelden de metaforen voor visualisering en interactie in samenwerking met de SmartFactoryKL van het DFKI in Kaiserslautern.
AR-handboeken op CeBIT 2013
Een andere innovatieve benadering van het DFKI is de automatische documentatie en ondersteuning van eenvoudige arbeidsprocessen met een lichtgewicht systeem, gebaseerd op een databril. Met behulp van een geïntegreerde camera herkent de uitgevoerde handarbeid en geeft dit door aan een brildisplay met vooraf gemaakte video-opnames, om zo de volgende stap aan te geven.
Het verloop van de werkzaamheden kan op deze manier eenvoudig en vloeiend worden opgenomen en heeft bijna geen nabewerking nodig. Deze technologie kan daarmee de benodigde tijd vooruit opstellen van augmented-reality-handboeken beduidend reduceren en is door de geringe complexiteit geschikt voor een brede toepassing.
Een prototype van dit AR-handboek-systeem werd getoond op de CeBIT 2012 en zal als verder ontwikkelde uitvoering in het scenario van een fabrieksscenario te zien zijn op de CeBIT 2013.
