Het Robotics Innovation Center van het Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI) GmbH en de werkgroep Robotik van de Universität Bremen – beide onder leiding van prof. dr. Frank Kirchner – hebben in het projekt IMMI (Intelligentes Mensch-Maschine-Interface) sleuteltechnologieën ontwikkeld voor de besturing van robots, die real-time en adaptief embedded brain reading in veel gebruiksgebieden mogelijk maken.
Neuro-wetenschappers, informatici, wiskundigen, natuurkundigen en ingenieurs werkten in IMMI samen aan een mens-machine interface, die niet alleen de intuïtieve en effectieve besturing van een of meerder robots mogelijk maakt, maar zich ook zelfstandig kan aanpassen aan veranderingen in de mentale situatie van de gebruiker en ook aan wisselde gebruikers.
Interface voor brain reading
In tegenstelling tot de klassieke hersenen-computer-interface is het ontwikkelde systeem gebaseerd op de passieve waarneming van de gebruiker/operator door Embedded Brain Reading. Daarvoor draagt de gebruiker een kap, bezet met elektrodes, waardoor het systeem door middel van elektro-encefalografen (EEG) in staat is om de hersenactiviteiten te meten en specifieke veranderingen in de hersenstromen te interpreteren. Deze veranderingen leveren informatie over de mate van verwerking van gepresenteerde informatie, de bedoeling van de gebruiker of de cognitieve verwerking.
De interface verkrijgt hierdoor belangrijke informaties om de mens proactief te ondersteunen in kritische situaties of de effectiviteit van de besturing gebruikerspecifiek te verbeteren. Als de gebruiker bijvoorbeeld een door de robot verzonden waarschuwing over het hoofd gezien, dan geeft het systeem dit opnieuw aan. Als de gebruiker cognitief wordt overbelast, dan wordt zijn belasting verminderd.
Registratie kijkrichting
Teneinde de bedoelingen van het handelen en de belastingsnorm van de gebruiker nauwkeurig te kunnen inschatten, zorgen de onderzoekers behalve voor het EEG voor een electro-myografie (EMG) voor het meten van de activiteit van de spieren en ook voor Eye Tracking dat de kijkrichting registreert. Hiermee ontstaat een omvangrijk beeld van de cognitieve toestand van de gebruiker.
De interface leert uit deze data en de daaruit volgende handelingen, welke wisselingen in de hersenstromen een waarneming of een handeling betreffen. Op deze manier kan het systeem zich in real-time aanpassen aan de wisselende toestanden van de gebruiker en zich zelfs automatisch aanpassen aan een nieuwe gebruiker.
De veelheid aan gecompliceerde wiskundige processen, die worden gebruikt bij real-time en Adaptive Brain Reading, vereist een grote rekencapaciteit. Tegelijkertijd moet de gebruiker zo mobiel mogelijk kunnen blijven en vrij kunnen bewegen, wat het gebruik van grote computers uitsluit. Daarom werd bij het IMMI een compact Brain Reading System ontwikkeld, dat een normale CPU met FPGA (Field Programmable Gate Array) op een elektronicachip van 70 mm x 100 mm combineert.
FPGA’s zorgen voor parallelle verwerkingsoperaties en kunnen hierdoor grote hoeveelheden data in uiterst korte tijd verwerken. Het systeem kan als zelfstandige mobiele unit of voor het optimaliseren van Embedded Brain Reading in een technisch systeem worden ingebed.
Verwerking grote hoeveelheid data
Voor de verwerking van grote hoeveelheden data werden in het project de software frameworks pySpace en reSpace ingezet . De open source software pySpace maakt een eenvoudige configuratie en parallelle uitvoering van complexe vergelijkingen, optimalisatie en visualisering van meer dan 200 verschillende verwerkings- en uitvoeringsmethoden mogelijk.
Met behulp van een automatisch aangemaakte hoogvermogen interface kan pySpace teruggrijpen op reSpace en zodoende worden tijdkritische verwerkingsstappen op de FPGA opgeslagen. Met behulp van reSpace kunnen specifieke hardware versnellers de verwerking van de data efficiënt en in real-time verwerken.
Behalve in de toepassingen in de ruimtevaart moeten de in IMMI ontwikkelde technologieën ook kunnen worden gebruikt in de revalidatie. Binnen het onlangs gestarte project Recupera Reha werken de DFKI- wetenschappers aan methoden voor de opbouw van een innovatief en mobiel exoskelet voor het hele lichaam, dat door de voorspelling van de bedoelde bewegingen op basis van bij IMMI ontwikkelde technologieën de patiënten met een beroerte tijden de revalidatie moet ondersteunen.
