In het kader van het EU project ‘Flexible Event Processing for Big Data Architectures’ (Ferari) is nu de eerste versie van een open-source-software voor de analyse van massale data stromen in Real Time beschikbaar voor gedistribueerde systemen, die deze hiaten moet kunnen opvangen. In het tijdperk van Industrie 4.0 en het ‘Internet der Dingen’ speelt de directe communicatie van machine naar machine (M2M) een steeds belangrijkere rol. Data stromen, zoals in de industrie voorkomen, worden steeds omvangrijker en vormen in toenemende mate een overbelasting voor de data-verwerkende systemen.
“Het elementaire bij Ferari is een algemene ontlasting van data-verwerkende systemen. De individuele sensoren van de betrokken machines beslissen daarbij zelfstandig, of zij over een geregistreerde informatie communiceren en voor welke componenten binnen het systeem dit belangrijk is”, zegt dr. Michael Mock, projectleider bij het Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS. “Hierdoor wordt de totale datastroom teruggebracht tot de essentie”. In combinatie met methoden van het ‘Complex Event Processing’, de verwerking van complexe, van elkaar afhankelijke gebeurtenissen, zouden daardoor ook in vaak verweven Real Time data stromen kunnen worden vastgesteld.
“Het was voor ons bij de ontwikkeling vooral van belang, dat de gebruikers snel konden starten. Daarom hebben we onder andere de totaal benodigde software configuratie ondergebracht in een ‘Dock Container’, benadrukt Mock. “Geïnteresseerde gebruikers kunnen hiermee na het downloaden zonder verdere installatie onmiddellijk aan de slag. Aanvullende video documentatie verduidelijkt, hoe in een paar stappen de eerste toepassingen kunnen worden ontwikkeld om deze daarna te kunnen testen met de meegeleverde serie voorbeelden. De gemakkelijke toegang moet de algemene verspreiding van moderne toepassingen van grote hoeveelheden gegevens voor onderzoek en economie bevorderen.
Big Data verwerken
Een technologische basis voor het project werd aangeleverd door partner IBM Haifa met ‘IBM Proactive Technology Online’ (Proton) – een tool voor de verwerking van complexe gebeurtenissen. “Proton moest voor de verwerking van zeer grote data stromen in Ferari aangepast worden. Daarom hebben we de software gecombineerd met het Big-Data-System Storm”, verklaart dr. Fabiana Fournier, wetenschapper bij IBM. Het wordt hierdoor mogelijk om ‘Proton on Storm’ parallel te laten werken op meerdere computers, een elementaire eis voor de verwerking van dergelijke hoeveelheden data.
Naast het Fraunhofer IAIS als consortiumleider en IBM Research Labs Haifa waren ook het Israel Institute of Technology (Technion), de Technical University of Crete, de Kroatische Telekom en de Kroatische firma Poslovna Inteligencija betrokken bij ‘Ferari’. Het project wordt in het kader van het zevende onderzoekraamprogramma van de EU gedurende 36 maanden gefinancierd.
