Hazelcast Jet
08.02.2017, 09:56 Uhr
Schlanke Lösung für Distributed Data Processing
Die auf parallele Streams spezialisierte Prozess-Engine Hazelcast Jet erlaubt datenintensiven Big-Data-Applikationen Operationen nahezu in Echtzeit abzuwickeln.
Hazelcast ist ein Anbieter von In-Memory Data Grids (IMDG) mit hunderttausenden installierter Knoten und über 17 Millionen Serverstarts pro Monat. Sein neues Produkt Hazelcast Jet“ ist eine Engine für optimierte Prozessverteilung in Big-Data-Umgebungen. Das mit Apache 2 lizenzierte Open-Source-Projekt führt Prozesse parallel aus, um datenintensiven Applikationen Operationen nahezu in Echtzeit zu ermöglichen. Erreicht wird dies durch die IMDG-Storage-Funktionen von Hazelcast.
Die Lösung setzt dabei auf Directed Acyclic Graphs (DAG), um die individuellen Schritte in der Prozess-Pipeline zu strukturieren. Hazelcast Jet kann sowohl Batch- als auch Stream-basierte Processing-Applikationen ausführen. Die Lösung ist laut Hersteller geeignet für Anwendungen, die Nahe- Echtzeitgeschwindigkeiten brauchen, beispielsweise Sensoren-Updates in IoT-Architekturen (Internet of Things) für Thermostate oder Lichtsysteme in der Haussteuerung, In-Store e-Commerce-Systeme oder Social-Media-Plattformen.
Vor allem IoT-Geräte produzieren große Mengen an Daten, die anschließend aufbereitet werden müssen. Oft ist es entscheidend, die Analyse in Beinahe-Echtzeit durchzuführen, zum Beispiel bei der Log-Analyse, dem Monitoring, bei Betrug- und Fälschungsverdacht sowie Dashboard-Datenauszügen oder -Datenplatzierungen. Die Herausforderungen auf diesem Gebiet sind vielfältig:
- die Aufnahme großer Datenmengen bei gleichzeitiger Aufmerksamkeit für weitere, eingehende Aufgaben,
- die Entdeckung und Erkennung von Anomalien sowie die Validierung von eingehenden Daten,
- die Analyse, Kumulation sowie Berechnung von Situationen in nahezu Echtzeit,
- der Umgang mit sehr großen Latenzzeiten beim Zugriff auf Daten,
- das Reporting, entweder on-Demand oder nach vorher definierten Batch-Routinen.
Hazelcast Jet basiert auf einer One-record-per-time-Architektur: die Lösung bearbeitet eingehende Records so schnell wie möglich anstatt sie zuerst in Micro-Batches zu sammeln. Auf diese Weise reduziert Hazelcast Jet konsequent die Verzögerungen für Applikationen. Jet nimmt die Daten in hoher Geschwindigkeit auf – via Socket, Datei, Hadoop Distributed File System (HDFS) oder Kafka-Schnittstellen – und wickelt die Business Logik oder komplexe Berechnungen eingehender Daten ab. Dieser reine In-Memory-Ansatz macht Jet 20 Mal schneller als Hadoop, verspricht der Hersteller, und erlaubt Anwendern, ihre Service-Level-Anforderungen zu erreichen.
Hazelcast bietet für Hazelcast Jet einen Rund-um-die-Uhr-Support (Subscription). Weitere Informationen zu Hazelcast Jet finden Sie hier: http://jet.hazelcast.org/
Die Lösung setzt dabei auf Directed Acyclic Graphs (DAG), um die individuellen Schritte in der Prozess-Pipeline zu strukturieren. Hazelcast Jet kann sowohl Batch- als auch Stream-basierte Processing-Applikationen ausführen. Die Lösung ist laut Hersteller geeignet für Anwendungen, die Nahe- Echtzeitgeschwindigkeiten brauchen, beispielsweise Sensoren-Updates in IoT-Architekturen (Internet of Things) für Thermostate oder Lichtsysteme in der Haussteuerung, In-Store e-Commerce-Systeme oder Social-Media-Plattformen.
Vor allem IoT-Geräte produzieren große Mengen an Daten, die anschließend aufbereitet werden müssen. Oft ist es entscheidend, die Analyse in Beinahe-Echtzeit durchzuführen, zum Beispiel bei der Log-Analyse, dem Monitoring, bei Betrug- und Fälschungsverdacht sowie Dashboard-Datenauszügen oder -Datenplatzierungen. Die Herausforderungen auf diesem Gebiet sind vielfältig:
- die Aufnahme großer Datenmengen bei gleichzeitiger Aufmerksamkeit für weitere, eingehende Aufgaben,
- die Entdeckung und Erkennung von Anomalien sowie die Validierung von eingehenden Daten,
- die Analyse, Kumulation sowie Berechnung von Situationen in nahezu Echtzeit,
- der Umgang mit sehr großen Latenzzeiten beim Zugriff auf Daten,
- das Reporting, entweder on-Demand oder nach vorher definierten Batch-Routinen.
Hazelcast Jet basiert auf einer One-record-per-time-Architektur: die Lösung bearbeitet eingehende Records so schnell wie möglich anstatt sie zuerst in Micro-Batches zu sammeln. Auf diese Weise reduziert Hazelcast Jet konsequent die Verzögerungen für Applikationen. Jet nimmt die Daten in hoher Geschwindigkeit auf – via Socket, Datei, Hadoop Distributed File System (HDFS) oder Kafka-Schnittstellen – und wickelt die Business Logik oder komplexe Berechnungen eingehender Daten ab. Dieser reine In-Memory-Ansatz macht Jet 20 Mal schneller als Hadoop, verspricht der Hersteller, und erlaubt Anwendern, ihre Service-Level-Anforderungen zu erreichen.
Hazelcast bietet für Hazelcast Jet einen Rund-um-die-Uhr-Support (Subscription). Weitere Informationen zu Hazelcast Jet finden Sie hier: http://jet.hazelcast.org/
