Streaming-Verarbeitung für Edge-Computing-Umgebungen

Unabhängig davon, ob es sich bei dem Anwendungsfall um den Datenstrom eines Sensors in einer Fertigungsanlage oder in einem autonomen Fahrzeug handelt, kann die für die Datenverarbeitung benötigte Zeit den entscheidenden Unterschied zwischen Erfolg und katastrophalem Misserfolg ausmachen. Beim Edge-Computing geht es prinzipiell darum, die Rechenleistung so nah wie möglich an den Ursprung der Daten zu bringen, um sie auszuwerten und die daraus resultierenden Erkenntnisse umzusetzen – und das alles innerhalb von Mikrosekunden.

"Wir nehmen einen Wimpernschlag als eine winzige Zeitspanne wahr, aber in Wirklichkeit dauert ein Blinzeln 300.000 Mikrosekunden", erklärt Kelly Herrell, CEO von Hazelcast. "Durch die Verlagerung der Rechenleistung an den Rand des Netzwerks sowie die ultraschnelle Datenstromverarbeitung von Hazelcast mit extrem kurzer Latenzzeit können neue Anwendungen entwickelt werden, die Unternehmensinnovationen ermöglichen sowie unser tägliches Leben verbessern werden."

Anfang Mai wurde Hazelcast als erstes Mitglied des IBM-Edge-Ökosystems gekürt. Im Zentrum des Ökosystems steht der IBM Edge Application Manager, der einerseits die sichere und ferngesteuerte Verwaltung von KI-, Analyse- und IoT-Arbeitslasten automatisiert und ermöglicht und andererseits Echtzeitanalysen und ‑einblicke in einer Größenordnung von bis zu 10.000 Geräten gleichzeitig liefert.

Durch die Einführung zweier neuer Operatoren für die einfachere Implementierung in Containern erweitert Hazelcast seine Unterstützung für Cloud-native Anwendungen und Container. Der von Red Hat zertifizierte Hazelcast Jet Enterprise Operator for OpenShift ist jetzt im Red Hat Marketplace erhältlich. Darüber hinaus ist für die Open-Source- und die Unternehmens-Version der Streaming-Engine jetzt Hazelcast Jet Kubernetes Operator verfügbar.

Beim Edge-Computing ist das Zurücksenden von Daten an ein Rechenzentrum keine Option, weil die Anwendung dann unter zu hohen Latenzzeiten leiden würde. In ähnlicher Weise gelten für Sensoren und andere Geräte am "Rande" oft starke Platzbeschränkungen, weshalb traditionelle Datenbanken und zusätzliche Hardware keine gangbaren Optionen darstellen. Mit weniger als 15 MByte ist Hazelcast Jet eine leichtgewichtige Softwarelösung ohne externe Abhängigkeiten. Dies ermöglicht Unternehmen, sie in Anwendungen einzubetten, um die Latenz von Netzwerksprüngen zu eliminieren und gleichzeitig die Geschwindigkeit von In-Memory-Technologien zu nutzen.

In der vorherigen Version erlaubte es Hazelcast Jet, Python-Routinen aus einer Jet-Pipeline heraus aufzurufen. Jetzt ist es möglich, während der Verarbeitung einer Jet-Pipeline externe gRPC-fähige Dienste (RPC = Remote Procedure Call) aufzurufen. Das von Google eingeführte und der Cloud Native Computing Foundation (CNCF) überlassene gRPC ist ein auf Standards basierender Rahmen für die Freigabe und den Aufruf von Diensten. Über diesen Mechanismus können Jet-Pipelines jetzt mit Diensten interagieren, die in anderen Sprachen als Java geschrieben wurden.

"Da erfolgreiche Edge-Lösungen sich zur aufwendigen Verarbeitung großer Datenmengen nicht auf entfernte Rechenzentren und Cloud-Dienste verlassen können, müssen Edge-Implementierungen diese Rolle vermehrt übernehmen. Dieser Ansatz verkürzt nicht nur die Latenzzeiten am Rand, sondern ist auch ökonomisch sinnvoll, wenn die Netzwerkkosten unerschwinglich werden – insbesondere beim Senden von Daten in die Cloud. Hazelcast Jet ist stark genug, diese Herausforderung zu lösen", erklärt David Brimley, Chief Product Officer (CPO) bei Hazelcast. "Der Echtzeit-Charakter am Rande des Netzwerks erfordert eine hochleistungsfähige, leicht zu implementierende Lösung. Hazelcast Jet ist die einzige Streaming-Engine am Markt, die über die nötige Verbreitung und Leistung verfügt, um die Aufnahme, Verarbeitung und Aufbereitung der Daten zu bewältigen.

Anfang dieses Jahres hat Hazelcast Jet zur Erweiterung seiner "Exactly-once"-Garantie eine neue Programmlogik eingeführt. Diese verfolgt alle Lese- und Schreibvorgänge auf Quell- und Zielebene und stellt so sicher, dass bei einem Ausfall oder einer Störung keine Daten verloren gehen oder mehr als einmal verarbeitet werden. In der aktuellen Version unterstützt Hazelcast Jet jetzt Java Database Connectivity (JDBC) und Java Message Service (JMS) als neue Senken, die an den verteilten Transaktionen teilnehmen können. Bei Transaktionen wie bei der Zahlungsverarbeitung oder beim elektronischen Handel ist die "Exactly-once"-Garantie entscheidend für die Vermeidung von Datenverlust oder ‑vervielfältigung im Falle eines Hardware-Ausfalls.

Hazelcast Jet 4.1 steht ab sofort zum Download zur Verfügung. Weitere Informationen zu Hazelcast finden Sie unter https://hazelcast.com.