Das Streaming Data Warehouse

Materialize wurde entwickelt, um seinen Anwendern zu helfen, ihre Streaming-Daten interaktiv zu erforschen, Data-Warehousing-Analysen mit relationalen Live-Daten durchzuführen oder einfach nur die Aktualität zu erhöhen und die Belastung ihres Dashboards und Überwachungsaufgaben zu reduzieren.

Materialize konzentriert sich auf die Bereitstellung korrekter und konsistenter Antworten mit minimaler Latenzzeit. Sie müssen weder annähernde Antworten noch eine eventuelle Konsistenz akzeptieren. Wann immer Materialize eine Anfrage beantwortet, ist diese Antwort das richtige Ergebnis zu einer bestimmten (und aktuellen) Version der Daten. Materialize erledigt all dies, indem es die SQL92-Abfragen als Datenflüsse neu formuliert, die effizient auf Änderungen in den Daten reagieren können, sobald diese geschehen. Materialize wird durch einen zeitnahen Datenfluss unterstützt, der die Zeiten, zu denen sich die Eingaben ändern, mit den Zeiten der an Sie zurückgemeldeten Antworten verbindet.

Materialize unterstützt derzeit einen großen Teil von PostgreSQL und die Entwickler arbeiten aktiv an der Unterstützung weiterer PostgreSQL-Funktionen. Die Anwendung liest derzeit Daten in den Formaten Avro, Protobuf, JSON und per Zeilenumbruch aufgeteilten Text. Zudem kann Materialize Daten aus Kafka-Topics lesen oder lokale Dateien überwachen.

Geplant ist die Unterstützung für AWS-Kinesis-Streams und Azure Event Hub, das Lesen von ORC- und Parquet-Dateien auf Objektspeichern sowie das Einlesen von Daten von beliebigen HTTP-Endpunkten.

Mehr Informationen zu Materialize finden Sie auf dieser GitHub-Seite sowie auf der Produktseite unter materialize.io.