Python, Dataflow und MapReduce

Auch das Motto der zweiten Ausgabe der SMART DATA Developer Conference heißt "Daten nicht intuitiv interpretieren, sondern wissen was sie bedeuten." Spannende Vorträge und Live-Codings am Konferenztag (18.04.2016) und intensive Praxisworkshops am Folgetag (19.04.2016) machen Softwareentwickler fit für die Herausforderungen von Big Data. Neu im Programm sind drei Vorträge, die den Überblick über Frameworks und Tools ergänzen und auf der Entscheidungsmatrix für Technologie-Stacks aus der Eröffnungskeynote aufbauen:

Datenanalyse mit Python: Die flexible Open-Source-Sprache bietet mächtige Bibliotheken für Data Manipulation und Analytics. Johannes Hofmeister zeigt die unvergleichbare Kombination aus Allzweck-Programmiersprache und Tool für analytisches und quantitatives Computing. Der Fokus liegt dabei auch auf komplexen Datenauswertungen.

Batch & Stream Processing mit Google Dataflow: Das vereinheitlichte Programmiermodel und Managed Service Dataflow aka Apache Beam beherrscht eine breite Palette von Datenverarbeitung. Es befreit den Anwender dadurch von operativen Aufgaben wie Ressourcen Management und Performance Optimierung. Neben den zentralen Konzepten und Möglichkeiten von Google Dataflow, scheut Alexander Albrecht auch nicht den Vergleich mit Spark Jobs zu ziehen, einer alternativen Technologie zur Verarbeitung von Echtzeit- und Batch-Daten.

Verteilte Algorithmen am Beispiel von MapReduce: Durch stark parallelisierte Berechnungen und die optimierte Organisation von Daten kann MapReduce automatisch auf den Ausfall von Knoten im Cluster reagieren. Sascha Dittmann legt den Schwerpunkt seiner Session auf verteilte Algorithmen und wie diese mit MapReduce umgesetzt werden können.

Das gesamte Programm ist online unter http://smart-data-developer.de/#program. dotnetpro Leser erhalten auf Nachfrage Sonderkonditionen. [keh]