Data Mesh in der Praxis: Aufbau einer dezentralisierten Datenarchitektur mit Event-Streams

Data-Mesh-Architekturen mit Event-Streams

Was spricht für ein Data Mesh?

Beim Data Mesh geht es um die Bereitstellung von Daten als erstklassigem Produkt. Deshalb liegt der Fokus darauf, die Veröffentlichung von wichtigen Daten und den Zugriff darauf in der gesamten Organisation so einfach wie möglich zu gestalten. Ein Event-getriebenes Data Mesh vereint den Umfang und die Performance von Data in Motion mit produktorientierter Strenge und Self-Service-Funktionen, so dass Daten sowohl in betrieblichen als auch in analytischen Anwendungsfällen im Mittelpunkt stehen.Ein Data Mesh stützt sich auf vier Hauptprinzipien und ist gewissermaßen eine Neuinterpretation der sozialen Verantwortung in Kombination mit modernen Event-Streaming-Technologien. Das Ergebnis ist ein Netzwerk von ständig aktualisierten Event-Streams, die sowohl neue Informationen als auch alte Daten verfügbar machen. So wird es Consumers ermöglicht, Daten nach eigenem Ermessen auszuwählen und zu verwenden.

Der Autor Adam Bellemare erklärt, warum ein Event-getriebenes, auf Apache Kafka® entwickeltes Data Mesh die beste Möglichkeit bietet, auf wichtige Geschäftsdaten zuzugreifen und die betriebliche und analytische Ebene in Einklang zu bringen. Als Machbarkeitsnachweis zeigt er außerdem eine Self-Service-Plattform, die mithilfe von Confluent Cloud aufgebaut wurde und eine Verbindung zwischen den Prinzipien des Data Mesh und realen technischen Kompromissen herstellt.

Auch andere Quellen sind ähnlicher Meinung wie wir: Eine Fallstudie aus der Praxis zeigt, wie das Unternehmen Saxo Bank ein Event-getriebenes Data Mesh implementiert hat, und geht in diesem Zusammenhang auch auf Herausforderungen, technologische Entscheidungen und die Implementierung der Data-Mesh-Prinzipien ein.- Es wird eine kurze Historie der Datenprobleme geliefert, wobei unter anderem auch Probleme mit Data Warehouses und Data Lakes angesprochen werden.

• Zum Thema Data Mesh wird ein vollständiger Überblick geliefert, in dem auch auf die vier Hauptprinzipien eingegangen wird sowie darauf, wie diese bei Event-Streams angewendet werden können.
• Die Prinzipien zum Aufbau von Datenprodukten werden vorgestellt, unter anderem die Koordination von Datenprodukten, die Integration mit den Quellen und der Aufbau für Consumer-Anwendungsfälle.
• Es werden Leitlinien für die Erstellung einer Self-Service-Plattform für Product Owners und Consumer im Bereich Data bereitgestellt, um sowohl das Erstellen und Verwalten von Data Products als auch die Discovery und Verwendung zu optimieren.
• Es wird gezeigt, wie ein Event-getriebenes Data Mesh die Grenzen zwischen betrieblichen und analytischen Anwendungsfällen aus dem Weg räumt und gleichzeitig sowohl Echtzeit-Anwendungen als auch Batch-basierte Jobs ermöglicht.
• Die Data-Mesh-Implementierung bei Saxo Bank wird vorgestellt und dabei auch auf technische Herausforderung und Empfehlungen für eine erfolgreiche Implementierung eingegangen.
• Die als Machbarkeitsnachweis dienende Self-Service-Plattform mit Data Mesh von Confluent wird vorgestellt und es wird die Möglichkeit geboten, den Quellcode einzusehen und das Ganze auch einmal selbst zu testen.