実践的データメッシュ : イベントストリームによる分散型データアーキテクチャの構築

イベントストリームを使用したデータメッシュアーキテクチャ

データメッシュを利用すべき理由

データメッシュは、データをファーストクラスの製品として提供することを前提に、組織全体で重要なデータを簡単に公開し、アクセスできるようにすることに重点を置いています。イベントドリブン型データメッシュは、躍動するデータ (Data in Motion) の規模とパフォーマンスを、製品に焦点を当てた厳密さとセルフサービス機能を組み合わせ、データを運用と分析の両方のユースケースの最前線に据えます。

4つの主要な原則に支えられたデータメッシュは、最新のイベントストリーミング技術に社会的責任の側面を加えて再考したツールで、結果として、最新の情報と過去の記録の両方を提供するイベントストリームを継続的に更新するネットワークができあがり、消費者は自分に合ったデータを選択して使用することができます。

著者の Adam Bellemare は、Apache Kafka® 上に構築されたイベントドリブン型のデータメッシュが、重要なビジネスデータへのアクセスと運用面と分析面の統合に最良な方法を提供する理由を説明します。また、Confluent Cloud を使用して構築された、データメッシュの原則と実際の技術的トレードオフを結び付ける概念実証セルフサービスプラットフォームについても説明します。

当社からの情報だけでは不足かと思いますので、実際のケーススタディでは、Saxo Bank によるイベントドリブン型データメッシュの実装について、課題、技術の選択、データメッシュ原則の実装も含めてご紹介します。

• データウェアハウスやデータレイクが直面した問題を含む、データの課題の簡単な歴史について学習
• 4つの主な原則とイベントストリームへの適用など、データメッシュの概要
• データ製品の調整、ソースとの統合、消費者向けユースケースの構築など、データ製品を構築するための原則を学習
• データ製品の所有者と消費者向けのセルフサービスプラットフォームを作成するためのガイドラインの採用で、データ製品の作成と管理、検出と使用の両方を合理化
• イベントドリブン型データメッシュが運用と分析のユースケース間の障壁を低減し、リアルタイムのアプリケーションとバッチベースのジョブの両方を実現する方法を確認
• Saxo Bank のデータメッシュの実装と技術的課題、成功のための推奨事項を確認
• Confluent データメッシュの概念実証セルフサービスプラットフォームの概要を確認し、ソースコードをチェックして実際に試用