データ格差の解消 : Confluent と Databricks がリアルタイム AI を解き放つ方法

このたび、分析システムと運用システムの統合を大幅に簡素化するため、Confluent と Databricks のパートナーシップをさらに強化することになりました。数々の企業が AI やリアルタイムデータアプリケーションの導入時間を短縮したいと考えている現在、これは特に重要なパートナーシップとなります。このパートナーシップにより、これらの企業は、サイロ化されたデータやガバナンスに煩わされる時間を減らし、顧客のための価値創造により多くの時間を費やせるようになります。

私たちが共同で提供する最初の機能は、Confluent と Databricks 間の Delta Lake ファーストのインテグレーションです。これにより、企業はリアルタイムアプリケーションとその分析・AI プラットフォーム間のギャップを埋めることができます。お客様は、Kafka のログを Delta Lake テーブルに変換する Confluent の Tableflow と Databricks の Unity Catalog との間の双方向のデータフローを効率化できます。このインテグレーションにより、あらゆるソースからのリアルタイムで管理されたデータプロダクトの利用が可能になり、インテリジェントなアプリケーションを強化できます。Confluent と Databricks が協業することで、企業は運用システム上でプロアクティブかつ自動化された意思決定を本番レベルの速度と精度で行う AI を構築し、展開できるようになります。

AI には信頼できるリアルタイムデータが必要

今日の企業は、自社の独自データに基づいて調整された AI が、市場での競争力向上に重要であることを理解しています。AI プロジェクトへの投資が増えるにつれ、厳しい現実が明らかになります。それは、AI の性能が基盤となるデータの質に依存しており、さらに多くの自社データはサイロ化され、断片化されており、AI をサービスとして活用するのが困難だという点です。多くの企業は、データが連携するように設計されていない異なるシステムに分断されているため、AI の運用に苦労しています。

ほとんどの組織には、次の2つの重要なデータサイロがあります。

• アプリケーション、トランザクション、リアルタイムイベントを強化する運用システム。

• データインテリジェンスと AI を活用してより良い意思決定を促進する分析システム。

AI モデルは正確な予測を行うために最新のリアルタイム運用データを必要とし、リアルタイムアプリケーションは精度を向上させ、意思決定を自動化するために分析システムからの AI 生成のインサイトを必要とします。今日のデータは、これらのサイロ間を低速で脆弱な手動のバッチジョブを通じて移動することが多く、その過程でガバナンスとリネージが失われています。これは、従来の機械学習のオフラインモデル訓練では許容されていましたが、LLM やエージェント AI にとっては重大な問題です。誤ったデータや古いデータは推論の質を低下させ、誤った決定を招くためです。

Confluent と Databricks は協力してこの状況を変え、データが運用システムと分析システム間でシームレスに移動できるようにし、その信頼性、コンテキスト、AI に対する有用性を維持します。

ソリューションの定義 : AI 対応のリアルタイムデータプロダクト

AI を真に運用可能にする鍵は、リアルタイムで信頼できるデータプロダクトです。これは、単なる生データではなく、AI と分析を強化するために設計された、管理された再利用可能な資産であり、その出所に関係なく利用できます。

Confluent と Databricks の緊密なインテグレーションにより、統合されたガバナンスを基礎に、次の2つの主要フェーズでデータプロダクトを企業全体で実現します。

• 運用データを AI 対応資産に変換 : Confluent の Tableflow が Kafka のイベントストリームを Delta Lake にシームレスに構造化し、Databricks が大規模なデータ変換、特徴エンジニアリング、ML モデルのトレーニングを提供します。Databricks の Mosaic AI と組み合わせることで、ユーザーはストリーミングデータ上で直接モデルをトレーニング・提供でき、AI はライブで信頼できるイベントストリームから継続的に学習し、予測と意思決定を改善できます。

• AI 主導のインテリジェンスをリアルタイムアプリケーションに導入 : Databricks のデータインテリジェンスプラットフォームの AI モデルがインサイトを生成すると、Tableflow に統合された Delta テーブルを更新することで、それらの予測を Kafka に戻すことができます。これにより、企業は数時間後から数日後に対応するのではなく、意思決定を即座に自動化し、アプリケーションの有効性を継続的に改善することができます。

• リアルタイムデータと AI 主導のデータ間のガバナンスとアクセスを統合 : Databricks Unity Catalog と Confluent Stream Governance の統合により、どちらの方向に移動してもデータのガバナンス、追跡可能性、コンプライアンスが維持されます。AI モデルは、十分に理解され、リネージが追跡されたデータでトレーニングでき、運用チームは、AI 生成されたインサイトがリアルタイムアプリケーションに戻る際に、ガバナンスと説明可能性が維持されることの確信が持てます。これにより、AI の導入を遅らせるデータサイロと不整合が排除され、AI を責任を持って大規模に展開できるようになります。

この基盤が整ったことで、アプリケーション開発者、データエンジニア、データアナリスト、AI エンジニアはついに単一のリアルタイムの信頼できる情報源から作業できるようになり、手作業が減り、AI の採用が加速します。

AI イノベーションが解き放たれる場所

AI がリアルタイムで信頼できるデータに基づいて動作することを保証することで、企業は前例のないスピードと精度で、事後対応型のインサイトから事前対応型の積極的かつ自動化された意思決定へと移行できます。

これまでの AI モデルは古いバッチ処理データでトレーニングされていたため、変化する状況への適応に遅れが生じていました。AI 主導のインサイトは、生産システムに再導入する際に手動の介入を必要とすることが多く、遅延や非効率を引き起こしています。このインテグレーションは、次のことを保証することでこれらの障壁を取り除きます。

• より迅速な意思決定 : AI モデルがバッチ処理を待たずに継続的にリアルタイムデータを受信することで、対応までの時間を数時間または数日から数ミリ秒に短縮します。

• より高い精度 : AI モデルは最新の情報に基づいて動的に調整できるため、AI と従来の分析やデータサイエンスの両方からより優れた洞察を得ることができます。

• シームレスな自動化 : AI 主導のインサイトが手作業を必要とせずに運用システムに戻されるため、企業は人間主導のプロセスに依存せず、即座に対応を自動化できます。

このインテグレーションによって、以下のような主要な AI 活用機能が実現できます。

• 異常検出 : 不正行為、サイバーセキュリティの脅威や機器の故障を、バッチ処理後ではなく発生した瞬間に検出します。

• 予測分析 : 静的な履歴傾向ではなく継続的に更新されるデータを使用して、サプライチェーンのリスク、顧客の需要、運用のボトルネックを予測します。

• 高度なパーソナライゼーション : 古い嗜好ではなく、リアルタイムで AI 主導の推奨と顧客とのインタラクションを動的に適応させます。

重要なことは、単にデータをより速く移動することではありません。AI がリアルタイムで動作し、その精度と影響を継続的に改善し、人的なボトルネックを発生させることなくビジネス成果を直接向上することです。

次のステップ

私たちは、このビジョンを実現するための深い製品インテグレーションを構築しており、今後数か月以内に展開する予定です。

• フロー方向1 : Tableflow から Unity Catalog のインテグレーションにより、リアルタイムの運用データが Delta Lake に直接流れ込み、AI と分析に使用されます。Confluent Tableflow から Unity Catalog へのガバナンス、リネージ、セキュリティのリンクも確保されています。

• フロー方向2 : Unity Catalog から Tableflow のインテグレーションにより、Tableflow を介して AI と分析のインサイトをアプリケーションに戻す機能を提供し、この方向にもガバナンス統合が適用されます。

さらに深くご紹介するため、当社の製品チームとエンジニアリングチームが今後数週間以内に一連のブログ記事を公開する予定です。

• Tableflow と Delta Lake が連携してリアルタイム分析を実現する方法。

• Unity Catalog と Stream Governance 全体のメタデータガバナンスで信頼性とセキュリティを確保する方法。

• エンタープライズ AI の実際の実装例。

AI の完全な運用化を目指す企業にとって、このパートナーシップは、AI が常にリアルタイムで信頼できるデータと共に動作することを保証するために欠けていた要素を提供します。

貴社がどのような AI を今後構築するのかを楽しみにしております。