Confluent Cloud の新機能 : サーバーレス Flink を開発者の強い味方に、機密データの保護など

第3四半期の Cloud Bundle ローンチは Current 2024 からお届けします。Current は、データストリーミング業界の専門家が一堂に会し、特に AI の時代においてデータストリーミングが重要である理由と、明日のビジネスを形作る上でデータストリーミングがさらに重要になる理由を説明するイベントです。今年の Current イベントには、対面とバーチャルの両方で2,500人を超える参加者が集まり、業界の専門家による140以上の学習セッションが開催されました。

今回の発表では、データストリーミングプラットフォームの4つの主要な柱であるストリーミング、接続、処理、ガバナンスにわたる一連の機能強化に加えて、お客様が新しい可能性を開拓できるよう支援するためにパートナーエコシステムで行ってきた重要な取り組みが導入されています。

Confluent は 4,900 社を超える世界中の企業のデータストリーミング導入を支援しており、最近では Forrester Research の「The Forrester Wave™: Streaming Data Platforms（2023年第4四半期） でリーダーに選出されました。

• 開発者が好むツールやフォーマットに Flink を導入

  • Table API のサポート（オープンプレビュー）

  • 柔軟なスキーマ管理

  • AI モデル推論（オープンプレビュー）

• クライアント側のフィールドレベル暗号化

• WarpStream が Confluent の傘下に

• Confluent OEM パートナープログラム

• SI パートナープログラムの最新情報

• その他の新機能と機能強化

10月17日に開催の第3四半期のリリースウェビナーとデモにご参加いただき、これらの新機能の実際の動作をご確認ください。

開発者が好むツールやフォーマットに Flink を導入

Table API サポート（オープンプレビュー）

Confluent Cloud for Apache Flink®は、SQL のプロや Java/Python 愛好家の皆様に向けて、ストリーム処理を容易にすることを目的としています。今年の春の初めに Flink SQL のサポートを発表しました。これにより、すでにご利用の SQL 構文を使用してフィルタリング、集計、結合を行うことができる強力で使いやすいツールが提供されます。

現在オープンプレビュー中の Flink Table API によって、Flink を開発者が好むより多くの言語やツールに拡張できることを嬉しく思います。この API は Java と Python のパワーを組み合わせ、開発者に複雑なデータ変換とカスタムロジックに必要なプログラム制御を提供します。Table API を使用すると、使用したい言語で作業し、最新の IDE ツールを活用し、既存のコードベースにシームレスに統合できます。単純なクエリを処理する場合でも、複雑な処理タスクを処理する場合でも、Confluent Cloud for Apache Flink が対応し、作業に適したツールを柔軟に選択できます。

Flink Table API のサポートにより以下のことが可能になります。

• 開発者が好みのプログラミング言語を使用できるようにすることで言語の柔軟性を高め、言語固有の機能とカスタム操作を活用可能に

• オートコンプリート、リファクタリングツール、コンパイル時のチェックなど、IDE サポートの強化を通じて開発者体験を向上させ、コードの品質を高め、実行時の問題を最小化

• データ処理への反復アプローチと合理化された CI/CD 統合によりデバッグが容易に

柔軟なスキーマ管理

データストリーミングパラダイムにおいて、スキーマはデータの構造を定義する上で極めて重要な役割を果たし、システムが情報のストリームを効率的に解釈、検証、操作できるようにします。

Schema Registry をサポートする Confluent Cloud for Apache Flink® をリリースしましたが、スキーマが Confluent の Schema Registry の外部ですでに定義されている場合にも新たに対応すべく、Flink に柔軟なスキーマ管理を導入しました。これにより、スキーマ管理の方法に関係なく、複雑なスキーマの移行やシリアライゼーション形式の手間のかかる変更なしにサーバーレス Flink を利用できるようになります。この新機能は、スキーマを独自に管理している組織や、スキーマ定義がまだ固まっていないプロトタイプ段階にある組織にとって非常に重要です。

柔軟なスキーマ管理により、次のことが可能になります。

• 確立された組織のスキーマ管理プラクティスを遵守しながら Flink の強力なストリーム処理機能を活用してスキーマの柔軟性を維持

• データを別の形式に再エンコードする必要なく、既存の Avro、Protobuf、JSON スキーマを Flink で使用して操作を効率化

• データのライフサイクル全体にわたって元のワイヤエンコーディングを維持することでデータの一貫性と整合性を確保し、変換プロセス中のエラーやデータ損失のリスクを軽減

さらに、Confluent Cloud for Apache Flink が1つのテーブル内で複数のスキーマやイベントタイプに対応できるようになり、データ管理の簡素化、処理の効率化、柔軟性の向上につながります。

AI モデル推論（オープンプレビュー）

AI、特に生成 AI が話題の昨今、AI モデルを構築されている皆様に向けて、Confluent が AI を主軸のリソースとしてデータストリーミングプラットフォームに統合できることを嬉しく思います。

Apache Flink® 向け Confluent Cloud の AI モデル推論がオープンプレビューで本日より利用可能になったことをお知らせします。このマイルストーンにより、新機能が広く利用できるようになり、ユーザーはストリーム処理ワークフローに AI を組み込むことをテスト・実験できるようになります。オープンプレビュー段階に入ることで、お客様にこの高度な機能を試していただき、フィードバックを提供していただく中で、一般リリース前に機能を改良し、強化することができます。

AI モデル推論のサポート追加で Flink サービスでは次のことが可能になります。

• 使い慣れた SQL 構文を使用して大規模言語モデル（LLM）などの AI/ML モデルと直接対話することで開発を簡素化し、専用の ML ツールや言語の必要性を低減

• データ処理と ML ワークフローをより効果的に調整し、運用の複雑さを最小限に抑えて効率を向上

最新のコンテキストストリーミングデータを活用してリアルタイム情報で LLM モデルを更新する検索拡張生成（RAG）などのシナリオをサポートし、正確でリアルタイムの AI 主導の意思決定を可能にします。

この統合により、ML モデルを Flink の第一級のリソースとして使用できるようになり、OpenAI、GCP Vertex AI、AWS SageMaker、Azure などのリモート ML モデルエンドポイントを呼び出せるようになります。これらのモデルは SQL データ定義言語（DDL）ステートメントを使用して管理できるため、基盤となるインフラストラクチャを処理する必要がなくなります。このアプローチにより、ML アプリケーションの柔軟性とスケーラビリティが強化され、リアルタイムデータパイプラインへの AI の導入がこれまで以上に容易になります。

クライアント側のフィールドレベル暗号化

Confluent Cloud には、保管時のデータ暗号化、Transport Layer Security（TLS）による伝送時のデータの暗号化、ロールベースのアクセス制御（RBAC）など、堅牢なエンタープライズグレードのセキュリティ機能がすでに用意されています。しかし、金融サービス、ヘルスケア、公共部門などの規制の厳しい業界の組織では、特に PII などの機密情報について、さらに厳格なデータ保護が必要になることがよくあります。

そのため、クライアントサイドのフィールドレベル暗号化（CSFLE）を導入し、チームが最も機密性の高いワークロードを含むすべてのデータを移動できるように支援します。Producer 側のメッセージ内の個々のフィールドを暗号化して、システム管理者や高い特権を持つユーザーからの不要なアクセスを防ぎ、セキュリティとコンプライアンスを強化できます。

CSFLE を使用すると、組織で次のことが可能になります。

• 機密データのセキュリティを強化し、厳格なコンプライアンス要件を遵守

• 暗号化する特定のフィールドについて柔軟かつきめ細かなアクセス制御を維持

• Topic の重複の必要性を減らすことで総所有コストと運用の複雑さを軽減

CSFLE は Java、Go、C#/.NET を含む複数のクライアント言語をサポートしており、Node.js と Python も近日中にサポートされる予定です。Amazon S3 シンクや Snowflake シンクコネクターなどの特定の完全マネージド型コネクターと統合することもできます。

限定提供で CSFLE の使用を開始するには Stream Governance Advanced にアップグレードしてください。これは本番環境ワークロードに推奨され、今後数週間以内に一般提供が開始されます。

WarpStream が Confluent の傘下に

WarpStream の取得により、お客様独自のクラウドでのデータストリーミングが新たなレベルに引き上げられます。当社のお客様は、自己管理型、完全マネージド型、BYOC（Bring Your Own Cloud）など、必要な方法でストリーミングデータを取得できるようになりました。

「Confluent は、あらゆる要件とワークロードを持つすべてのお客様にデータストリーミングを提供したいと考えています。私は BYOC を正しく実現する WarpStream に深く感銘を受けていました。今回の買収により、すべてのユーザーにデータストリーミングを提供できるようになりました。」— Jay Kreps、最高経営責任者兼共同創業者

詳細は Jay のブログをご覧ください。

パートナープログラムの最新情報

Confluent OEM パートナープログラム

このたび、世界中のマネージドサービスプロバイダー（MSP）、クラウドサービスプロバイダー（CSP）、独立系ソフトウェアベンダー（ISV）向けに設計された新しいプログラムを導入します。このプログラムにより、データストリーミングの製品やサービスへの導入がこれまで以上に手軽になります。このプログラムは Apache Kafka® と Apache Flink® の信頼できる基盤上に構築され、Kafka を生んだ開発者チームによってサポートされているため、パートナーはお客様の事業が運営されるあらゆる場所で Confluent のデータストリーミングプラットフォームを提供できます。

このプログラムにより、Confluent は継続的な技術サポート、専門家による実装ガイダンスや認定を提供し、パートナーがエンタープライズ対応の製品を立ち上げ、お客様の長期的な成功を確実にできるよう支援します。詳細やプログラムへの参加方法については当社ブログをチェックしてください。

SI パートナープログラムの最新情報

Confluent は、顧客のビジネス上の課題を克服するための戦略的なパートナーとなるために尽力しています。お客様にさらによいサービスを提供するため、Build with Confluent（Confluent で構築）（BwC）にさらに多くのパートナーソリューションを追加し、Confluent Migration Accelerator に新しい移行サービスを追加しました。

Confluent で構築

パートナーはストリーミングのユースケースを迅速に開発できるため、新しいプロジェクトをすぐに開始し、イノベーションをより早く進めることができます。

今四半期には、BearingPoint、Converge、EPAM、GoodLabs Studio、Improving、Informula、Mindlabs、Ness Digital Engineering、Seynur、Synthesis Software Technologies（Pty）Ltdから11の新しいパートナーソリューションをリリースします。

「Build with Confluent（Confluent で構築）」ソリューションのポートフォリオ全体はこちらでご覧ください。

Confluent の Migration Accelerator

従来のメッセージングシステムや Apache Kafka®から Confluent にスムーズに移行し、中断を最小限に抑え、効率を最大限に高めます。

Marionete と Synthesis Software Solutions（Pty）Ltd ががアクセラレーターに加わりました。当社のパートナーが提供するサービスの詳細についてはこちらをご覧ください。

Confluent および当社のパートナーと緊密に連携することで、リアルタイムの顧客体験とアプリケーションに対する高まる需要に応え、成長と成功の新たな機会を切り開くことができます。

Connect with Confluent : 5つの新しい統合によりデータストリーミングエコシステムをさらに拡張

立ち上げから1年が経過し、50点を超えるの統合で構成される Connect with Confluent（CwC）パートナープログラムは、グローバルなデータストリーミングエコシステムをさらに拡張し、開発者が愛用しているツール内で Confluent データストリームを直接提供します。わずか12か月で、このプログラムは野心的な取り組みから、リアルタイムデータの価値を急速に高める活気に満ちた拡大を続けるコネクターポートフォリオへと変化しました。

第3四半期には、CwC パートナープログラムに Amazon OpenSearch、Cribl、MongoDB Relational Migrator、Qdrant、Synthesis が新たに加わりました。

これらのコネクターと、この1年間に CwC プログラムを通じて達成された主要なマイルストーンの詳細については CwC Q3 発表ブログ記事をご覧ください。

その他の新機能と機能強化

新しいブローカーとクライアントの指標によるサイズ設定の簡素化

Kafka のオペレーターが問題がエスカレートする前に特定して解決できるように、クラスターのパフォーマンスをより詳細に把握できる新しいクライアント可観測性指標とツールを導入しました。これらの新しい指標には以下が含まれます。

• ホットパーティション警告指標：この機能はすべてのクラスターで利用でき、セルフバランシングクラスター（SBC）が自動的にバランスを取ることができない、異常に高負荷のパーティションを特定するのに役立ちます。これにより、スロットリングや可用性の問題の発生前に潜在的な問題に手動で対処できます。

• CKU カウント指標 : 専用クラスターの場合、この指標は Confluent Kafka ユニット（CKU）の数を追跡してクラスターの容量を判断し、クラスターがワークロードに適したサイズであることを確認するのに役立ちます。

• クラスター負荷指標の集計 : これも専用クラスター向けの指標で、クラスターの使用状況を明確に示します。Cloud Console の負荷グラフには使用率が表示され、パフォーマンスを監視・管理してレイテンシの急上昇を回避できます。

さらに、古いクライアントバージョンやプロデューサー側のレイテンシを UI で直接簡単に確認できるようになりました。

AWS 上の専用クラスターに対する Flink プライベートネットワーキングのサポート

今年初め、当社のクラウドネイティブ Apache Flink サービスが、AWS のエンタープライズクラスターでのプライベートネットワーキングに対応することを発表しました。これは、データストリーミングワークロードに安全な環境を提供し、GDPR や CCPA などの規制へのコンプライアンスを確保するための重要な第一歩となります。本日、この機能を、大規模でミッションクリティカルなアプリケーション向けに多くのお客様に使用されている専用クラスターに拡張できることを嬉しく思います。

Flink のプライベートネットワーキングサポートは、近日中に他のクラウドプラットフォームやクラスタータイプにも拡張する予定です。

完全マネージド型のコネクターの更新

HTTP ソース・シンク V2 コネクター

Confluent Cloud で最も人気のコネクターは、完全マネージド型の HTTP ソースおよびシンクコネクターの2つで、HTTP または HTTPS 経由で API ベースのアプリケーション（SaaS アプリやマイクロサービスなど）を Confluent と統合します。本日、アップグレードされた HTTP ソース V2 コネクターと シンク V2 コネクターの導入により、OpenAPI 標準による構成の合理化、複数の API パスの処理機能、今年後半に予定の OAuth 2.0 Code Grant フローのサポートなど、主要な改善を実現できることを嬉しく思います。

現在 HTTP コネクターを使用しているユーザーはカスタムオフセットを使用して V2 コネクターに移行し、新規ユーザーは HTTP V2 コネクターから開始してすべての最新の機能拡張にアクセスすることをお勧めします。

Confluent Cloud の新機能で開発を開始

利用を開始しますか？まだお済みでない場合は、Confluent Cloud の無料トライアルに登録して、新しい機能をご確認ください。新規登録者には、最初の30日間にConfluent Cloud 内で利用できる400ドルを提供します。コード CL60BLOG を使用すると、さらに60ドル分の無料使用が可能になります。*

上記は当社の一般的な製品の方向性を概説したものであり、素材、コード、機能の提供を約束するものではありません。記載されている特徴または機能の開発、リリース、タイミング、価格は変更される可能性があります。お客様は、現在利用可能なサービス、特徴、機能に基づいて購入を決定する必要があります。

Confluent および関連するマークは Confluent, Inc. の商標または登録商標です。

Apache®、Apache Kafka®、Apache Flink® は、Apache Software Foundation の米国およびその他の国における登録商標または商標です。これらの商標の使用は、Apache Software Foundation による推奨を意味するものではありません。その他の商標は各所有者に帰属します。