ゼロからの構築 : Kafka Connect の概念を学ぶ

[Virtual Event] GenAI Streamposium: Learn to Build & Scale Real-Time GenAI Apps | Register Now

今すぐ登録

オンデマンドで利用可能

ストリーミングプラットフォームにおいては、Apache Kafka® を信頼性と拡張性に優れた方法で他のシステムと統合することが非常に重要になります。幸い、Apache Kafka には、Kafka 内外でのストリーミング統合を可能にする Connect API が含まれています。他のテクノロジーと同様、そのアーキテクチャとデプロイパターンを理解することが上手な利用のための鍵となり、うまくいかなかった場合にどこを確認すべきかを把握することも重要です。

このトークでは、Apache Kafka Connect の主要な設計コンセプトと、スタンドアロンと分散デプロイモードの長所と短所について説明しています。データベースからデータをストリーミングし、Elasticsearch などのターゲットに出力するための Apache Kafka Connect を使用したパイプラインの構築のライブデモを行います。途中でいくつかの問題が発生した場合も、Apache Kafka Connect で発生する一般的な問題を系統的に診断して解決する実践的な作業を行います。その後、Single Message Transforms やコンテナーへの Kafka Connect の展開など、より高度なトピックについて議論してトークを終了します。

Robin MoffattPrincipal DevEx Engineer

Robin は Decodable のプリンシパル DevEx エンジニアであり、Oracle Groundbreaker アンバサダーでもあります。そのキャリアにおいては、COBOL や DB2 の古い世界から OracleやHadoop の世界、そして現在の Kafka の世界に至るまで、常にデータに関わってきました。特に、分析、システムアーキテクチャ、パフォーマンス・テスト、最適化に関心を持っています。http://cnfl.io/rmoff と http://rmoff.net/ でブログ記事を執筆しており、@rmoff として不機嫌なオタクの考えをツイートしています。プライベートでは、おいしいビールを飲んだり、朝食に揚げ物を食べたりするのが好きですが、通常これを同時にすることはありません。