Picnic Modernizes Data Architecture with Confluent for Streaming Analytics

"Confluent provides exactly what we dreamed of: an ecosystem of tools to source and sink data from data streams. It's provided us not only with great data pipeline agility and flexibility but also a highly simplified infrastructure thats allowed us to reduce costs."

Dima Kalashnikov

Technical Lead, Picnic

Picnic は欧州で最も急成長しているオンライン専業スーパーマーケットで、現在フランス、オランダ、ドイツで営業しています。同社は、顧客に最低価格保証を提供するために、データ主導の意思決定に大きく依存しています。Picnic は、顧客アプリケーション (例 : ショッピングアプリ) および社内システムから毎週3億件を超える一意のイベントを処理し、データウェアハウスでの予測分析を強化しています。

消費者の需要、業界の認知度、シリーズ B の資金調達の成功により、Picnic は驚異的な成長を遂げました。この成長を受け、より高性能で信頼性の高いデータストリーミングプラットフォームの導入と、ストリーミング分析機能の向上が急務になりました。Picnic はこのような状況の中で Confluent に目を向けました。

課題

急速に成長する2つのデータパイプライン

Picnic には2つの主要なデータパイプラインがあります。1つ目は、製品エンゲージメントやチェックアウトなどに関連するユーザーの行動データを収集する、顧客向けアプリケーション用で、Picnic はこのデータを分析し、製品の推奨を改善し、アプリケーションの UI を強化する方法を決定します。

2つ目のデータパイプラインは、データウェアハウス、決済処理、製品の在庫状況などに役立つ内部バックエンドシステム用のデータを処理します。これにより、Picnic は調達を計画し、倉庫業務を最適化し、適切な製品をタイムリーに届け、優れた顧客体験を提供できます。

Picnic が成長するにつれて、これらのデータパイプラインに AWS Kinesis を使用する際に、次のような課題が出てきました。

データを1週間以上保存できないこと。Picnic では、不正なイベントやパイプラインの障害を迅速に修正し、複雑なストリーム処理を実現するために、過去のデータの再生可能性と回復可能性が重要となります。
Picnic では、顧客サービスをゼロから作り上げる必要なしに他のシステムへのシームレスなデータストリーミングを実現するため、同社のデータパイプラインで大規模なツールが必要になりました。
最後に、Picnic は、動的なビジネスルールの評価など、特定のユースケースに対して、「1回のみ」が保証されるセマンティクスを必要としていました。

技術的ソリューション

スケーリングの容易さとデータの柔軟性

変化の必要性を実感した Picnic は、上記の問題をすべて一度に解決できる方法を探し始め、最終的に Confluent Cloud とその Apache Kafka© 基盤に行き着きました。

データパイプラインのアーキテクチャを再設計したことで、社内サービスパイプラインが劇的に簡素化され、顧客のアプリケーションデータをより効率的に処理できるようになりました。

Confluent に移行することで、すぐに次のようなメリットを得られました。

Confluent の Infinite Storage には容量や保存期間の制限がないため、データを好きなだけ Confluent に保存できます。
Confluent は、すぐに使用できる事前構築された完全マネージド型コネクターの豊富なエコシステムを提供し、保守運用上の負担を排除します。
Kafka と Confluent の完全マネージド型コネクターのおかげで、「1回のみ」が保証されるセマンティクスがついに実現しました。

以前は、RabbitMQ からのすべてのデータが単一の Kinesis ストリームに送信されており、その結果、データウェアハウスにイベント分離の負担がかかり、スケーラビリティがより困難になっていました。

現在、Picnic は RabbitMQ のコネクターを使用して RabbitMQ から Confluent Cloud Kafka トピックにデータを転送し、その後、完全マネージド型のシンクコネクターを使用してデータを Snowflake と Amazon S3 にシームレスにロードし、データサイエンスチームがさらなる分析を行っています。また、完全マネージド型コネクターで Confluent のデータプレビュー機能を使用し、本番環境に書き込む前にコネクターの出力を反復してテストしています。

この新しいセットアップによりスケーラビリティが向上し、均質なデータの明確なストリームが確立されました。また、Confluent のマネージドコネクターを利用することで、Picnic は Prometheus のようなソリューションの API をより簡単に監視できるようになりました。

ビジネス面での成果

シンプルなアーキテクチャとコスト削減

インフラストラクチャコストの削減 :「コスト削減が40%向上すると予測されており、コストの最適化は、Confluent が Picnic にもたらした最大の影響の1つです」と、Picnic のテクニカルリードである Dima Kalashnikov 氏は述べています。

シンプルな IT アーキテクチャ :「社内サービスのパイプラインが5つのマネージドサービスから1つに縮小され、すべてのマネージドサービスで維持されているサービスの数は40％減少しました」と Kalashnikov 氏は述べました。

SLA を向上させるためのインフラストラクチャ監視の改善 : Kalashnikov 氏によると、「Confluent によるインフラストラクチャの簡素化で、データ配信に関する SLA を改善し、当社にとって重要な SLA であるデータ損失を防ぐことができました。」

次のステップ

今後、Picnic は、ksqlDB を活用して、リアルタイムレポートダッシュボードの強化、ストリーミング ETL、ユーザーの行動に基づくリアルタイムの推奨などのストリーミング分析の新たなユースケースを実現する予定です。

Picnic はまた、自動化されたフルフィルメントセンターとのデータ配信を改善し、Confluent ベースのパイプラインの自動展開システムを通じてデータ配信のためのセルフサービスプラットフォームを作成したいと考えています。最終的には、このプロジェクトでは、自動化されたフルフィルメントセンターからデータウェアハウスにデータを提供し、アナリストが他の利用可能なデータと組み合わせて分析できるようにすることを目標としています。

Picnic の詳細を見る