Picnic modernisiert Datenarchitektur mit Confluent für Streaming Analytics

Picnic ist Europas am schnellsten wachsender reiner Online-Supermarkt und ist derzeit in Frankreich, den Niederlanden und Deutschland aktiv. Das Unternehmen ist in hohem Maße auf datengesteuerte Entscheidungen angewiesen, um seinen Kunden eine Tiefstpreis-Garantie zu bieten. Picnic verarbeitet wöchentlich mehr als 300 Millionen individuelle Events aus Kundenanwendungen (z. B. Shopping-Anwendungen) und internen Systemen, um Predictive Analytics in ihrem Data Warehouse zu ermöglichen.

Das rasante Wachstum von Picnic aufgrund der hohen Nachfrage, der Anerkennung in der Branche und einer erfolgreichen Series B Finanzierungsrunde erforderte eine leistungsfähigere und zuverlässigere Daten-Streaming-Plattform sowie verbesserte Analysefunktionen. Das war der Zeitpunkt, an dem sich Picnic an Confluent wandte.

Die Herausforderung

Zwei schnell wachsende Daten-Pipelines

Picnic hat zwei zentrale Daten-Pipelines. Die erste ist für ihre kundenorientierte Anwendung, die Daten über das Nutzerverhalten im Zusammenhang mit Produkten und dem Bezahlvorgang sammelt. Picnic analysiert diese Daten, um zu bestimmen, wie Produktempfehlungen verbessert und die Benutzeroberfläche der Anwendung optimiert werden können.

Die zweite Daten-Pipeline verarbeitet Daten für interne Backend-Systeme, die beim Data-Warehousing, der Zahlungsabwicklung, dem Verfügbarkeitsstatus von Produkten und vielem mehr helfen. Sie ermöglicht Picnic, die Beschaffung zu planen, den Lagerbetrieb zu optimieren und sicherzustellen, dass Kunden durch die rechtzeitige Lieferung der richtigen Produkte ein positives Erlebnis haben.

Als Picnic wuchs, stießen sie bei der Nutzung von AWS Kinesis für diese Daten-Pipelines auf Probleme, insbesondere:

• Die Unfähigkeit, Daten länger als eine Woche zu speichern. Wiederholbarkeit und Wiederherstellbarkeit sind für Picnic von entscheidender Bedeutung, um fehlerhafte Events oder Pipeline-Fehler schnell zu beheben und ein komplexe Stream-Verarbeitung zu ermöglichen.

• Picnic benötigte immer mehr Tools für seine Daten-Pipelines, um nahtloses Daten-Streaming an andere Systeme zu ermöglichen, ohne Kundenservices komplett neu erstellen zu müssen.

• Außerdem benötigte Picnic Exactly-Once-Semantik für bestimmte Anwendungsfälle, wie die dynamische Auswertung von Geschäftsregeln.

Technische Lösung

Einfache Skalierung und Datenflexibilität

Picnic kam zum Schluss, dass die Zeit für Veränderungen gekommen war und suchte eine Lösung, die alle oben genannten Probleme auf einmal beheben konnte. Ihre Suche führte sie zu Confluent Cloud mit Apache Kafka© als Fundament.

Sie gestalteten die Architektur der Daten-Pipelines neu, was zu einer erheblichen Vereinfachung der internen Service-Pipelines und einer effizienteren Verarbeitung von Kundenanwendungsdaten führte.

Innerhalb kürzester Zeit konnten sie durch den Wechsel zu Confluent folgende Verbesserungen feststellen:

• Sie können Daten so lange in Confluent speichern, wie sie möchten, da Confluent Infinite Storage keine Einschränkungen hinsichtlich des Volumens oder der Vorhaltefristen hat.

• Confluent bietet ein umfangreiches Ökosystem von vorgefertigten, vollständig verwalteten Connectors, die sofort einsatzbereit sind, was den operativen Aufwand für ihre Wartung beseitigte.

• Exactly-Once-Semantik ist dank der vollständig verwalteten Connectors von Kafka und Confluent endlich möglich.

Bis dahin wurden alle Daten von RabbitMQ in einen einzigen Kinesis-Stream gesendet, was die Last der Event-Trennung auf das Data Warehouse verlagerte und die Skalierbarkeit erschwerte.

Heute verwendet Picnic Connectors für RabbitMQ, um Daten von RabbitMQ in Confluent Cloud Kafka-Topics weiterzuleiten. Anschließend werden Daten mithilfe von vollständig verwalteten Sink-Connectors nahtlos in Snowflake und Amazon S3 geladen, zur weiteren Analyse durch Data Science-Teams. Sie nutzen außerdem Confluent’s Data-Preview-Feature für vollständig verwaltete Connectors, um den Output eines Connectors vor dem Übergang in die Produktion zu iterieren und zu testen.

Dieses neue Setup hat zu einer besseren Skalierbarkeit geführt und klar definierte Ströme homogener Daten geschaffen. Ein großer Vorteil waren auch die verwalteten Connectors von Confluent, die es Picnic ermöglichten, APIs für Lösungen wie Prometheus einfacher zu überwachen.

Geschäftsergebnisse

Architektur vereinfacht, Kosten gesenkt

Reduzierte Infrastrukturkosten: „Unsere prognostizierten Kosteneinsparungen verbesserten sich um 40 % und die Kostenoptimierung ist einer der größten Effekte, die Confluent bei Picnic erzielt hat“, sagte Dima Kalashnikov, Technical Lead bei Picnic.

Vereinfachte IT-Architektur: „Die interne Service-Pipeline verringerte sich von fünf verwalteten Services auf nur einen und die Anzahl der gewarteten Services ging bei allen verwalteten Services um 40 % zurück“, sagte Dima Kalashnikov.

Verbessertes Infrastruktur-Monitoring für bessere SLAs: Laut Dima Kalashnikov: „Dank der Weise, wie Confluent unsere Infrastruktur vereinfacht hat, konnten wir unsere SLAs für die Datenübertragung verbessern und außerdem Datenverluste verhindern, was ein entscheidendes SLA für uns ist.“

Was kommt als Nächstes?

In Zukunft plant Picnic, ksqlDB für neue Streaming-Analytics-Anwendungsfälle zu nutzen, beispielsweise für Echtzeit-Reporting-Dashboards, Streaming-ETL und um Echtzeit-Empfehlungen basierend auf dem Nutzerverhalten zu ermöglichen.

Picnic möchte zudem die Datenübertragung zu und von seinem automatisierten Fulfillment-Center verbessern und eine Self-Service-Plattform zur Datenübertragung über automatisierte Deployment-Systeme für Confluent-basierte Pipelines erstellen. Letztlich ist das Ziel dieses Projekts, Daten von einem automatisierten Fulfillment-Center an ein Data-Warehouse zu liefern, damit Analysten sie in Verbindung mit anderen verfügbaren Daten nutzen können.

Mehr über Picnic erfahren