Confluent hilft OTTO, ein vielseitiges und skalierbares Online-Shopping-Erlebnis zu bieten

Die OTTO (GmbH & Co KG) betreibt einen der größten deutschen Online-Marktplätze, auf dem Produkte tausender großer Marken sowie kleinerer Einzelhändler und Partner angeboten werden. Kundinnen und Kunden können auf der Plattform praktisch alles einkaufen, von Elektronik über Mode und Sportbekleidung bis hin zu Möbel.

Im Jahr 2018 schaffte OTTO den Sprung vom E-Commerce-Anbieter zur vollwertigen E-Commerce-Plattform. Doch die schiere Bandbreite und Vielfalt der Produktlinien brachte die technische Basis der OTTO an ihre Grenzen.

Das Hosting der eigenen Produktpalette neben den Produkten von ca. 6.000 Partnern und Drittanbietern stellte das Unternehmen vor erhebliche Herausforderungen hinsichtlich Skalierung und dem Handling riesiger Datenmengen.

Um ihr geplantes Wachstum zu unterstützen, benötigte OTTO eine flexible Architektur, die sich nahtlos in die bereits von ihrem Team genutzte Technik integrieren ließ.

Nachdem OTTO Apache Kafka einige Jahre lang on-premises betrieben hatte, stellte sie fest, dass das Wachstum des Marktplatzes die Kapazitäten der eigenen Ressourcen überstieg, so dass ein Weiterbetrieb von Kafka in Eigenregie nicht mehr als sinnvoll erschien. Um die Lücken zu schließen und den Managementaufwand zu verringern, entschied sich die OTTO für Confluent Cloud als Basis für ihre neue, erweiterte Event- Streaming-Plattform.

„Kafka selbst zu betreiben, war angesichts unserer Teamgröße und unserer Anforderungen ein No-Go. Wir haben im Team beschlossen, uns lieber auf die technischen Funktionen der Plattform zu konzentrieren. Wir wollten unsere Energie der Funktionalität widmen und alles andere [Confluent] überlassen, die darauf spezialisiert sind!“, sagt Fabian Schmidt, Senior Expert Product Data Technology bei OTTO.

Im Ergebnis hat OTTO alle Datenströme standardisiert, den allgemeinen Zugriff auf die Funktionalität verbessert und viele Hürden beim Onboarding neuer Vertriebspartner aus dem Weg geräumt.

Ein komplexes Netz unterschiedlicher Datenquellen entwirren

Als führende E-Commerce-Plattform dreht sich bei OTTO alles um die Kundinnen und Kunden. Dazu gehört auch, dass sie eine möglichst große Produktpalette anbietet, um die unterschiedlichsten Bedürfnisse zu erfüllen. Die Event-Streaming-Lösung, welche OTTO intern aufgebaut hatte, basierte jedoch auf monolithische Datenbanken und nutzte Replay-Mechanismen, um Ereignisse zu reproduzieren und an Partner zu senden.

„Wir verließen uns auf eine Event-Streaming-Lösung, die wir selbst entwickelt hatten. Das bedeutete, dass jeder neue Datenabnehmer, der auf der Plattform aufgenommen und unseren Daten verwenden wollte, eine eigene Implementierung benötigte“, sagt Schmidt.

Um ein optimales Ergebnis zu erzielen, mussten die Produktdaten als Service zur Verfügung stehen. Dies wurde jedoch durch ein komplexes System behindert, das versuchte, viele unterschiedliche Datenänderungen gleichzeitig zu lesen und zu schreiben.

„Wir wollten, dass unsere Clients in der Lage sind, unsere Daten möglichst einfach zu konsumieren und jederzeit alle Änderungen und Löschung verarbeiten können“, sagt Schmidt.

Aufbau einer zukunftsfähigen Event- Streaming-Plattform

Nach Prüfung verschiedener Optionen entschied sich OTTO für Confluent als Plattform, welche die Basis für ihre Kernsysteme bildet und eine 10 Jahre alte Dateninfrastruktur in ein neues Zeitalter überführt.

Wenn ein neuer Vertriebspartner die E-Commerce-Plattform von OTTO nutzen möchte, erhält OTTO die Quelldaten, führt sie zentral zusammen und verteilt sie dann schnell an die entsprechenden Stellen.

Statt für jeden Abnehmer eine eigene Implementation erstellen zu müssen, verfügt OTTO über ein auf Effizienz optimiertes System. „Dank Kafka und Confluent haben wir nur noch ein Protokoll, so dass neue Konsumenten schnell auf unsere Daten zugreifen können“, erklärt Schmidt.

„Wir haben sogar unsere eigenen Microservices im Einsatz, die die relevanten Produktdaten abrufen, sie validieren, verarbeiten und dann neue Datenströme erzeugen“, erklärt er. „Confluent hat uns dabei geholfen, viele unserer Datenprozesse zu verketten, um sicherzustellen, dass unsere Kundinnen und Kunden nach Abschluss der Verarbeitung gute, valide Produktdaten erhalten.“

Die bereits vorhandene Erfahrung mit Kafka und der Support von Confluent beim Debugging und der Inbetriebnahme halfen dem Team um Fabian Schmidt, die Lösung reibungslos zu implementieren.

„Dank der Beratung von Confluent konnten wir die Plattform recht einfach selbst nutzen. Der Support war wirklich gut und während der Pilotphase wurden wir sehr gut betreut“, sagt Torsten Rascher, Team Lead Integration Services bei OTTO.

Eigenschaften einer modernen Daten- Streaming-Plattform

Mit einer zukunftssicheren Event-Streaming-Plattform powered by Confluent hat OTTO beeindruckende Ergebnisse erzielt:

Verarbeitung der Produktdaten in nur 15 Minuten

Das schnelle und einfache Event-Streaming von Confluent hat monolithische Datenbanken überflüssig gemacht und die Kunden bzw. Partner von OTTO können viel schneller auf geschäftskritische Daten zugreifen.

„Unser Ziel ist es, Produktdaten in 15 Minuten durch den gesamten Prozess zu bringen. Das ist ein wichtiger KPI für uns und erhöht die Aktualität unserer Daten massiv, was wiederum ein großer Gewinn für unsere Kundinnen und Kunden ist“, so Schmidt.

Eine auf Skalierung ausgelegte Plattform

Mit einer agilen, wartungsarmen Lösung, die sich leicht auf sich ändernde Geschäftsanforderungen einstellen kann, verfügt OTTO nun über eine auf Wachstum ausgelegte Plattform, die schnell skalieren, neue Partner einbinden und bei Bedarf mit neuer Funktionalität erweitert werden kann.

„Confluent skaliert viel besser als die meisten anderen Plattformen, da sie kein HTTP für den Datenaustausch verwendet und out-of- the-box einen extrem schnellen Durchsatz bietet“, sagt Torsten Rascher.

Standardisierte Daten für schnelles Partner-Onboarding

Die über mehrere Teams verteilten Aufgaben und Zuständigkeiten standen in der Vergangenheit der Kommunikation ebenso im Weg wie dem Datenzugriff. Letzterer erfolgt heute auf Knopfdruck, was sowohl das Onboarding als auch die funktionale Erweiterung der Plattform beschleunigt.

„Wir sind jetzt in der Lage, nicht nur den gesamten Datenstrom zu standardisieren, sondern viele einzelne kleinere Datenströme. Das Starten neuer Topics ist wirklich intuitiv“, sagt Fabian Schmidt.„Unsere Daten gelangen viel schneller in Live-Szenarien, was das Onboarding neuer Kunden und die Implementierung produktiver neuer Fälle erleichtert.“

Was bei OTTO noch ansteht

OTTO ist nun mit den erforderlichen Tools ausgestattet, um ihr E-Commerce-Geschäft in Deutschland weiter auszubauen.

„Wir fügen ständig neue Teams und neue Anwendungsfälle hinzu, und wir gehen davon aus, dass sich das fortsetzen wird, wenn wir als Unternehmen weiter wachsen. Aktuell sind wir dabei die Migration aller Abnehmer unserer Daten auf die neue Produktversorgung abzuschließen und schauen uns unsere interne Analytics-Infrastruktur an und überlegen, wie wir den Prozess der Datenverteilung beschleunigen können“, sagt Fabian Schmidt.

OTTO verfügt heute über eine Plattform, die neue Teams, spannende Anwendungsfälle, unterschiedliche Produktlinien und vieles mehr problemlos bewältigen kann.

„Für das, was wir aktuell tun, ist das System sehr gut zugeschnitten – aber es ist auch beruhigend zu wissen, dass wir bei Bedarf auf mehr Bandbreite zurückgreifen können“, so Schmidt.

Mehr über OTTO: