Picnic Modernizes Data Architecture with Confluent for Streaming Analytics

Picnic es el supermercado online que más rápido está creciendo en Europa y actualmente opera en Francia, los Países Bajos y Alemania. La empresa depende en gran medida de decisiones data-driven para garantizar a sus clientes el precio más bajo. Picnic procesa más de 300 millones de eventos únicos a la semana procedentes de las aplicaciones de clientes (es decir, aplicaciones de compras) y los sistemas internos para alimentar los análisis predictivos en su almacén de datos.

El rápido crecimiento de Picnic, que se puede atribuir a la demanda de los consumidores, el reconocimiento del sector y una ronda de financiación de serie B muy exitosa, subrayó la necesidad de buscar una plataforma de streaming de datos más fiable y que ofreciese un mejor rendimiento, ademas de unas funciones mejoradas para el análisis en streaming. Con esas características en mente, Picnic recurrió a Confluent.

El reto

Dos pipelines de datos de rápido crecimiento

Picnic tiene dos pipelines de datos principales. La primera es para la aplicación que utilizan sus clientes, que recopila datos sobre el comportamiento del usuario relacionados con aspectos como las interacciones con los productos y el proceso de pago. Picnic analiza estos datos para determinar cómo mejorar las recomendaciones de productos y optimizar la interfaz de usuario de la aplicación.

La segunda pipeline de datos procesa información para los sistemas internos del back end, que ayudan con el almacén de datos, el procesamiento de pagos, el estado de disponibilidad de productos y mucho más. Esta pipeline permite que Picnic planifique las compras, optimice las operaciones del almacén y garantice que los clientes tengan una experiencia positiva al recibir los productos adecuados a tiempo.

A medida que Picnic crecía, se encontraron con problemas al usar AWS Kinesis para estas pipelines de datos:

• No podían almacenar datos durante más de una semana. La capacidad de repetición y recuperación son fundamentales para que Picnic pueda corregir rápidamente eventos con formato incorrecto o fallos en las pipelines y para realizar un procesamiento en streaming complejo.

• Picnic empezó a necesitar un extenso conjunto de herramientas para que sus pipelines pudiesen transmitir datos sin problemas a otros sistemas, sin que eso les obligase a crear un servicio de atención al cliente desde cero.

• Por último, aunque igualmente importante, Picnic necesitaba Exactly-Once Semantics para ciertos casos de uso, como la evaluación dinámica de reglas del negocio.

Solución técnica

Escalabilidad y flexibilidad de datos simplificadas

Picnic sintió que había llegado el momento de un cambio y buscó una solución que pudiera dar solucion a todos esos problemas a la vez. Esa búsqueda les llevó a Confluent Cloud y a la base de su tecnología: Apache Kafka©.

Rediseñaron la arquitectura de las pipelines de datos, lo que ayudó a que sus pipelines de servicios internos fuesen mucho más sencillas y a que el procesamiento de los datos de las aplicaciones de los clientes fuese mucho más eficiente.

Estas son algunas de las ventajas que experimentaron tras empezar a trabajar con Confluent:

• Pueden almacenar datos en Confluent todo el tiempo que quieran, ya que el almacenamiento infinito de Confluent no tiene limitaciones en cuanto al volumen ni a los períodos de conservación.

• Confluent ofrece un rico ecosistema de conectores prediseñados y totalmente gestionados que están listos para usarse de inmediato y eliminan la carga operativa que suele conllevar su mantenimiento.

• Gracias a Kafka y a los conectores totalmente gestionados de Confluent, trabajar con Exactly-Once Semantics es, al fin, posible.

Anteriormente, todos los datos de RabbitMQ se enviaban a un único flujo de Kinesis, lo que hacía recaer la carga de la separación de eventos en el almacén de datos y dificultaba la escalabilidad.

Ahora, Picnic utiliza los conectores con RabbitMQ para reenviar datos de RabbitMQ a topics de Kafka en Confluent Cloud. Después, utilizan los conectores sink totalmente gestionados para cargar sus datos fácilmente en Snowflake y Amazon S3 para que los equipos de ciencia de datos los analicen más a fondo. También utilizan la función Data Preview de Confluent en conectores totalmente gestionados para iterar y probar la salida de un conector antes de pasar a la fase de producción.

Esta nueva configuración ha dado lugar a una mayor escalabilidad y ha logrado que Picnic pueda trabajar con unos streams claros de datos homogéneos. Además, los conectores gestionados de Confluent han hecho posible que Picnic pueda monitorizar más fácilmente las API para soluciones como Prometheus.

Resultados empresariales

Simplificación de la arquitectura y ahorro de costes

Reducción de los costes de infraestructura: «Nuestra previsión de ahorro de costes ha mejorado en un 40 % y la optimización de costes es una de las mayores ventajas que nos ha aportado Confluent», afirma Dima Kalashnikov, Technical Lead en Picnic.

Arquitectura de TI simplificada: «La pipeline de servicios internos ha pasado de cinco servicios gestionados a solo uno y el número de servicios mantenidos ha disminuido un 40 % en todos los servicios gestionados», asegura Kalashnikov.

Mejora de la supervisión de la infraestructura para optimizar los SLA: Según Kalashnikov: «Gracias a la simplificación que Confluent ha aportado a nuestra infraestructura, hemos podido mejorar nuestros SLA en la entrega de datos y evitar la pérdida de datos, que es uno de nuestros principales SLA».

¿Cuál es el siguiente paso?

En el futuro, Picnic tiene pensado utilizar ksqlDB para nuevos casos de uso de análisis de streaming, como paneles de informes en tiempo real y ETL de streaming, y facilitar recomendaciones en tiempo real basadas en el comportamiento del usuario.

Picnic también quiere mejorar la entrega de datos hacia y desde su centro automatizado para la gestión de pedidos y crear una plataforma de autoservicio para la entrega de datos a través de sistemas de despliegue automatizados para pipelines basadas en Confluent. En última instancia, el objetivo de este proyecto es entregar datos desde su centro de gestión de pedidos a un almacén de datos para que los analistas puedan estudiarlos junto con a los demás datos disponibles.

Más información sobre Picnic