"Confluent provides exactly what we dreamed of: an ecosystem of tools to source and sink data from data streams. It's provided us not only with great data pipeline agility and flexibility but also a highly simplified infrastructure thats allowed us to reduce costs."
Dima Kalashnikov
Technical Lead, Picnic
유럽에서 가장 빠르게 성장 중인 온라인 전용 슈퍼마켓 Picnic은 현재 프랑스, 네덜란드, 독일에서 운영 중입니다. 이 회사는 고객에게 최저가를 보장하는 데 있어 데이터 기반의 의사 결정에 크게 의존합니다. Picnic은 고객 애플리케이션(예: 쇼핑 애플리케이션) 및 내부 시스템에서 매주 발생하는 3억 건 이상의 고유 이벤트를 처리하고 데이터 웨어하우스의 예측 분석을 지원합니다.
소비자 수요와 업계 인지도 및 성공적인 시리즈 B 자금 조달에서 기인한 Picnic의 눈부신 성장은 향상된 스트리밍 분석 기능을 포함하여 더 나은 성능을 발휘하고 더 안정적인 데이터 스트리밍 플랫폼을 모색할 필요성을 가져왔습니다. 그러한 상황에서 Picnic이 Confluent로 전환했습니다.
과제
빠르게 성장하는 두 데이터 파이프라인
Picnic의 주요 데이터 파이프라인은 두 가지입니다. 첫 번째는 고객 대면 애플리케이션으로, 제품 참여와 결제와 같은 사용자 행동 관련 데이터를 수집합니다. Picnic은 이 데이터를 분석하여 제품 추천을 개선하고 애플리케이션 UI를 향상시킵니다.
두 번째 데이터 파이프라인은 데이터 웨어하우스, 결제 처리, 제품 재고 현황 등 여러 기능을 지원하는 내부 백엔드 시스템을 위한 데이터를 처리합니다. Picnic은 이를 통해 조달을 계획하고 창고 운영을 최적화하며 적절한 제품을 적시에 배송하여 고객에게 긍정적인 경험을 제공합니다.
그러나 기업이 성장하면서 이 데이터 파이프라인이 AWS Kinesis를 사용하는 데 있어 다음과 같은 문제에 직면했습니다.
데이터를 1주일 이상 저장할 수 없습니다. 잘못된 이벤트나 파이프라인 오류를 신속하게 수정하고 복잡한 스트림 처리를 수행하려면 재생 가능성과 복구 가능성이 반드시 필요합니다.
Picnic은 고객 서비스를 처음부터 새로 만들 필요 없이 다른 시스템으로 데이터를 원활하게 스트리밍할 수 있도록 데이터 파이프라인에 관한 방대한 도구가 필요한 시점에 다다랐습니다.
마지막으로 Picnic은 동적 비즈니스 규칙 평가와 같은 특정 사용 사례에 대해 의미론을 한 번만 정확하게 처리해야 했습니다.
기술 솔루션
손쉬운 확장성과 데이터 유연성
Picnic은 변화의 시기가 왔음을 감지하고, 위의 모든 문제를 동시에 해결할 수 있는 해결책을 찾기 시작했습니다. 그리고 Confluent Cloud와 Apache Kafka© 재단을 만났습니다.
그 결과, 데이터 파이프라인의 아키텍처를 재설계하여 내부 서비스 파이프라인을 획기적으로 간소화하고 고객 애플리케이션 데이터를 더욱 효율적으로 처리할 수 있게 되었습니다.
Confluent로 전환한 후 Picnic은 다음과 같은 이점을 매우 빠르게 경험했습니다.
Confluent의 Infinite Storage는 용량이나 보존 기간에 제한이 없어서 데이터를 Confluent에 얼마든지 저장할 수 있게 되었습니다.
Confluent는 즉시 사용할 수 있고 유지보수를 해야 하는 운영상의 부담이 없는 사전 구축 및 완전 관리형 커넥터로 이루어진 다채로운 에코시스템을 제공합니다.
Kafka와 Confluent의 완전 관리형 커넥터 덕분에 한 번만 정확하게 처리하는 의미론이 가능해졌습니다.
이전에는 RabbitMQ의 모든 데이터가 단일 Kinesis 스트림으로 전송되어 데이터 웨어하우스에 이벤트 분리의 부담을 주었고 확장도 더 어려웠습니다.
하지만 이제는 RabbitMQ용 커넥터를 사용하여 RabbitMQ의 데이터를 Confluent Cloud Kafka 토픽으로 전달한 후, 완전 관리형 싱크 커넥터를 사용하여 데이터를 Snowflake와 Amazon S3로 원활하게 불러옵니다. 그리고 데이터 사이언스 팀은 이렇게 받은 데이터를 분석합니다. 또한 완전 관리형 커넥터에서 Confluent의 Data Preview 기능을 사용하여, 커넥터의 산출물을 프로덕션에 작성하기 전에 반복하고 테스트합니다.
이 변화를 통해 Picnic은 확장성을 높이고 균일한 데이터의 명확한 스트림을 확립했습니다. 또한 Confluent의 관리형 커넥터를 통해 Prometheus 같은 솔루션의 API를 보다 쉽게 모니터링할 수 있게 되었습니다.
비즈니스 결과
간소화된 아키텍처, 비용 절감
인프라 비용 절감: Picnic의 기술 책임자 Dima Kalashnikov는 "비용 절감 효과 예상치가 40% 향상되었으며, 비용 최적화는 Confluent를 통해 얻은 가장 이점 중 하나입니다"라고 말했습니다.
IT 아키텍처 간소화: “내부 서비스 파이프라인이 5개의 관리형 서비스에서 1개로 줄었고, 모든 관리형 서비스에서 유지보수하는 서비스 수가 40% 감소했습니다”라고 Kalashnikov가 말했습니다.
SLA 발전을 위한 인프라 모니터링 개선: Kalashnikov는 말합니다. “Confluent를 통해 인프라를 간소화하여 데이터 전송에 대한 SLA를 개선하고 데이터 손실을 방지할 수 있었습니다. 이는 Picnic에 중요한 SLA입니다.”
향후 계획
앞으로 Picnic은 실시간 보고 대시보드 강화 같은 새로운 스트리밍 분석 사용 사례, 스트리밍 ETL, 사용자 행동에 기반한 실시간 추천 등에 ksqlDB를 활용할 계획입니다.
또한 자동화된 풀필먼트 센터에서 들어오고 나가는 데이터 전송을 개선하고, Confluent 기반 파이프라인용으로 자동화된 배포 시스템을 통해 자체 관리형 데이터 전송 플랫폼을 구축하고자 합니다. 이 프로젝트의 궁극적인 목표는 자동화된 풀필먼트 센터에서 데이터 웨어하우스로 데이터를 전달하여, 분석가들이 다른 가용 데이터와 함께 분석할 수 있도록 하는 것입니다.
지금 Confluent 시작하기
신규 계정 생성 후 30일 동안 사용할 수 있는 400달러 상당의 크레딧을 드립니다.
