"Our hyper-personalized approach is delivering measurable results. In our A/B testing, we’ve seen a significant increase in customer conversion rates. That is proof that our decision to adopt a real-time event streaming approach was the right one."
Jon Vines
Engineering Lead, AO.com
AO는 영국 최고의 전자제품 및 가전제품 전문 소매업체 중 하나로, 지난 20년간 온라인을 중심으로 9,000여 개의 전자제품 및 가전제품을 영국과 독일 전역의 수백만 고객에게 판매해 왔습니다. 고객을 최우선으로 생각하는 기업인 AO는 회사를 4,000명의 직원들이 단순히 업무를 뛰어넘어 성장할 수 있는 멋진 곳으로 만들기 위해 최선을 다하고 있습니다.
코로나19 대유행은 소비자의 쇼핑 습관에 극적인 변화를 가져왔고, 이는 AO의 급격한 성장으로 이어졌습니다. AO의 설립자이자 CEO인 John Roberts는 이러한 변화에 대해 다음과 같이 말합니다. "코로나19 대유행으로 인해 소비자 행동이 온라인 쇼핑으로 빠르게 이동했으며, 10년이 걸릴 변화가 단 10주 만에 이루어졌습니다."
이러한 급격한 성장을 지원하기 위해서는 빠르게 변화해야 하는데, Confluent 및 Apache Kafka® 기반의 실시간 이벤트 스트리밍 플랫폼이 이러한 변화를 지원합니다. 이 플랫폼을 통해 AO의 Customer Personalization 팀은 과거의 고객 데이터와 클릭스트림 데이터 및 기타 비즈니스 전반의 실시간 디지털 신호를 결합하여 초개인화된 온라인 경험을 제공할 수 있습니다. 마찬가지로 중요한 것은 이를 통해 AO 개발 팀이 새로운 비즈니스 역량을 더 빠르게 선보일 수 있다는 점입니다.
AO의 엔지니어링 책임자인 Jon Vines는 이렇게 이야기합니다. "이동 중인 데이터와 Confluent를 사용하면 조직의 효과적인 확장에 필요한 거버넌스와 가드레일을 통해 속도에 맞춰 기능을 제공할 수 있습니다. 코로나19 대유행 기간 동안 전 세계가 오프라인 쇼핑에서 온라인으로 빠르게 이동했기 때문에 속도가 더욱 중요해졌습니다. Confluent Cloud를 통해 고객 여정을 개선하는 새로운 사용 사례를 빠르게 만들 수 있어 지속적인 변화에 계속 적응하면서도 온라인 시장에서 리더로서의 위치를 공고히 할 수 있습니다."
AO는 초개인화에 초점을 맞춘 첫 번째 이벤트 스트리밍 사용 사례를 성공적으로 배포한 후 Confluent Professional Services와 협력하여 이벤트 스트리밍 성숙도를 빠르게 발전시켜 데이터 재사용, 규모의 효율성, 플랫폼 효과가 서로를 강화하는 단계에 도달했습니다. "팀이 새로운 사용 사례를 제공하고 다양한 소스의 이벤트 스트림을 결합하는 속도가 빨라지고 있으며, 플랫폼에 팀을 도입하는 속도도 빨라지고 있습니다. 이벤트 스트리밍의 사용량과 그 가치가 매일 눈덩이처럼 불어나고 탄력을 받기 시작하면서 저희는 다음 단계의 정점에 서 있습니다."라고 Vines는 말합니다. "초기에는 온라인 판매에 집중했지만, 앞으로는 Confluent Cloud와 이벤트 스트림을 사용하여 여러 계층과 조직 전반에 걸쳐 통합함으로써 배송을 비롯한 운영 효율성을 개선할 것입니다."
비즈니스 결과
실시간 초개인화를 통해 고객 경험 개선 "고객은 각자의 요구가 즉시 응답될 때 가장 행복하죠."라고 Vines는 말합니다. "Confluent Cloud를 사용하면 각 고객에 대한 단일 보기를 생성하여 제품 제안 및 관련 프로모션을 포함해 고객이 원하는 것을 바로 제공함으로써 쇼핑 결정을 내리는 데 도움을 줄 수 있습니다. 초개인화가 저희의 큰 차별화 요소이며 AO가 가진 사명의 핵심입니다."
고객 전환율 최대 30% 증가 "Confluent Cloud를 사용한 이벤트 스트리밍은 측정 가능한 결과를 제공하고 있습니다."라고 Vines는 설명합니다. A/B 테스트에서 고객 전환률이 최대 30%까지 크게 증가한 것을 확인할 수 있었습니다. 이는 실시간 이벤트 스트리밍 방식을 채택하기로 한 저희의 결정이 올바른 결정이었다는 증거입니다. 역량을 계속 키우고 새로운 사용 사례로 확장함에 따라 훨씬 더 큰 이점이 있을 것으로 기대합니다."
혁신 속도 증가Vines는 이렇게 이야기합니다. "Confluent Cloud는 혁신을 추진하는 데 필요한 도구를 제공합니다. Confluent Cloud를 통해 데이터를 이벤트 스트림으로 제공하기 시작하자, 원래 계획에 포함되지 않았던 여러 활용 사례를 위해 두세 개의 다른 팀이 곧바로 해당 데이터에 접근하기 시작하는 모습을 볼 수 있었습니다." 이러한 팀은 새로운 포인트 투 포인트 통합을 만들지 않고도 분리된 방식으로 목표를 빠르게 달성할 수 있습니다. 그 결과 민첩성이 향상되고 조직의 다른 부분에 대한 의존도가 줄어들기 때문에 팀이 훨씬 더 빠르게 움직일 수 있습니다."
개발자가 운영이 아닌 부가 가치 기능에 집중 가능"Confluent Cloud를 도입하기 전에는 브로커 중단이 발생하면 개발자가 문제가 해결하기 위해서 작업을 중단하고 운영에 집중해야 했습니다. 어떤 경우에는 문제를 해결하는 데 최대 3일이 걸렸습니다."라고 Vine이 회상합니다. "Confluent Cloud를 도입하고 나서 저희는 완벽하게 지원되고 완전하게 관리되는 강력한 프로덕션 Kafka 클러스터를 구축할 수 있었습니다. Confluent가 저희 대신 모든 것을 관리하므로, 개발자는 비즈니스에 가치를 더하는 새로운 기능과 애플리케이션을 구축하는 데 집중할 수 있습니다."
비즈니스 속도에 맞춘 데이터 재고 현황 데이터를 통합하여 고객 여정을 더 잘 안내하고, 실시간 재고 업데이트를 알려주며, 제품에 대한 표시된 혜택이 재고가 있는지 확인합니다.
기술 솔루션
AO 팀은 이벤트 스트리밍의 첫 단계로 변경 데이터 캡처(CDC)를 사용하여 주문 처리 및 기타 시스템에서 정보를 추출하는 작업을 시작했습니다. 생성된 스트림은 AWS EC2 인스턴스에 호스팅된 자체 관리형 Kafka 클러스터에서 처리되었습니다. 이 설정은 이후 Confluent Cloud로 교체되었으며, 현재는 원시 Topics 및 Kafka Streams API를 통해 추가 고객 컨텍스트로 보강된 Topics를 통해 AO 웹 서버의 클릭스트림 이벤트도 처리합니다. 강화된 Topics는 회사의 백엔드 서비스에 이벤트를 공급하며, 이를 통해 웹 서버로 다시 전달되어 고객 경험에 초개인화 데이터를 주입합니다. "AWS에서 Confluent Cloud를 실행하면 애플리케이션을 구축할 때 클라우드 네이티브 접근 방식의 확장성을 활용할 수 있습니다."라고 Vines는 말합니다. "또한 이러한 애플리케이션을 분리하고 적절한 경우 현대화하여 SQL Server 및 MongoDB와 같은 소스에서 데이터를 가져오는 동시에 Fargate, Lambda 및 S3와 같은 서비스와 통합하여 클라우드 네이티브 환경을 확장할 수 있습니다."
스트림 API, Confluent Cloud Schema Registry, SS3 Sink, HTTP Sink, MSSQL 소스 및 MongoDB 소스와 같은 Kafka 스트림 API는 AO의 이벤트 스트리밍 여정에서 중요한 역할을 해왔습니다. AO 팀은 Kafka Streams를 통해 이벤트 스트림을 변환하고 보강할 수 있으며, Schema Registry로 효과적인 데이터 거버넌스를 지원하는 진화 가능한 데이터 모델을 확보하고, 커넥터를 통해 Kafka를 다른 시스템과 간편하게 통합할 수 있습니다. "스트림 API는 다양한 뷰를 구축하고 새로운 스트림 처리 애플리케이션을 만들 수 있기 때문에 저희에게 매우 중요합니다."라고 Vines는 말합니다. "또 Schema Registry를 사용하면 producers와 consumers를 명확하게 분리할 수 있으므로 기존 애플리케이션을 손상시킬 걱정 없이 새로운 유형의 데이터를 쉽게 추가할 수 있죠."
AO는 첫 번째 이벤트 스트리밍 사용 사례에서 얻은 추진력을 바탕으로 데이터를 활용하기 위한 여정을 지원하기 위해 Confluent Professional Services와 주제 전문가의 경험을 활용하고자 했습니다. "원래 데이터 스트리밍 활용 사례에서 본 성공과 최근의 엄청난 성장 덕분에 저희는 한 걸음 물러서서 데이터를 보다 전략적으로 활용하는 방법에 대해 고민하게 되었습니다."라고 Vines는 말했습니다. "이벤트 플랫폼의 가치를 조직의 자산으로 삼고 싶었고, 팀 내에서 이를 효과적으로 사용할 수 있는 기술과 전문성을 구축하고자 했습니다."
이 프로젝트의 핵심 목표는 더 많은 AO 팀이 이벤트 스트리밍 플랫폼의 이점을 실현하고 기여하도록 돕는 것이었습니다. Vines는 "이 초기 작업의 가장 큰 목표 중 하나는 팀이 독립적으로 플랫폼에 접속하고, 이미 있는 데이터를 찾아서 사용하는 방법을 알고, 담당 분야에서 데이터를 제공하기 위한 전반적인 접근 방식과 일치하는 Topics를 만들 수 있도록 하는 셀프 서비스 기능이었습니다."라고 말합니다. "Topics가 전반적인 접근 방식 및 전략과 일관성을 갖기를 원했기 때문에 거버넌스와 검색 가능성이 중요한 부분이었으며, 여기에는 토픽 이름부터 사용 가능한 데이터 유형 및 PII 포함 여부에 이르기까지 모든 것이 포함됩니다."라고 설명합니다.
이 작업의 일환으로 Confluent 엔지니어는 메타데이터 관리, 프로세스 관리 및 이벤트 스트리밍 플랫폼에 대한 팀의 온보딩을 지원하는 새로운 도구를 제공했습니다. 지식 그래프를 기반으로 하는 이 도구는 플랫폼과 프로세스 관리 소프트웨어 간의 링크를 제공합니다. "이 도구를 사용하면 훨씬 더 통제된 방식으로 Topics 생성 작업을 할 수 있습니다. 이제 개발자가 원하는 Topics를 아무렇게나 만드는 것이 아니라 더 안전하고 잘 관리되는 프로세스를 갖게 되었습니다."라고 Vines는 말합니다. "이 도구를 사용하면 설정된 가이드라인 내에서 Topics를 빠르게 만들 수 있습니다. 부재 중일 수도 있는 누군가의 공식적인 결정을 기다릴 필요 없이 베타 환경에서 프로덕션 환경으로 배포하기까지 30분 정도면 됩니다."
또한 AO 팀은 Confluent 엔지니어의 경험을 활용하여 Kafka Streams를 채택함으로써 지연 시간을 줄이고 고객 경험을 개선해 고객 여정을 더 잘 안내할 수 있었습니다. "방문자 세션의 보기를 생성하기 위해 Kafka Consumer API와 Producer API를 사용하는 애플리케이션이 있었습니다. 세션 객체의 크기에 따라 지연 시간이 좀 보이기 시작했어요. 하지만 Kafka Streams를 통해 해당 기능을 스트리밍 애플리케이션으로 이동함으로써 상태를 훨씬 빠르고 일관되게 유지 관리할 수 있게 되어 평균 지연 시간과 데이터베이스 호출 횟수를 크게 줄일 수 있습니다."라고 Vines가 이야기합니다.
Vines는 AO 이벤트 스트리밍 여정을 요약하며 이렇게 말합니다. "가장 간단하고 쉬운 방법으로 고객을 위해 훌륭한 서비스를 제공하고자 합니다. 저희는 모든 고객을 친할머니처럼 대하며 고객의 요구 사항을 파악하고 실시간으로 대응함으로써 약속을 이행하고 있습니다. Confluent Cloud는 매 순간을 훌륭한 고객 경험을 제공할 수 있는 기회로 삼을 수 있게 해주는 중요한 원동력입니다. 그리고 저희는 아직 종점에 이르지 않았습니다. 학습과 혁신을 계속하는 한 잠재력은 거의 무한합니다."
지금 Confluent 시작하기
신규 계정 생성 후 30일 동안 사용할 수 있는 400달러 상당의 크레딧을 드립니다.