From Zero to Hero with Kafka Connect

국내 No.1 에너지 IT기업 ‘해줌’의 컨플루언트 클라우드 도입 스토리 | 알아보고 등록하기

지금 등록하기

온디맨드로 제공

스트리밍 플랫폼은 Apache Kafka®를 안정적이고 확장 가능한 방식으로 다른 시스템과 통합하는 것이 핵심인 경우가 많습니다. 다행히도 Apache Kafka는 Kafka 안팎에서 스트리밍을 통합하게 해주는 Connect API를 제공합니다. 여느 기술과 마찬가지로 성공적인 활용을 위해서는 아키텍처와 배포 패턴을 이해하며, 문제가 생겼을 때 어디를 찾아보아야 하는지 아는 것이 중요합니다.

이 강연에서는 Apache Kafka Connect의 주요 설계 컨셉, 독립형과 분산 배포 방식의 장단점을 설명합니다. Apache Kafka Connect로 파이프라인을 구축하여, 데이터베이스에서 데이터를 스트리밍하고 Elasticsearch를 비롯한 대상으로 전송하는 라이브 데모를 진행합니다. 그 과정에서 몇 가지 문제를 알아보고 Apache Kafka Connect에서 발생하는 일반적인 문제를 체계적으로 진단하고 해결하는 방법을 실습해 보겠습니다. 마지막으로는 단일 메시지 변환, 컨테이너에서의 Kafka Connect 배포와 같은 고급 주제를 논의합니다.

Robin MoffattPrincipal DevEx Engineer

Robin is a Principal DevEx Engineer at Decodable as well as an Oracle Groundbreaker Ambassador. His career has always involved data, from the old worlds of COBOL and DB2, through the worlds of Oracle and Hadoop, and into the current world with Kafka. His particular interests are analytics, systems architecture, performance testing and optimization. He blogs at http://cnfl.io/rmoff and http://rmoff.net/ and can be found tweeting grumpy geek thoughts as @rmoff. Outside of work he enjoys drinking good beer and eating fried breakfasts, although generally not at the same time.