Kafka Connect를 통해 주인공으로 거듭나기

온디맨드로 제공

스트리밍 플랫폼은 Apache Kafka®를 안정적이고 확장 가능한 방식으로 다른 시스템과 통합하는 것이 핵심인 경우가 많습니다. 다행히도 Apache Kafka는 Kafka 안팎에서 스트리밍을 통합하게 해주는 Connect API를 제공합니다. 여느 기술과 마찬가지로 성공적인 활용을 위해서는 아키텍처와 배포 패턴을 이해하며, 문제가 생겼을 때 어디를 찾아보아야 하는지 아는 것이 중요합니다.

이 강연에서는 Apache Kafka Connect의 주요 설계 컨셉, 독립형과 분산 배포 방식의 장단점을 설명합니다. Apache Kafka Connect로 파이프라인을 구축하여, 데이터베이스에서 데이터를 스트리밍하고 Elasticsearch를 비롯한 대상으로 전송하는 라이브 데모를 진행합니다. 그 과정에서 몇 가지 문제를 알아보고 Apache Kafka Connect에서 발생하는 일반적인 문제를 체계적으로 진단하고 해결하는 방법을 실습해 보겠습니다. 마지막으로는 단일 메시지 변환, 컨테이너에서의 Kafka Connect 배포와 같은 고급 주제를 논의합니다.