Level Up Your Kafka Skills in Just 5 Days | Join Season of Streaming
L'intégration fiable et évolutive d'Apache Kafka® avec d'autres systèmes est souvent un élément essentiel d'une plateforme de streaming. C'est pourquoi Apache Kafka inclut l'API Connect, qui permet d'intégrer le streaming de données depuis et vers Kafka. Comme pour toute technologie, il est essentiel de comprendre son architecture et ses modèles de déploiement en vue d'une utilisation réussie, et de savoir où creuser en cas de problème.
Cette présentation aborde les concepts de base d'Apache Kafka Connect, ainsi que les avantages et les inconvénients des modes de déploiement autonome et distribué. Nous effectuons une démonstration en direct sur la création de pipelines avec Apache Kafka Connect en vue de gérer des flux de données entrants (en provenance de bases de données) et sortants (en direction de cibles, dont Elasticsearch). Confrontés à plusieurs « gremlins » en chemin, nous adoptons une approche pratique pour diagnostiquer et résoudre méthodiquement les problèmes courants rencontrés avec Apache Kafka Connect. La présentation s'achève par une discussion portant sur des sujets plus avancés, notamment les transformations de message unique et le déploiement de Kafka Connect dans des conteneurs.