Confluent Online Serie: In vier Schritten zur unternehmensweiten Streaming-Plattform

Ursprünglich als hochskalierbares Messaging-System entwickelt, hat sich Apache Kafka® im Laufe der Jahre zu einer umfassenden verteilten Streaming-Plattform für das Publishing und Subscribing, Speichern und Verarbeiten von Streaming-Daten skalierbar und in Echtzeit entwickelt.

Apache Kafka ist ein beliebtes Tool für Entwickler, da es einfach zu bedienen ist und eine leistungsstarke Streaming-Plattform mit 4 APIs bietet: Producer, Consumer, Streams und Connect. Im Rahmen dieser Serie wollen wir diese 4 APIs genauer beleuchten und auch die weiteren Funktionalitäten von Apache Kafka und Confluent vorstellen und erklären.

Um die Online Talks anzusehen, registrieren Sie sich bitte über das Formular. Wir lassen Ihnen dann den Link zu den Recordings zukommen.

**
Sprecher:**

Kai Wähner, Technology Evangelist, Confluent

Kai Wähner ist als Technology Evangelist bei Confluent tätig. Seine Schwerpunkte liegen in den Bereichen Big Data Analytics, Machine Learning, Messaging, Integration, Microservices, Internet of Things, Stream Processing und Blockchain. Außerdem ist er Autor von Fachartikeln, hält Vorträge auf internationalen Konferenzen und berichtet in seinem Blog (www.kai-waehner.de/blog) über Erfahrungen mit neuen Technologien..

Teil 1: Apache Kafka & Confluent im Überblick

Recording verfügbar

Moderne Unternehmen bauen ihr Fundament aus Daten auf - welche sich ständig ändern. Wie können Unternehmen diesen Strom ständig wechselnder Daten in Echtzeit nutzen? Die Antwort ist die Verarbeitung dieser Daten als Streams, und ein System, das sich zu einem zentralen Knotenpunkt für das Streaming von Daten entwickelt hat: Apache Kafka.

In diesem Online Talk zeigen wir gibt eine kurze Einführung in Apache Kafka und die Verwendung als Daten-Streaming-Plattform. Es wird erklärt, wie Kafka als Grundlage sowohl für Daten-Pipelines als auch für Anwendungen dient, die Echtzeit-Datenströme konsumieren und verarbeiten. Außerdem zeigen wir, wie Confluent Enterprise, Confluents Angebot von Apache Kafka, es Unternehmen ermöglicht, den Betrieb, die Verwaltung und Überwachung einer Kafka-Streaming-Plattform zu zentralisieren und zu vereinfachen.

Erfahren Sie unter anderem mehr über:

• Apache Kafka, die weltweit beliebteste Streaming-Plattform
• Confluent Control Center, zur Überwachung und Verwaltung einer Kafka-Umgebung
• Auto Data Balancer, zum Rebalancing von Clustern für zuverlässige Leistung

**Teil 2: Kafka Connect & Kafka Streams:

Einsatz im Unternehmensalltag**
Recording verfügbar

Während Kafka bei immer mehr Unternehmen für geschäftskritische Anwendungen eingesetzt wird, wurde es auch in einem konstanten Tempo weiterentwickelt: Dabei wurden die  Connect-API für die einfache Integration von Kafka mit Systemen wie MySQL und Elasticsearch und die Streams-API für die native Stream-Verarbeitung in Kafka für unternehmenskritische Echtzeitanwendungen und event-gesteuerte Microservices.

Im zweiten Teil unserer Online Talk Serie wollen wir diese zusätzlichen Komponenten von Apache Kafka vorstellen: Kafka Connect, ein Framework zur Erfassung kontinuierlicher Datenströme, und Kafka Streams, eine leicht anzuwendende  Stream-Verarbeitungsbibliothek.

Erfahren Sie wie Kafka-Anwender wie Pinterest, Rabobank, Zalando und The New York Times die Streams-API nutzen und wie auch Sie diese einfach in Ihrer Kafka-Umgebung einsetzen können.

**Teil 3: Schema Registry & REST Proxy:

Mehr Qualität und Flexibilität im Kafka Cluster**
Recording verfügbar

Mit der raschen Zunahme des Einsatzes von Apache Kafka innerhalb von Organisationen stehen Fragen der Data Governance und Datenqualität im Mittelpunkt. Wenn immer mehr unterschiedliche Abteilungen und Teams auf die Daten in Apache Kafka angewiesen sind, ist es wichtig, einen Weg zu finden, um sicherzustellen, dass "schlechte Daten" nicht in kritische Themen gelangen. Mithilfe der Schema Registry wird eine versionierte Historie aller Schemas gespeichert und die Entwicklung von Schemas entsprechend den konfigurierten Kompatibilitätseinstellungen ermöglicht.

Außerdem wird der  REST Proxy vorgestellt, um anstatt direkt mittels Programmiersprachen wie Java, .NET oder Python mittels HTTP bzw. HTTPS Nachrichten zu senden oder konsumieren. Entwicklern wird somit mehr Flexibilität ermöglicht, um auf ein Kafka Cluster zuzugreifen.

**Teil 4: KSQL: Stream Processing, ganz ohne Coding

**Recording verfügbar

Echtzeit-Streaming-Anwendungen können jetzt mit KSQL, der Open-Source-Streaming-SQL-Engine für Apache Kafka erstellt werden. Lernen Sie die Architektur von KSQL kennen und erfahren Sie, wie Sie in einem Live Demo wie interaktive, kontinuierliche Abfragen für das Streaming von ETL- und Echtzeitanalysen entworfen  und implementiert werden können.

Erfahren Sie in diesem Online Talk mehr über:

• die Motivation, Konzepte und Architektur hinter KSQL
• Live Demo mittels CLI und Web Interface
• Integration in das Kafka-Ökosystem