Основы Kafka (Apache)
Подробнее о курсе
Краткое описание курса
Цель данного курса – получение и систематизация знаний по использованию ПО Apache Kafka для интеграции приложений. В процессе обучения вы познакомитесь с возможностями данного ПО и практическими примерами по созданию распределенных приложений
- Разработчики ПО на языке Java, желающие научиться использовать Kafka для интеграции различных систем
- Компании-разработчики ПО, которым нужны квалифицированные разработчики с использованием Kafka
- Архитекторы ПО и руководители проектов, желающие изучить современные технологии по созданию распределенных приложений
Получаемые знания и навыки
По окончании курса слушатели научатся
- Выполнять основные команды по настройке и администрированию сервера Apache Kafka
- Создавать распределенные приложения для обмена сообщениями
- Выполнять публикацию и прием сообщений с использованием Kafka Streams API
Предварительно рекомендуется прослушать курс(ы)
Краткое содержание курса
Модуль 1 — Основы Apache Kafka
- Введение в ПО Apache Kafka. Область применения и примеры использования
- Сравнение с Spark, Flint, Storm
- Компоненты и архитектура Apache Kafka
- Основные концепции Apache Kafka
- Брокеры. Поставщики и потребители данных. Работа с сообщениями.
- Развертывание ПО Apache Kafka. Основные команды по настройке и администрированию сервера
- Базовые операции Apache Kafka
- Сценарии интеграции с Apache Kafka
Модуль 2 — Apache Kafka Streams — API для разработки распределенных приложений и микросервисов потоковой обработки событий в реальном времени
- Apache Kafka Streams — API для разработки распределенных приложений и микросервисов потоковой обработки событий в реальном времени
- Режимы работы Apache Kafka. Отличия и выбор режима работы
- Управление и работа с Topic-ами сообщений. Использование API
- Публикация и примем сообщений. Практические примеры
- Общие понятия Kafka Stream. Работа с потоками
- Kafka Stream DSL — язык для настройки потоков данных
- Использование Processor API
- Использование API поставщиков и потребителей для обмена сообщениями между распределенными приложениями
Модуль 3 — Выполнение REST-запросов для обмена данными с сервером
- Интеграция с внешними системами
- Основные принципы Kafka Connect
- Виды Connector-ов в Apache Kafka и их применения
- Режимы работы и принципы применения
- Конфигурирование Connector-ов. Использование REST API
- Интеграция с системами: Apache Spark, Apache Storm, Amazon Web Services
- Выполнение трансформации данных. Пересылка сообщений