Полный курс по работе с Apache Kafka на Python. Охватывает основы архитектуры Kafka, работу с producer и consumer, сериализацию данных, consumer groups, потоковую обработку, транзакции, production-паттерны, мониторинг и интеграцию с веб-фреймворками. Используются библиотеки confluent-kafka и kafka-python.
Введение в Apache Kafka: основные концепции, архитектура, топологи, партиции, репликация.
Создание и настройка producer, отправка сообщений, уровни гарантий доставки, acks, retry.
Создание consumer, подписка на топологи, poll, commit offset, ручное и автоматическое управление.
Форматы сериализации данных: JSON, Avro, Protobuf. Работа с Schema Registry, версионирование схем.
Группы потребителей, балансировка нагрузки, протоколы rebalance, координатор групп.
Потоковая обработка данных: Kafka Streams, Faust, топологии, state stores, windowing.
Транзакции в Kafka, idempotent producer, exactly-once semantics, read-process-write.
Паттерны для production: обработка ошибок, retry с backoff, dead letter queue, circuit breaker.
Мониторинг Kafka: метрики, логи, Prometheus, Grafana. Локальная разработка с Docker Compose.
Интеграция Kafka с веб-приложениями: FastAPI, Django, Celery, фоновые задачи, event-driven архитектура.