Устранение Kafka consumer lag
Lag — количество unprocessed messages в partition. Диагностика: kafka-consumer-groups.sh --describe. 4 причины: (1) consumer слишком медленный (CPU/DB bottleneck), (2) партиций меньше, чем consumers в group (idle consumers), (3) max.poll.interval.ms < время обработки (rebalance loop), (4) slow downstream (DB, external API). Фиксы: scale up partitions, parallelize, tune max.poll.records.
Ниже: подробности, пример, смежные термины, FAQ.
Детали
- kafka-consumer-groups.sh --describe показывает lag per-partition
- Partitions > consumers: под-утилизация. Partitions < consumers: idle ones
- max.poll.records default 500 — уменьшите при heavy processing
- max.poll.interval.ms default 5min — сделайте > worst-case processing time
- Monitoring: Burrow, Cruise Control, Kafka-UI для visual
Пример
# Диагностика lag
$ kafka-consumer-groups.sh --bootstrap-server localhost:9092 \
--group my-consumer --describe
GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG
my-consumer orders 0 10000 15000 5000
# Увеличить partitions (non-reversible)
$ kafka-topics.sh --alter --topic orders --partitions 12Связанные
Почему нам доверяют
Как это работает
Введите URL сайта
Анализируем 10+ факторов
Получите общий балл
Что такое Health Score?
Health Score — комплексная оценка технического состояния сайта по 20+ параметрам: SSL, заголовки безопасности, скорость ответа, SEO-технические факторы и доступность.
Комплексная оценка
20+ параметров в одном числе: SSL, заголовки, скорость, SEO-технические факторы.
Детальный разбор
Каждый параметр с объяснением — что проверяется, что найдено, как исправить.
Динамика изменений
Сравнивайте Health Score в разные даты — видите прогресс или регресс.
Мониторинг здоровья
Настройте автоматическую проверку Health Score и получайте уведомление при падении балла.
Кому это нужно
Разработчики
быстрый аудит перед релизом
SEO-специалисты
оценка технической базы
Маркетологи
проверка сайта клиента
Безопасники
экспресс-аудит заголовков
Частые ошибки
Лучшие практики
Получите больше с бесплатным аккаунтом
История Health Score проверок и мониторинг состояния сайта в реальном времени.
Зарегистрироваться (FREE)Больше по теме
Часто задаваемые вопросы
Сколько partitions достаточно?
Rule of thumb: 10x ожидаемого throughput на MBps. 1 partition = ~10 MB/s. 100 MB/s throughput → 10+ partitions.
Уменьшить partitions можно?
Нет, это non-reversible. Создайте новый topic с меньшим числом, переключите producers, migrate consumers.
compaction vs retention?
Retention: удаляет по времени (7 дней default). Compaction: хранит последнее значение per key — useful для event sourcing / state stores.