Kafka

Question 1

Что такое Apache Kafka?

Answer 1

Распределённая платформа потоковой передачи данных для обработки больших потоков в реальном времени.

Question 2

Какие основные компоненты Kafka?

Answer 2

Broker, Topic, Partition, Producer, Consumer, (Zookeeper / KRaft).

Question 3

Что такое Topic и Partition?

Answer 3

Topic — поток сообщений по категории.

Partition — подмножество сообщений для параллелизма и масштабируемости.

Question 4

Как работает продюсер в Kafka?

Answer 4

Отправляет сообщения в топики, может назначать partition по ключу.

Question 5

Как работает консьюмер в Kafka?

Answer 5

Читает сообщения из топиков; группы консьюмеров распределяют нагрузку между собой.

Question 6

Какие есть модели доставки сообщений?

Answer 6

At-most-once — может потеряться, дубликатов нет

At-least-once — все сообщения доставляются, возможны дубликаты

Exactly-once — каждое сообщение доставляется ровно один раз

Question 7

Как Kafka обеспечивает отказоустойчивость?

Answer 7

Репликация partition-ов: leader обрабатывает записи, followers синхронизируют данные; при сбое failover на follower.

Question 8

Что такое offset в Kafka?

Answer 8

Позиция консьюмера в partition; хранится в Kafka или внешнем хранилище для отслеживания прочитанных сообщений.

Question 9

Что такое Kafka Connect?

Answer 9

Фреймворк для интеграции Kafka с внешними системами (базы данных, Data Lakes, очереди) с помощью готовых коннекторов.

Question 10

Как реализуется exactly-once доставка?

Answer 10

1) Идемпотентность продюсеров
2) Транзакции

Идемпотентность продюсеров — это свойство систем, где сообщение, отправленное продюсером (producer), может быть безопасно отправлено повторно, и при этом в очередь попадёт только один экземпляр сообщения, или система гарантирует, что повторная отправка не приведёт к дублированию или порче данных.
Если идемотентости нет, то можно создать таблицы с id сообщениями и проверять было ли уже такое сообщение или нет.

Question 11

Что хранит Kafka-сообщение?

Answer 11

Ключ, значение, offset, timestamp, headers.

Question 12

Как повысить пропускную способность продюсера?

Answer 12

1) Увеличить размер батча (batch.size)
2) Повысить время ожидания для формирование батча (linger.ms)
3) Использовать сжатие данных compression.type=zstd.

Question 13

Какие есть типы acks у продюсера?

Answer 13

acks - это настройка, которая показывает, сколько реплик должны подтвердить запись данных, чтобы продюсер счел запись успешной.
0 — не ждёт ответа; 1 — ждёт лидера; all — ждёт всех в ISR.
ISR (In-Sync Replicas) — это группа реплик Kafka, которые синхронизированы с лидером и содержат актуальные данные.

Question 14

Как повысить производительность брокера?

Answer 14

1) Использовать ssd
2) Использовать больше RAM
3) Правильно настроить количество пар тиций
4) Тюнить параметры продюсера
5) Тюнить параметры сети и буфера

Question 15

Что такое ретенция логов?

Answer 15

Период/размер, после которого Kafka удаляет старые сообщения.

Question 16

Как повысить отказоустойчивость?

Answer 16

1) Увеличение фактора репликации (replication.factor=3)
2) Настройка подтвреждения от всех реплик (acks=all)

Question 17

Какие ключевые метрики важны?

Answer 17

1) Lag (задержка)
2) ISR size (список реплик, которые полностью синхронизированы с лидером)
3) Пропускная способность (byte-in, byte-out)

Question 18

Что такое ISR?

Answer 18

In-Sync Replicas — реплики, синхронизированные с лидером.

Question 19

Какие есть стратегии партиционирования?

Answer 19

По ключу, случайное, кастомный партиционер.

Question 20

Какой оптимальный размер segment.bytes для больших топиков?

Answer 20

Обычно 1 GB.

Question 21

Какие алгоритмы компрессии рекомендуются?

Answer 21

lz4 (быстро), zstd (лучшее сжатие).

Question 22

Что влияет на задержku (latency)?

Answer 22

1) linger.ms (время, которое дается для формирования батча)
2) acks (подтверждения на уровне кворуму, сколько брокеров должны подтвердить запись)
3) размер batch
4) скорость дисков

Question 23

Как оптимизировать потребителя?

Answer 23

1) fetch.min.bytes (минимальный размер данных прежде, чем кафка ответит)
2) fetch.max.wait.ms (сколько кафка максимум может ждать)
3) следить за lag (количество сообщений, которые кафка не успел обработать)

Question 24

.option(“startingOffsets”, “earliest”) # и “latest”
В чем разница?

Answer 24

Если укажем “earlest”, то браться новые сообщения, а также и те, которые уже были в kafka.
“latest” - будут браться только сообщения, которые пришли после запуска стриминга