Apache Iceberg

Question 1

Что такое Apache Iceberg?

Answer 1

Apache Iceberg** — это табличный формат для аналитических данных больших объёмов, предназначенный для работы с объектными хранилищами (S3, ADLS, GCS) и HDFS.
Он обеспечивает ACID-транзакции, версионирование и схему таблицы, делая работу с большими таблицами похожей на работу с реляционными базами данных.

Question 2

Какая главная идетя Apache Iceberg?

Answer 2

Главная идея Iceberg — позволить обрабатывать и управлять большими аналитическими таблицами с ACID-транзакциями, версионированием и безопасными схемами, даже если данные лежат в объектном хранилище.

Question 3

На замену чему пришел Apache Iceberg?

Answer 3

Iceberg пришёл на смену классической экосистеме Hive/Parquet, которая плохо справлялась с ACID-транзакциями, изменением схем и управлением историей данных в больших таблицах на объектных хранилищах.

Question 4

Что дает Apache Iceberg?

Answer 4

1) ACID - поддержку транзакций
2) Возможность менять схему таблицы
3) Версионирование данных при помощи снапшотов
4) Партицирование - дает возможность абстрактно партицировать вне зависимости отструктуры папок
5) Predicate Pushdown - перенос where к источнику, что позволяет читать только нужные данные, фильтруя ненужные

Question 5

Когда использовать Iceberg?

Answer 5

Если таблица большая, меняется, нужны транзакции и версионирование.