Clickhouse

Question 1

Что такое ClickHouse и зачем он нужен?

Answer 1

Колонночная СУБД для аналитики (OLAP). Очень быстро работает с миллиардами строк.

Question 2

Чем ClickHouse отличается от PostgreSQL?

Answer 2

✔ ClickHouse — OLAP, PostgreSQL — OLTP.
ClickHouse хранит данные по колонкам, не поддерживает полноценные транзакции

Question 3

Типы данных, которые есть в clickhouse, но нет в postgres:

Answer 3

1) Array - полноценные массивы, могут быть вложенными, не требуют фиксированной длины, хранятся в колоночном формате.
2) Tuple - аналог кортежей
3) Nested - вложенные таблицы внутри столбца
4) LowCardinality(String) - оптимизирован для колонок с повторяющимися значениями.

Question 4

Шардирование и партицирование

Answer 4

Шардирование - разбиение данных на шарды, где каждый сервер будет работать со своей группой шардов.

Партицирование - это логическое разбиение данных на одном сервере, для ускорения работы. (Мы выбираем партиции с необходимыми данными, а не все данные)

Question 5

Архитектура ClickHouse

Answer 5

• Колонко-ориентированное хранение
• Движок MergeTree для хранения больших объемов данных
• Поддержка репликации и шардинга

Question 6

Оптимизации для специфических задач

Answer 6

• Использовать колоночное хранение для агрегаций
• Применять сжатие данных
• Правильный выбор типа таблицы (MergeTree, ReplacingMergeTree, AggregatingMergeTree)
• Мониторинг

Question 7

Типы таблиц в CH

Answer 7

1) MergeTree - базовый тип таблиц (все остальные это расширения). Если не знаешь, что выбрать - бери ее.
2) ReplacingMergeTree - таблица, которая позволяет заменять старые записи на новые на этапе мерджа.
3) SummingMergeTree - автоматически агрегирует поля по одинаковым ключам.
4) AgregationMergeTree - используется, когда данные хранятся в виде агрегатных статистик (data-мартс)
5) CollapsingMergeTree, VersionCollapsingMergetTree - используются редко, позволяет реализовывать медленные изменения.

Question 8

Skip indexes

Answer 8

Пропускающие индексы. Это механизм в CH, который позволяет быстро находить необходимые данные за счет гранул и метаданных для них.

Question 9

Гранулы

Answer 9

Гранула - это определенный объем данных для оптимазиции OLAP задач. Данные в ch хранятся в колонках и разбиваются на гранулы (примерно по 8200 строк). Каждая гранула имеет свои метаданые (максимальное значения, минимальное, есть ли null и т.д.)
Данный механизм позволяет пропускать большие объемы ненужных данных.

Question 10

Типы skip indexes

Answer 10

1) minmax - хранит минимальное и максимальное значения в грануле
2) set - хранит множество уникальных значений в грануле
3) bloom_filter - позволяет ускорить поиск подстроки
4) tokenbf_v1, ngrambf_v1

Question 11

Индексы и их работа в clickhouse

Answer 11

Ключевое отличие индексов в ch: индексы в ch помогают не находить точное значение, а помогают пропускать блоки данных.
1) Primary key - используется для ускорения поиска по диапазону
2) Skip indexes (minmax, set, bloom_filter)

Question 12

Преимущества колоночных баз данных

Answer 12

1) Быстрые агрегатные запросы
2) Меньше IO при чтении нужных колонок
3) Эффективное сжатие

Question 13

Виды JOIN в CH и как улучшить производительность

Answer 13

Виды:
1) ANY - самый быстрый вид. Берет строку из левой и первую попавшуюся из правой, если их несколько.
2) ALL - берет все строки из правой.
3) SEMI - возвращает строки только из левой, если есть совпадение в правой.
4) ANTI - противоположность SEMI. Возвращает строки из левой, у которых нет совпадений.

Улучшение производительности:
1) Для лучшей производительности правая таблица должна быть маленькая.
2) JOIN работает быстрее при использовании словарей.

Question 14

Что такое MergeTree

Answer 14

Это основной движок, на котором строится работа CH.
В чем основная идея:
1) Таблица разбивается на партиции (по логике)
2) Сами партиции разбиваются на части (parts), которые отсортированы по первичному ключу.
3) Если parts становится слишком много, они сливаются, а старые версии удаляются.
4) Parts разбиты на гранулы (минимальный блок данных, с которым работает primary key). Гранул - это набор строк (обычно около 8200) и метаданные к этим строкам (set, bloom_filter).

Question 15

Отличие столбцовых и строковых бд

Answer 15

1) Строковые направлены на OLTP и хороши для транзакций (Mysql, postgres)
2) Столбцовые направлены на OLAP-системы, хороши для аналитики и больших объемов данных.
Преимущества столбцового хранения: лучшее сжатие, быстрые выборки
Минусы: плохо работает с транзакциями и неэффективно при частом изменении данных

Question 16

Типы данных в CH

Answer 16

1) Числовые (Int, UInt, Float, Decimal)
2) Строки (String, FixedString)
3) Даты и время (Date, DateTime)
4) Массивы и сложные типы (array, map, tuple, nested, LowCordinality)
5) Специальные (enum, nullable)

Question 17

Создание таблиц в ClickHouse

Answer 17

create table t1 (
 id UInt32,
 event_time DateTime
)
engine=MergeTree
partition by toYYYYMM(event_time)
order by (event_time)

Question 18

Принципы построения схем данных в CH

Answer 18

1) Колончатая модель
2) Минимизировать join
3) Использовать денормализацию
4) Primary key
5) Партицирование
6) Сжимать данные

Question 19

Как денормализовать данные в CH

Answer 19

• Хранить данные “широко”: дополнительные колонки вместо JOIN’ов.
• Дублировать данные, если это ускоряет запросы.
• Использовать материализованные представления для предобработки.
• Хранить агрегаты рядом с данными (например, counters, sums).
• Использовать Nested-структуры вместо отдельных таблиц.

Question 20

Первичные ключи в CH и
как лучше использовать

Answer 20

В CH первичный ключ - это ключ сортировки, а не constraint, поэтому он не гарантирует уникальность записи.
* Определяет структуру хранения данных
* Влияет на производительность чтения и мерджей
* Обычно используется на даты и время
* Должен включать поля по которым часто происходит фильтрация

Question 21

TTL

Answer 21

Time To Live - механизм, который позволяет удалять или перемещать старые данные (настраивается при создании таблы)

Question 22

Уникальные функции CH

Answer 22

• uniq() — приближённый подсчёт уникальных
• uniqExact() — точный подсчёт уникальных
• sumIf(value, condition)
• avgIf(value, condition)
• groupArray(n)(col) — собрать массив из первых n значений
• topK(n)(col) — топ наиболее частых значений

Question 23

Почему при подключении через Engine=PostgreSQL не работает через schem_name.table_name

Answer 23

Потому что click берет таблицы из схемы public, а вообще там отдельно можно указать схему и все будет работать

Question 24

Что такое LowCardinality?

Answer 24

«LowCardinality — это словарное кодирование столбцов с малым числом уникальных значений, которое снижает объём данных и ускоряет аналитические запросы в ClickHouse.»

Question 25

Как узнать сколько запрос выполнялся и сколько памяти использовал?

Answer 25

Взять необходимые данные из system.query_log

Question 26

Как устанавливать order by и primary key?

Answer 26

Лучше устанавливать на 1-2 ключевые колонки. order by - для <= primary key - для = По сути order by и primary key - это одно и то же, только при primary key не происходит сортировки. А так и в первом, и во втором случае создается sparce index (так называемый minmax), который упрощает поиск необходимых данных. Больше колонок выбирать не стоит, так как это может усложнить вставку и merge данных.