Дмитрий Золотухин

История переезда с Hive на ClickHouse

Подробнее о спикере
— Выпускник МФТИ ФОПФ
— Работал в Тинькофф банке, OZON
— Последние 5 лет работает в стримингах (more.tv, start)

Подробнее о докладе
Обсудим:
— Чем занимались аналитики данных в компании More. TV и почему это пришлось менять
— Разбор технического стека аналитической системы (Hadoop, Airflow, внешние SaaS-сервисы, Tableu), его проблемы и почему их нужно было срочно решать
— Сбор требований к аналитической системе, критерии выбора нового стека технологий и их выбор
— Как мы переехали на Clickhouse, Dagster, MinIO, Open Metadata FineBI, Debezium с Kafka, DBT и собственные ML-сервисы
— Что из запланированного получилось, а чего не удалось достичь и почему

Секция: Инженерия данных