Аналитик-разработчик DWH

Кирилл Красновид, тимлид команды Business Intelligence

«Данные — ценный ресурс, который нужно научиться готовить. Хотим прийти к единому пониманию и расчёту одних и тех же показателей в разных источниках»

Привет! Я Кирилл, тимлид команды BI в Профи. Наш сервис — маркетплейс услуг, который помогает клиентам и специалистам встретиться.

Команда BI долгое время строила аналитическую инфраструктуру, чтобы были все необходимые витрины и дашборды для работы аналитиков и отчётности. И мы этого добились — больше нет вопросов о том, что нам не хватает данных.

Теперь хотим повысить эффективность этой инфраструктуры: сделать единую систему наименований полей, унифицированную систему расчёта метрик между базами данных, улучшить документацию и мониторинг состояния витрин.

В команде уже есть BI-аналитик и два дата-инженера, продуктовые аналитики помогают по запросу. Не хватает только аналитика DWH.

Технологии

Основа хранилища — базы данных Vertica и ClickHouse, начали переход с Vertica на GreenPlum.
Архитектура хранилища:
якорная модель,
схема «звезда» для слоя витрин.
MySQL — основной источник данных и БД для сервисов.
Оркестрация загрузки данных с помощью Apache Airflow.
Система документации на базе OpenMetadata.

Зачем тебе к нам

Свободно реализовывать свои идеи. В Профи не бывает директивных указаний. Для нас нормально не соглашаться с командой и предлагать своё решение. Мы любим пробовать новое, обсуждать сложности и делиться взглядами.
Влиять на продукт. Аналитика — один из основных драйверов генерации продуктовых гипотез и влияния на ключевые метрики в компании.
Наслаждаться корпоративной культурой. Ты обязательно найдёшь здесь новых друзей. Мы любим смеяться, тусоваться и отдыхать вместе. Например, организуем всей компанией четырёхдневный фестиваль в стиле Burning Man :) В этом году их будет целых два — в России и Грузии.

Чем предстоит заниматься

В первое время:

Познакомиться с архитектурой хранилища и процессов в нём.
Провести системный анализ источников данных.
Изучить продуктовые метрики и основные витрины.
Вместе с командой начать прорабатывать новую систему неймингов и переход на неё.
Спроектировать несколько витрин на замену старым.

Когда освоишься:

Отвечать за данные и документацию в новых витринах.
Сделать удобным переход на новые витрины для всех аналитиков.
Вместе с командой создавать и адаптировать новые источники данных.

Что нужно, чтобы к нам присоединиться

Уверенное владение SQL: знаешь, как работают индексы, владеешь агрегирующими и оконными функциями, понимаешь, как читать план запроса и делать выводы на его основе, как работает партиционирование и дистрибьюция данных.
Опыт внедрения/развития хранилищ данных.
Опыт работы аналитиком данных или системным аналитиком в IT-компаниях от двух лет.
Знание Python — пишешь скрипты для обработки данных.
Опыт работы с системами контроля версий. Мы используем Git (удалённые репозитории в GitLab и GitHub).