Data Engineer
Компания: ООО Премьер Консалт
Локация: Санкт-Петербург, Адмиралтейская, Невский проспект, Сенная площадь, Спасская, 5 линия – Фрунзенско-Приморская, метро Адмиралтейская
О вакансии
Мы строим современную аналитическую платформу и ищем Data Engineer, который любит чистые, надёжные и масштабируемые пайплайны данных. Основной фокус — работа с dbt, Apache Airflow и ClickHouse. Обязанности:
• Проектировать и развивать слои DWH (staging / raw → core / ODS / DDS → data marts); • Строить и развивать трансформации данных с помощью dbt (модели, макросы, тесты, snapshots, documentation); • Разрабатывать и поддерживать ETL/ELT-пайплайны на Python + Apache Airflow (создание, оптимизация и мониторинг DAG’ов); • Работать с ClickHouse как основной аналитической БД: оптимизация таблиц, материализованные представления, запросы, партиционирование; • Обеспечивать качество данных: писать тесты в dbt, мониторинг Data Quality, алёрты; • Участвовать в выборе и внедрении решений для хранения и обработки данных (S3 / MinIO, Iceberg и т. д. - будет плюсом). • Наш стек: • Основной: Python, SQL, Apache Airflow, dbt, ClickHouse; • Также используем: Git, Docker, Kubernetes (желательно), Superset / Metabase, Kafka (плюсом).
Требования:
• От 1 года опыта в роли Data Engineer / DWH Engineer; • Уверенный Python для написания пайплайнов; • Хорошое понимание и практический опыт работы с Apache Airflow (DAGs, operators, scheduling, monitoring); • Опыт коммерческой разработки на dbt (модели, тесты, Elementary или dbt Cloud - будет большим плюсом); • Хорошее знание ClickHouse (или сильный опыт с другими OLAP-системами + готовность быстро погрузиться); • Продвинутый SQL и понимание принципов моделирования данных (dimensional modeling, star/snowflake schema, layer architecture); • Опыт построения end-to-end пайплайнов от сырых данных до готовых витрин; • Понимание Data Quality, Data Governance и lineage; • Умение работать в команде: code review, Jira/Confluence, Git-flow. • Будет плюсом: • Опыт построения DWH / Lakehouse с нуля или существенной миграции; • Знание Apache Spark, Trino, Iceberg, Kafka; • Опыт в финтехе, маркетплейсе, e-commerce или высоконагруженных проектах; • Знание принципов CI/CD для data-пайплайнов.
• Официальное трудоустройство; • Полная занятость, график 5/2, гибрид • Комфортный офис в центре города на ст. м. • Обучение и поддержка на этапе адаптации; • Возможность профессионального роста; • ДМС после прохождения испытательного срока; • Скидки на продукцию компании, льготное питание.