Data Engineer в команду SMT
О компании
2GIS — это аккредитованная IT-компания, занимающаяся разработкой высокотехнологичных решений для работы с данными. Мы создаём современную корпоративную дата-платформу, которая объединяет наработки и ресурсы компании в единое стандартизированное решение. К основным задачам компании относится переход на новую архитектуру и замена устаревших систем на современные технологии, такие как Apache Spark и Kafka.
Ключевые факты:
- Сервис с амбициозной задачей трансформации данных
- Переход от легаси к современным архитектурным решениям
- Создание и запуск платформы для корпоративных данных
О вакансии
Команда SMT в 2GIS активно занимается созданием и внедрением нового сервиса корпоративной дата-платформы, который упростит работу с данными для множества инженерных команд. Мы отказываемся от устаревших технологий и переосмысляем подходы к архитектуре данных, чтобы обеспечить надежный и масштабируемый фреймворк.
Ваша роль как Data Engineer будет заключаться в разработке новой инфраструктуры и миграции существующих пайплайнов, что потребует глубоких технических знаний и опыта в работе с современными инструментами. Работа подразумевает создание платформы с нуля, где ваши решения будут использоваться десятками команд.
Чем предстоит заниматься:
- Разрабатывать с нуля MVP новой дата-платформы и инфраструктуры для ingest/transform.
- Мигрировать существующие пайплайны с Hadoop/HDFS на новую архитектуру (S3, Kafka, Spark, ClickHouse).
- Работать с большими объёмами данных и высоконагруженными Kafka‑топиками.
- Строить отказоустойчивые пайплайны обработки и доставки данных.
- Участвовать в архитектурных решениях, внедрять best practices хранения, мониторинга и качества данных.
- Проектировать витрины данных под продуктовую и управленческую аналитику (OLAP).
- Сопровождать миграцию BI‑отчётов на новую платформу (например, DataLens, Power BI).
Что мы предлагаем:
- Работа в аккредитованной IT-компании с сильной корпоративной культурой.
- Возможность работать удалённо или в офисах (Москва, Санкт-Петербург, Новосибирск).
- Полностью «белая» зарплата и дополнительные дни отпуска за стаж работы.
- ДМС и онлайн-консультации с врачами.
- Поддержка развития через учебный центр, курсы и тренинги.
- Помощь в выступлениях на конференциях и публикациях на Хабре.
Обязанности
- Разрабатывать MVP новой дата-платформы и инфраструктуры для обработки данных.
- Мигрировать пайплайны с Hadoop/HDFS на архитектуру S3, Kafka, Spark и ClickHouse.
- Обрабатывать большие объёмы данных с высоконагруженными Kafka-топиками.
- Проектировать отказоустойчивые пайплайны для доставки данных.
- Внедрять лучшие практики хранения и мониторинга данных.
- Создавать витрины данных для аналитики.
- Сопровождать миграцию BI-отчётов на новую платформу.
Требования
- Разрабатывать с нуля MVP новой дата‑платформы и инфраструктуры для ingest/transform.
- Мигрировать существующие пайплайны с Hadoop/HDFS на новую архитектуру (S3, Kafka, Spark, ClickHouse).
- Работать с большими объёмами данных и высоконагруженными Kafka‑топиками.
- Строить отказоустойчивые пайплайны обработки и доставки данных.
- Участвовать в архитектурных решениях, внедрять best practices хранения, мониторинга и качества данных.
- Проектировать витрины данных под продуктовую и управленческую аналитику (OLAP).
- Сопровождать миграцию BI‑отчётов на новую платформу (например, DataLens, Power BI).
- Ты действительно будешь создавать платформу с нуля — не просто настраивать Airflow, а проектировать архитектуру верхнего уровня с безопасностью, мониторингом и многопользовательской нагрузкой.
- Влияешь на технологический курс всей компании: твои решения будут использовать десятки команд.
- Работаешь с современным стеком: Spark 3+, Kafka, S3, ClickHouse и BI‑инструментами.
- Сможешь реализовать технические решения, которые трудно внедрить в рамках существующих подходов.
- Решаешь серьёзные инженерные задачи: миграция с Hadoop, масштабируемость, отказоустойчивость и строгие SLA по доставке данных.
- Имеет 3+ лет опыта на позиции Data Engineer / Big Data Engineer.
- Хорошо понимает, как работает Spark и умеет его готовить.
- Работал с ClickHouse и знает, как «выжать» из него максимум.
- Знаком с построением дата‑архитектуры (DWH, Lake, OLAP, ETL/ELT, Data Governance).
- Умеет проектировать пайплайны под отказоустойчивость.
- Хорошо владеет одним из языков программирования (например, Python или Scala).
- Знает SQL и может читать логику отчётов без боли.
- Опыт построения дата‑платформ (Self‑Service инструменты и процессы).
Условия
- Возможность удалённой работы или работы в офисах (Москва, Санкт-Петербург, Новосибирск).
- Полностью «белая» зарплата и дополнительные дни отпуска за стаж работы.
- ДМС и онлайн-консультации терапевта, невролога и психолога.
- Поддержка развития через обучение и доступ к учебным материалам.
- Возможность участия в конференциях и публикациях.