Data Engineer в команду SMT

Компания: 2GIS

Локация: Москва

О компании

2GIS — это аккредитованная IT-компания, занимающаяся разработкой высокотехнологичных решений для работы с данными. Мы создаём современную корпоративную дата-платформу, которая объединяет наработки и ресурсы компании в единое стандартизированное решение. К основным задачам компании относится переход на новую архитектуру и замена устаревших систем на современные технологии, такие как Apache Spark и Kafka.

Ключевые факты:

• Сервис с амбициозной задачей трансформации данных
• Переход от легаси к современным архитектурным решениям
• Создание и запуск платформы для корпоративных данных

О вакансии

Команда SMT в 2GIS активно занимается созданием и внедрением нового сервиса корпоративной дата-платформы, который упростит работу с данными для множества инженерных команд. Мы отказываемся от устаревших технологий и переосмысляем подходы к архитектуре данных, чтобы обеспечить надежный и масштабируемый фреймворк.

Ваша роль как Data Engineer будет заключаться в разработке новой инфраструктуры и миграции существующих пайплайнов, что потребует глубоких технических знаний и опыта в работе с современными инструментами. Работа подразумевает создание платформы с нуля, где ваши решения будут использоваться десятками команд.

Чем предстоит заниматься:

• Разрабатывать с нуля MVP новой дата-платформы и инфраструктуры для ingest/transform.
• Мигрировать существующие пайплайны с Hadoop/HDFS на новую архитектуру (S3, Kafka, Spark, ClickHouse).
• Работать с большими объёмами данных и высоконагруженными Kafka‑топиками.
• Строить отказоустойчивые пайплайны обработки и доставки данных.
• Участвовать в архитектурных решениях, внедрять best practices хранения, мониторинга и качества данных.
• Проектировать витрины данных под продуктовую и управленческую аналитику (OLAP).
• Сопровождать миграцию BI‑отчётов на новую платформу (например, DataLens, Power BI).

Что мы предлагаем:

• Работа в аккредитованной IT-компании с сильной корпоративной культурой.
• Возможность работать удалённо или в офисах (Москва, Санкт-Петербург, Новосибирск).
• Полностью «белая» зарплата и дополнительные дни отпуска за стаж работы.
• ДМС и онлайн-консультации с врачами.
• Поддержка развития через учебный центр, курсы и тренинги.
• Помощь в выступлениях на конференциях и публикациях на Хабре.

Обязанности

• Разрабатывать MVP новой дата-платформы и инфраструктуры для обработки данных.
• Мигрировать пайплайны с Hadoop/HDFS на архитектуру S3, Kafka, Spark и ClickHouse.
• Обрабатывать большие объёмы данных с высоконагруженными Kafka-топиками.
• Проектировать отказоустойчивые пайплайны для доставки данных.
• Внедрять лучшие практики хранения и мониторинга данных.
• Создавать витрины данных для аналитики.
• Сопровождать миграцию BI-отчётов на новую платформу.

Требования

• Разрабатывать с нуля MVP новой дата‑платформы и инфраструктуры для ingest/transform.
• Мигрировать существующие пайплайны с Hadoop/HDFS на новую архитектуру (S3, Kafka, Spark, ClickHouse).
• Работать с большими объёмами данных и высоконагруженными Kafka‑топиками.
• Строить отказоустойчивые пайплайны обработки и доставки данных.
• Участвовать в архитектурных решениях, внедрять best practices хранения, мониторинга и качества данных.
• Проектировать витрины данных под продуктовую и управленческую аналитику (OLAP).
• Сопровождать миграцию BI‑отчётов на новую платформу (например, DataLens, Power BI).
• Ты действительно будешь создавать платформу с нуля — не просто настраивать Airflow, а проектировать архитектуру верхнего уровня с безопасностью, мониторингом и многопользовательской нагрузкой.
• Влияешь на технологический курс всей компании: твои решения будут использовать десятки команд.
• Работаешь с современным стеком: Spark 3+, Kafka, S3, ClickHouse и BI‑инструментами.
• Сможешь реализовать технические решения, которые трудно внедрить в рамках существующих подходов.
• Решаешь серьёзные инженерные задачи: миграция с Hadoop, масштабируемость, отказоустойчивость и строгие SLA по доставке данных.
• Имеет 3+ лет опыта на позиции Data Engineer / Big Data Engineer.
• Хорошо понимает, как работает Spark и умеет его готовить.
• Работал с ClickHouse и знает, как «выжать» из него максимум.
• Знаком с построением дата‑архитектуры (DWH, Lake, OLAP, ETL/ELT, Data Governance).
• Умеет проектировать пайплайны под отказоустойчивость.
• Хорошо владеет одним из языков программирования (например, Python или Scala).
• Знает SQL и может читать логику отчётов без боли.
• Опыт построения дата‑платформ (Self‑Service инструменты и процессы).

Условия

• Возможность удалённой работы или работы в офисах (Москва, Санкт-Петербург, Новосибирск).
• Полностью «белая» зарплата и дополнительные дни отпуска за стаж работы.
• ДМС и онлайн-консультации терапевта, невролога и психолога.
• Поддержка развития через обучение и доступ к учебным материалам.
• Возможность участия в конференциях и публикациях.

Похожие вакансии