Data engineer в команду SMT

2ГИС развивает корпоративную дата-направленность на базе собственной инфраструктуры и инженерных команд. Компания строит и масштабирует платформенный подход к данным, чтобы наработки собирались в единые стандарты и могли использоваться десятками внутренних команд.

Сейчас команда SMT запускает «следующий уровень» корпоративной дата-платформы: от отказа от легаси до переосмысления архитектуры и процессов ingest/transform, чтобы консолидировать корпоративные данные в надежное, масштабируемое и понятное решение.

Ключевые факты:

• Аккредитованная IT-компания 2ГИС
• Запуск новой корпоративной дата-платформы
• Перенос пайплайнов с Hadoop/HDFS на целевую архитектуру (S3, Kafka, Spark, ClickHouse)
• Удалённая работа доступна, локация не критична

Команда SMT в 2ГИС строит корпоративную дата-платформу следующего поколения. Основная идея — отказаться от устаревших подходов и собрать опыт компании в стандартизированное решение, которое будет поддерживать ingest/transform и хранение данных для множества команд.

Для Data Engineer здесь ключевой контекст — участие в запуске платформы и реальная миграция действующих пайплайнов. Это не «быстро настроили инструмент и забыли»: вы проектируете архитектуру верхнего уровня, закладываете принципы отказоустойчивости, мониторинга и качества данных, а затем помогаете перенести потоки и витрины на новую основу.

Над чем работаете конкретно: под высоконагруженные Kafka-топики, Spark-вычисления и ClickHouse-хранилище, с опорой на S3 как целевое хранилище. Отдельная часть — подготовка данных для OLAP-аналитики и сопровождение перехода BI-отчетности (в т.ч. DataLens и Power BI) на новую платформу.

Чем предстоит заниматься:

• Разрабатывать MVP новой дата-платформы и инфраструктуру ingest/transform
• Мигрировать существующие пайплайны с Hadoop/HDFS на целевую архитектуру
• Проектировать и сопровождать обработки данных при высоких нагрузках на Kafka
• Строить отказоустойчивые пайплайны обработки и доставки данных
• Участвовать в архитектурных решениях по хранению, мониторингу и качеству данных
• Проектировать витрины под продуктовую и управленческую аналитику (OLAP)
• Сопровождать миграцию BI-отчетов на новую платформу (в примерах указаны DataLens и Power BI)

Что мы предлагаем:

• Удалённая работа: локация не критична
• Полностью белая зарплата
• ДМС и онлайн-доступ к терапевту, неврологу, психологу и медагенту
• Помощь с выступлениями на конференциях и публикациями для Хабра
• Собственный учебный центр: курсы, тренинги и книги для развития