Data Engineer в Holocron
О компании
2GIS — аккредитованная IT-компания, занимающаяся разработкой программного обеспечения и созданием комплексных решений для обработки и предоставления геоинформации. Штаб-квартира находится в Москве, а офисы также расположены в Санкт-Петербурге и Новосибирске. Компания известна своим высококачественным продуктом и активной разработкой инновационных технологий в области картографии и геолокации. 2GIS активно работает над созданием корпоративной дата-платформы нового поколения, которая переосмысляет подходы к архитектуре и технологическому стеку.
Ключевые факты:
- Штаб-квартира в Москве
- Офисы в Санкт-Петербурге и Новосибирске
- Команда отвечает за инфраструктуру данных
- Разработка решений для более 40 млн пользователей
- Поддержка участия в конференциях и научных публикациях
О вакансии
Команда Holocron отвечает за разработку и поддержку инфраструктуры данных в компании 2GIS. В её задачи входит создание систем, позволяющих обрабатывать и анализировать огромные объёмы данных. Сейчас команда активно развивает современную дата-платформу, что представляет собой не просто обновление существующих решений, а целое переосмысление архитектуры. Важнейшим направлением является отказ от устаревших технологий и применение современных инструментов, таких как Apache Spark, Kafka, S3 и ClickHouse.
На данной позиции Data Engineer вы будете непосредственно участвовать в создании и развитии дата-платформы, формируя её архитектуру и технические решения. Вы сможете оказывать влияние на технологический курс компании и решать актуальные инженерные задачи при работе с большими объёмами данных и высоконагруженными Kafka-топиками.
Чем предстоит заниматься:
- Расширять существующие форматы данных
- Разрабатывать и поддерживать ETL/ELT‑процессы
- Автоматизировать batch‑расчёты
- Подключать новые источники данных
- Участвовать в миграции пайплайнов с Hadoop/HDFS на новую архитектуру (S3, Kafka, Spark, ClickHouse)
- Работать с большими объёмами данных и высоконагруженными Kafka‑топиками
Что мы предлагаем:
- Возможность работать 100% удалённо
- Полностью «белая» зарплата, обсуждаемая индивидуально
- ДМС и медицинская поддержка
- Поддержка участия в конференциях и научных мероприятиях
- Участие во внутренних хакатонах и фестивалях
Обязанности
- Расширение существующих форматов данных
- Разработка и поддержка ETL/ELT‑процессов
- Автоматизация batch‑расчётов
- Подключение новых источников данных
- Участие в миграции пайплайнов с Hadoop/HDFS на новую архитектуру
- Работа с большими объёмами данных и Kafka‑топиками
Требования
- Расширять существующие форматы данных.
- Разрабатывать и поддерживать ETL/ELT‑процессы.
- Автоматизировать batch‑расчёты.
- Подключать новые источники данных.
- Участвовать в миграции пайплайнов с Hadoop/HDFS на новую архитектуру (S3, Kafka, Spark, ClickHouse).
- Работать с большими объёмами данных и высоконагруженными Kafka‑топиками.
- Ты участвуешь в создании дата‑платформы с нуля — от архитектуры до продакшена.
- Влияешь на технологический курс всей компании.
- Работаешь с современным стеком: Spark 3+, Kafka, S3, ClickHouse.
- Получаешь опыт, который сложно приобрести в рамках устоявшихся решений.
- Решаешь реальные технические вызовы: масштабируемость, отказоустойчивость, строгие SLA.
- Опыт работы с данными от уровня Middle и выше.
- Понимание принципов работы ETL/ELT‑процессов.
- Уверенное владение SQL, умение читать и разбирать сложные отчёты.
- Желательно знание Apache Spark, Kafka, ClickHouse.
- Навыки программирования на одном из языков — например, Scala или Python.
- Интерес к построению и развитию дата‑инфраструктуры.
- Не боимся убирать легаси — осознанно избавляемся от устаревших решений.
- Оцениваем эффективность не по количеству кода, а по бизнес‑ценности.
- Ценим нестандартные, но обоснованные инженерные решения.
Условия
- 100% удалённая работа или работа в офисах
- Полностью «белая» зарплата без потолка
- ДМС с медицинской поддержкой
- Поддержка участия в конференциях
- Возможность участвовать в внутренних мероприятиях и хакатонах