Data Engineer (ON Медиа, КИОН)

КИОН является частью цифровой экосистемы МТС и специализируется на создании оригинального развлекательного контента. Компания развивает различные сервисы для просмотра фильмов и сериалов на любых устройствах. Основной проект — онлайн-кинотеатр KION предлагает пользователям более 200 телеканалов и обширную библиотеку фильмов, сериалов, мультфильмов и документальных проектов.

КИОН активно внедряет современные технологии, такие как lakehouse нового поколения, разделяя вычисления и хранение данных, а также работает над проектами по внедрению DWH, используя такие технологии, как Greenplum и Hadoop.

Команда, работающая в КИОН, фокусируется на разработке и оптимизации ETL/ELT процессов, направленных на обработку и анализ больших данных. Основным направлением является разработка пайплайнов обработки данных с использованием pyspark, а также поддержка OLAP движков, таких как Starrocks и Clickhouse. Кроме того, команда занимается миграцией хранения данных и поддерживает текущие пайплайны на Greenplum и Hadoop.

Работа в компании предполагает активное сотрудничество с данными и использование новейших технологий, что делает процесс обучения и обмена опытом очень значимым для каждого члена команды.

Чем предстоит заниматься:

• Разработка и рефакторинг ETL/ELT пайплайнов на pyspark
• Разработка и поддержка OLAP движков Starrocks/Clickhouse
• Поддержка текущих пайплайнов на Greenplum и Hadoop
• Миграция с HDFS на S3
• Оптимизация spark-приложений

Что мы предлагаем:

• Оклад + годовой бонус
• Программа ДМС с первого месяца работы, покрывающая расходы в частных клиниках
• Обучение в корпоративном университете и доступ к онлайн-библиотеке
• Оплачиваемые выходные на значимые события
• Корпоративная мобильная связь и подписки на развлекательные сервисы
• Возможность участия в волонтерских программах
• Внутренняя спортивная программа и мероприятия