Senior Data Engineer (МТС Медиа, КИОН)

МТС — один из ведущих операторов связи в России, активно развивающий свои услуги в сфере цифровых технологий и развлечений. Подразделение КИОН фокусируется на создании оригинального контента и разработке интуитивно понятных сервисов для просмотра фильмов и сериалов на различных устройствах. Все это делает КИОН важной частью цифровой экосистемы МТС, предоставляя пользователям доступ к высококачественному контенту и инновационным услугам.

Ключевые факты:

• Бренд МТС основан в 1993 году
• Десятки оригинальных проектов, включая «Хрустальный», «Почка» и «Пингвины моей мамы»
• Сотни тысяч пользователей по всей стране
• Внедрение современных технологий для оптимизации потоков данных и сервисов

Команда платформенных данных КИОН занимается реализацией и развитием lakehouse нового поколения, что позволяет обеспечить оптимальную работу с данными и их хранением. Существующий проект включает в себя использование DWH на базе Greenplum и Hadoop, что требует საერთрфай в технологиях и процессах управления данными.

В рамках этой роли вы будете ответственны за разработку и рефакторинг ETL/ELT пайплайнов с использованием pyspark, а также поддержку и оптимизацию OLAP движков таких как Starrocks и Clickhouse. Дополнительно вам предстоит заниматься миграцией данных с HDFS на S3, что потребует ваших технических навыков и опыта.

Чем предстоит заниматься:

• Разработка и рефакторинг ETL/ELT пайплайнов на pyspark
• Разработка и поддержка OLAP движков Starrocks/Clickhouse
• Поддержка текущих пайплайнов на Greenplum и Hadoop
• Миграция с HDFS на S3
• Оптимизация Spark-приложений

Что мы предлагаем:

• Оклад + годовой бонус
• Программа ДМС с первого месяца работы
• Очное и онлайн-обучение в Корпоративном университете
• Оплачиваемые выходные на значимые события
• Корпоративная мобильная связь и интернет
• Возможности участия в волонтерских программах