Старший дата инженер в MAX, Москва
Компания: VK
Локация: Москва
О компании
VK является одной из крупнейших IT-компаний в России, занимающейся разработкой и предоставлением различных цифровых услуг. Основные продукты компании включают социальные сети, мессенджеры и платформы для обмена контентом. Компания активно развивает технологии и стремится обеспечивать высокий уровень цифровой доступности для своих пользователей.
Ключевые факты:
- Офисы компании находятся в Москве.
- Реализует проекты, связанные с OpenVK и цифровой доступностью.
- Имеет стажировки и вакансии для кандидатов.
О вакансии
Команда дата-инженеров в VK фокусируется на построении сложных ETL-процессов и разработке эффективных решений для работы с данными. Специалисты отдела работают над проектами, которые позволяют извлекать, обрабатывать и анализировать данные с различных источников. Важной задачей является постоянное улучшение качества данных и поддержка аналитических инструментов.
В рамках данной роли старший дата-инженер будет заниматься проектированием и реализацией ETL-процессов, включая разработку DAG для автоматизации. Также ожидается участие в развитии ETL-фреймворка и интеграции с аналитическими системами. Специалист будет работать над преобразованием данных и обеспечением их доступности для принятия обоснованных решений.
Чем предстоит заниматься:
- Проектировать, реализовывать и оптимизировать ETL-процессы.
- Участвовать в разработке Data Quality и развитии ETL-фреймворка.
- Извлекать ценную информацию из исходных данных.
- Реализовывать расчёт бизнес-метрик совместно с аналитиками.
- Поддерживать созданные решения и обеспечивать их доступность.
Что мы предлагаем:
- Офис в Москве с современными условиями труда.
- Участие в интересных и технологичных проектах.
Обязанности
- Проектировать и реализовывать ETL-процессы.
- Участвовать в разработке Data Quality и оптимизации ETL-фреймворка.
- Извлекать и обрабатывать данные для анализа.
- Работать над стабилизацией расчёта бизнес-метрик.
- Поддерживать доступность и корректность данных.
Требования
- О компании VK Экскурсия по офису в Москве
- Экскурсия по офису в Москве
- Проекты Проекты OpenVK Секреты цифровой доступности
- Секреты цифровой доступности
- Кандидатам Как попасть в команду Стажировка в VK Условия работы
- Как попасть в команду
- Стажировка в VK
- Условия работы
- Проектировать, реализовывать и оптимизировать сложные ETL-процессы (в том числе разработка DAG для автоматизации)
- Участвовать в проработке и пилотировании нового: Data Quality, развитие собственного ETL-фреймворка, тесные интеграции с аналитическими инструментами
- Работать с данными на каждом этапе их трансформации: от появления информации в конкретном источнике до принятия решений на данных
- Извлекать из исходных данных ценную информацию и скрупулёзно обрабатывать её для последующего анализа
- Реализовывать стабильный расчёт бизнес-метрик вместе с командой аналитиков
- Поддерживать и модифицировать созданные решения, обеспечивать доступность сервиса и корректность данных для принятия решений
- Уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов
- Умеете проектировать DWH: слои, модели хранения данных, процессы ETL
- Хорошо понимаете принципы работы распределённых систем Hadoop или YTsaurus, ClickHouse
- Использовали Airflow, Luigi или другой оркестратор
- Умеете выбирать технологии для решения конкретных задач
- Понимаете принципы работы инструментов мониторинга и способны настраивать алерты для отслеживания состояния ETL-процессов