Ведущий дата инженер в MAX, Москва
Компания: VK
Локация: Москва
О компании
VK — одна из ведущих IT-компаний в России, занимающаяся разработкой социальных сетей, мессенджеров и сервисов, включая ВКонтакте и Одноклассники. Компания занимается созданием платформ, предоставляющих пользователям доступ к различным формам взаимодействия и развлечения. VK активно инвестирует в технологии и инновации, что позволяет ей оставаться на переднем крае цифровых решений на российском рынке.
Ключевые факты:
- Основана в 2006 году.
- Основной офис расположен в Санкт-Петербурге, а также есть представительства в Москве.
- Более 100 миллионов уникальных пользователей каждый месяц.
- Разработка и внедрение передовых технологий в области онлайн-коммуникации и контента.
О вакансии
В команде дата-инженеров VK вы будете отвечать за проектирование и оптимизацию ETL-процессов, используя передовые технологии для анализа и обработки данных. Вы сыграете ключевую роль в развитии собственных инструментов и фреймворков, а также обеспечите высокое качество данных для аналитических нужд компании.
Ваша работа будет охватывать все этапы обработки данных, включая извлечение информации из различных источников и решение задач по её трансформации для управления бизнес-метриками. Вы будете сотрудничать с командой аналитиков, чтобы гарантировать коррекцию и доступность данных для принятия обоснованных решений.
Чем предстоит заниматься:
- Проектирование и реализация сложных ETL-процессов.
- Разработка DAG для автоматизации процессов.
- Участие в пилотировании и проработке новых решений в области Data Quality.
- Взаимодействие с аналитическими инструментами для повышения эффективности работы.
- Извлечение и обработка данных для анализа.
Что мы предлагаем:
- Участие в масштабных проектах и возможность влиять на ключевые решения.
- Доступ к обучающим материалам и курсам для повышения квалификации.
- Возможность реализовать свои идеи в крупной IT-компании.
Обязанности
- Проектировать и реализовывать ETL-процессы.
- Разрабатывать DAG для автоматизации обработки данных.
- Участвовать в создании инструментов для повышения качества данных.
- Работать с данными на каждом этапе их трансформации.
- Извлекать информацию из источников и обрабатывать её для анализа.
- Поддерживать и модифицировать ETL-решения.
- Обеспечивать корректность данных для принятия решений.
- Оптимизировать SQL-запросы и разрабатывать собственные фреймворки на Python.
Требования
- О компании VK Экскурсия по офису в Москве
- Экскурсия по офису в Москве
- Проекты Проекты OpenVK Секреты цифровой доступности
- Секреты цифровой доступности
- Кандидатам Как попасть в команду Стажировка в VK Условия работы
- Как попасть в команду
- Стажировка в VK
- Условия работы
- Проектировать, реализовывать и оптимизировать сложные ETL-процессы (в том числе разработка DAG для автоматизации)
- Участвовать в проработке и пилотировании нового: Data Quality, развитие собственного ETL-фреймворка, тесные интеграции с аналитическими инструментами
- Работать с данными на каждом этапе их трансформации: от появления информации в конкретном источнике до принятия решений на данных
- Извлекать из исходных данных ценную информацию и скрупулёзно обрабатывать её для последующего анализа
- Реализовывать стабильный расчёт бизнес-метрик вместе с командой аналитиков
- Поддерживать и модифицировать созданные решения, обеспечивать доступность сервиса и корректность данных для принятия решений
- Уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов
- Умеете проектировать DWH: слои, модели хранения данных, процессы ETL
- Хорошо понимаете принципы работы распределённых систем Hadoop или YTsaurus, ClickHouse
- Использовали Airflow, Luigi или другой оркестратор
- Умеете выбирать технологии для решения конкретных задач
- Понимаете принципы работы инструментов мониторинга и способны настраивать алерты для отслеживания состояния ETL-процессов