Data Engineer в VK Tech, Москва
Компания: VK
Локация: Москва
О компании
VK - это одна из крупнейших IT-компаний в России, предоставляющая широкий спектр цифровых услуг, включая социальные сети, обмен сообщениями и мультимедийные платформы. Компания активно разрабатывает инновационные решения и технологии, стремясь обеспечить доступность контента и услуг для пользователей.
Премиум-продукты компании, такие как ВКонтакте и Одноклассники, охватывают большие аудитории и занимают значительные доли рынка в своей нише.
Ключевые факты:
- Основание компании: 199 VK.com, одна из первых соцсетей в России.
- Уникальные пользователи: более 100 миллионов в месяц.
- Доступные продукты: сервисы обмена сообщениями, видеостриминг и реклама.
О вакансии
В структуре компании VK команда Data Engineering работает над созданием и поддержкой эффективных платформ для обработки и хранения данных. Важнейшей задачей группы является разработка и автоматизация ETL-процессов, а также улучшение процессов обработки данных с использованием современных технологий.
Команда активно разрабатывает DWH платформы и участвует в проектировании схем для хранения данных, что позволяет улучшить доступ к информации и аналитике. Специалисты по данным обеспечивают интеграцию данных из различных источников, включая внутренние базы данных и внешние аналитические платформы.
Чем предстоит заниматься:
- Разработка DWH платформы.
- Проектирование схем для хранения данных.
- Автоматизация загрузки данных из различных источников.
- Автоматизация data-pipelines и ETL процессов.
- Организация CI/CD и мониторинга процессов обработки данных.
Что мы предлагаем:
- Дистанционный формат работы.
- Возможности для профессионального развития и роста.
- Привлекательные условия работы в технологической компании.
Обязанности
- Разработка DWH платформы
- Проектирование схем для хранения данных
- Автоматизация загрузки данных из различных источников
- Автоматизация ETL процессов и data-pipelines
- Организация CI/CD и мониторинга процессов обработки данных
- Ревью кода в команде
Требования
- О компании VK Экскурсия по офису в Москве
- Экскурсия по офису в Москве
- Проекты Проекты OpenVK Секреты цифровой доступности
- Секреты цифровой доступности
- Кандидатам Как попасть в команду Стажировка в VK Условия работы
- Как попасть в команду
- Стажировка в VK
- Условия работы
- Разработка DWH платформы;
- Проектирование схем для хранения данных;
- Автоматизация загрузки данных из различных источников (как внутренние БД, так и внешние аналитические/ маркетинговые платформы и т. д.
- Автоматизация data-pipelines, ETL процессов;
- Автоматизация построения витрин данных;
- Организация CI/CD и мониторинга процессов обработки данных;
- Готовность разбираться в чужом коде;
- Ревью кода в команде.
- Опыт DWH разработки от 3 лет, знание Python;
- Понимание принципов работы классических СУБД;
- Работа с Linux & Bash;
- Знакомство и опыт работы с экосистемой Hadoop;
Условия
- Удалённая работа
- Возможности для стажировок и обучения