Инженер данных DWH в Путешествия

Яндекс — ведущая российская IT-компания, предоставляющая широкий спектр интернет-сервисов и продуктов, включая поисковую систему и сервисы для путешествий. Яндекс активно развивает свои технологии и инфраструктуру для работы с большими данными, обеспечивая инструменты для анализа и обработки информации.

Команда, работающая над проектами в сфере путешествий, использует огромные объемы данных для создания полезных аналитических инструментов. Ключевые разработки помогают миллионам пользователей находить оптимальные решения для путешествий, а также поддерживают внутренние процессы Яндекса.

Наша команда сосредоточена на преобразовании массивов данных в полезную информацию. Мы создаём и поддерживаем систему хранения данных (DWH), которая растет вместе с увеличением объёмов информации и требований к анализу.

В нашей инфраструктуре используются решения YTsaurus и ClickHouse. Мы разрабатываем ETL-процессы с применением собственного фреймворка, обеспечивая эффективную обработку и анализ данных. Команда применяет различные архитектурные подходы, такие как Lambda-архитектура и Data Vault, что позволяет гибко работать с данными на разных уровнях.

Чем предстоит заниматься:

• Проектировать DWH, включая слои и модели хранения данных.
• Разрабатывать ETL-процессы, используя Apache Airflow или похожие инструменты.
• Настраивать механизмы доставки данных через API.
• Писать код на языках программирования, таких как Python, Go или Java.

Что мы предлагаем:

• Интересные и сложные задачи в области работы с большими данными.
• Участие в развитии современных технологий и архитектур обработки данных.