Дата-инженер в Яндекс Еду
Компания: Яндекс
Локация: Санкт-Петербург
О компании
Яндекс — это один из ведущих IT-гигантов на российском рынке, известный своими продуктовыми решениями и инновациями. В частности, Яндекс Еда предоставляет сервис доставки еды из ресторанов и магазинов, ориентируясь на создание качественного фудтех-продукта.
Команда активно работает над решением сложных задач, связанных с управлением данными и оптимизацией бизнес-процессов, что делает компанию привлекательным местом для профессионалов в сфере IT.
О вакансии
В команде Яндекс Еда открыта вакансия для дата-инженера, который станет частью группы, ответственной за проектирование и развитие платформы управления данными (DMP). Эта команда формирует актуальные и полные данные для сервиса, что критично для успешного анализа и принятия решений.
Ваша роль будет заключаться в взаимодействии с аналитиками для оптимизации сложных расчетов и алгоритмов. Вы будете разрабатывать инструменты для анализа данных, а также поддерживать и развивать существующие решения в области обработки данных.
Чем предстоит заниматься:
- Оптимизация ETL-процессов.
- Преобразование сырых данных в структурированный формат для анализа.
- Полный цикл работы с данными: от извлечения до использования.
- Поддержка и доработка ETL-процессов, документирование и мониторинг качества данных.
Что мы предлагаем:
- Расширенная медицинская страховка с первого месяца работы.
- Психотерапия в офисе или онлайн-сервисах.
- Лазерная коррекция зрения через год работы.
- Ведение беременности и роды через два года.
- Гибкий график работы без фиксированного времени начала и конца суток.
- Льготные жилищные займы для сотрудников.
Обязанности
- Оптимизировать ETL-процессы для эффективной обработки данных.
- Преобразовывать сырые данные в структурированный формат для аналитики.
- Отвечать за весь цикл работы с данными: от извлечения до использования.
- Поддерживать существующие процессы ETL и настраивать мониторинг качества данных.
- Документировать процессы обработки данных и эффективно фиксировать инциденты.
Требования
- Работали с отладчиками и верификаторами
- Уверенно программируете на Python
- Разбираетесь в классических алгоритмах и структурах данных
- Хорошо знаете SQL и понимаете устройство современных реляционных баз данных
- Понимаете и можете объяснить необходимость непрерывной интеграции и непрерывной доставки (CI/CD), преимущества использования Git и код-ревью
- Руководили стажёрами или начинающими специалистами
- Работали по методологии Agile
- Участвовали в проектировании хранилищ данных
- Создавали сложные высоконагруженные процессы ETL и ELT (отдельным плюсом будет знание инструментов Luigi и Airflow)
- Разрабатывали процессы обработки сложных событий (CEP) во времени, приближенном к реальному (Kafka Streams, Spark, Flink)
- Знакомы со стеком технологий Hadoop, Spark, Hive
- Работаете со специализированными аналитическими базами данных (Greenplum, Vertica, ClickHouse, Teradata) и аналитическими инструментами на базе Python (Jupyter, Pandas, SciPy, Matplotlib, Bokeh)
- Программируете на C++
- психотерапия в офисе или онлайн-сервисах;
- лазерная коррекция зрения через год работы;
- ведение беременности и роды — через два года.
Условия
- Расширенная медицинская страховка с первого месяца.
- Психотерапия в офисе или онлайн.
- Лазерная коррекция зрения через год работы.
- Ведение беременности и роды через два года.
- Гибкий график работы.