Дата-инженер в Райдтех
Компания: Яндекс
Локация: Москва
О компании
Яндекс — одна из крупнейших IT-компаний в России, специализирующаяся на разработке интернет-сервисов. Продукты компании охватывают разнообразные сферы, включая такси, доставку, маркетинг и другие области. Яндекс занимает лидирующие позиции на российском рынке технологий и де-факто является шагом вперед в области цифровых услуг.
Ключевые факты:
- Более 10 000 сотрудников
- Широкий спектр интернет-сервисов
- Присутствие в России и за ее пределами
- Innovator с конкурентоспособными технологиями
О вакансии
Команда DWH в Яндексе играет ключевую роль в предоставлении аналитических данных для менеджеров и аналитиков, что способствует развитию новых направлений. Мы ищем дата-инженера для работы с новыми доменами данных, которыми будут пользоваться сотни пользователей.
Работа включает в себя проектирование сложных ETL-процессов и участие в создании новых продуктов. Инженер будет работать с различными доменами, такими как данные для поддержки пользователей, шеринговые сервисы и тематические разработки в области B2B.
Наша команда активно исследует и внедряет новые технологии, такие как Flink и Spark, поддерживает существующую функциональность и улучшает качество обработки данных.
Чем предстоит заниматься:
- Проектировать и оптимизировать ETL-процессы
- Поддерживать стабильность и качество существующих данных
- Участвовать в исследовании и внедрении новых инструментов и технологий
Что мы предлагаем:
- Расширенная медицинская страховка с первого месяца работы
- Психотерапия в офисе или онлайн
- Лазерная коррекция зрения через год работы
- Ведение беременности и роды — через два года
- Оплата 80% ДМС для родственников
- Возможности для обучения и развития
- Спортивные клубы и фитнес-программы
Обязанности
- Проектировать и оптимизировать сложные ETL-процессы
- Обеспечивать стабильность и качество текущих данных
- Разрабатывать новые решения и инструменты для аналитики
- Участвовать в пилотировании технологий Flink и Spark
- Поддерживать и улучшать существующие данные и функциональность
Требования
- B2B — кросс-сервисный (Такси, Доставка, Маркет, Еда и т. д. ) домен, объединяющий данные по всем заказам, клиентам, контрактам и коммуникациям с организациями в рамках B2B-продукта в РФ, СНГ и межнарнаправлениях.
- Данные для поддержки (Support) — домен данных, по всем взаимодействиям с пользователями, водителями, курьерами, парками и вообще всеми, на кого влияют наши продукты. Включает голосовую, письменную, ML-коммуникацию во всех странах присутствия Яндекса и Yango.
- Шеринговые сервисы: Самокаты, Драйв, Бери заряд — домен данных, отвечающих за рост и развитие данных по шеринговым сервисам.
- Заправки — домен данных приложения и бизнеса Я. Заправки (Мое Авто в Go), который на текущий момент становится намного шире и больше, чем просто Заправки. Стремительно появляются новые продукты, например, оплата платных дорог и вызов эвакуаторов.
- Новые запуски и продукты — в зону ответственности команды входит помощь бизнеса в старте новых продуктов, проектов и экспериментов.
- Junior-, middle- или senior-специалист
- Уверенно владеете SQL, понимаете устройство современных баз данных и фреймворков обработки
- Владеете Python хотя бы на базовом уровне
- Разбираетесь в классических алгоритмах и структурах данных
- Можете объяснить, для чего нужны CI/CD, выделить преимущества использования Git и ревью кода
- Знакомы со стеком технологий Hadoop, Airflow, ClickHouse, Greenplum, Postgres или готовы освоить
- Работали по методологии Agile
- Участвовали в проектировании хранилищ данных
- Создавали сложные высоконагруженные процессы ETL и ELT (отдельным плюсом будет знание инструментов Luigi и Airflow)
- Разрабатывали процессы обработки сложных событий (CEP) во времени, приближенном к реальному (Kafka Streams, Spark, Flink)
- Работаете со специализированными аналитическими инструментами на базе Python (Jupyter, Pandas, SciPy, Matplotlib, Bokeh)
- психотерапия в офисе или онлайн-сервисах;
- лазерная коррекция зрения через год работы;
- ведение беременности и роды — через два года.
Условия
- Расширенная медицинская страховка с первого месяца
- Психотерапия в офисе или онлайн
- Лазерная коррекция зрения через год работы
- Оплата 80% ДМС для родственников
- Возможности обучения и участие в конференциях
- Доступ к спортивным залам и фитнес-клубам