Data Platform Engineer (NRT/Spark)
Компания: Яндекс
О компании
Компания Яндекс занимает лидирующие позиции на российском рынке IT и интернет-услуг. Она предоставляет широкий спектр сервисов, включая поисковую систему, карты, такси, и облачные технологии. Яндекс активно внедряет новейшие технологии и развивает свои платформы, используя передовые решения в области обработки данных и искусственного интеллекта.
Ключевые факты:
- Лидер на российском рынке интернет-услуг
- Широкий спектр продуктов, включая Яндекс.Такси и Яндекс.Облако
- Команда экспертов в области IT и разработки
- Долговечная история с 1997 года
- Сотни миллионов активных пользователей по всей России и за рубежом
О вакансии
В команде по разработке и поддержке платформы данных Яндекса вам предстоит заниматься созданием и оптимизацией сложных систем для обработки данных в реальном времени. Это включает в себя улучшение существующих решений и внедрение новых технологий для обеспечения высокоскоростной работы сервисов. Команда активно применяет инструменты анализа данных и обработки больших объемов информации, что позволяет Яндексу оставаться на передовой в мире технологий.
Ваша работа будет заключаться в разработке и поддержке пайплайнов данных, оптимизации запросов к базам данных, а также анализе и обработке информации из различных источников.
Чем предстоит заниматься:
- Оптимизация запросов и работа с планами выполнения в различных СУБД
- Реализация и поддержка пайплайнов с использованием принципов CDC
- Управление данными с использованием S3-совместимых хранилищ
- Работа с базами данных: PostgreSQL, Oracle, MongoDB, Greenplum
- Партиционирование, шардирование и работа с индексами
Что мы предлагаем:
- Конкурентоспособную заработную плату
- Участие в интересных и масштабных проектах
- Возможность работы с новейшими технологиями
- Дружелюбную атмосферу и поддержку коллег
Обязанности
- Оптимизация запросов к базам данных
- Реализация пайплайнов данных с использованием CDC
- Работа с S3-совместимыми хранилищами
- Управление базами данных PostgreSQL, Oracle, MongoDB, Greenplum
- Партиционирование и шардирование данных