Разработчик интеграции Apache Spark с YTsaurus
Компания: Яндекс
Локация: Новосибирск
О компании
Яндекс — ведущая IT-компания, известная своими продуктами в области интернет-технологий, включая поисковую систему, облачные решения и сервисы для бизнеса. Компания активно создает и развивает услуги для миллионов пользователей и клиентов по всему миру, занимая значительное место на российском и международном рынках.
Ключевые факты:
- Год основания: 1997
- Операционная деятельность в России и за рубежом
- Широкий ассортимент продуктов от поисковых технологий до цифровых решений для бизнеса
- Более 15 000 сотрудников по всему миру
- Высокий уровень инвестиций в разработку и инновации
О вакансии
Команда разработки интеграции Apache Spark с YTsaurus сосредоточена на создании современных решений для обработки больших данных. Мы активно развиваем нашу интеграцию с Apache Spark, чтобы использовать все преимущества последних версий фреймворка и улучшать функцию работы с YTsaurus.
Одной из главных задач является внедрение функциональности, такой как поддержка Java 17 и 21, а также интеграция со Spark Connect в Spark 3.4.0. Наша цель — оптимизация процессов рассчитываний с помощью собственного shuffle-сервиса, что требует от команды креативного подхода и экспериментов.
Мы также занимаемся продвижением нашего опенсорс-проекта YTsaurus и разработкой внешнего комьюнити. С 2023 года код стал доступен для всех желающих, и мы открыты для идеи, как лучше его развивать.
Чем предстоит заниматься:
- Поддержка всех современных версий Apache Spark
- Интеграция новой функциональности в систему
- Разработка и внедрение shuffle-сервиса для Spark
- Оптимизация обработки задач в YTsaurus
- Крупномасштабные эксперименты и разработка опенсорс-продукта
Что мы предлагаем:
- Работу в увлеченном и опытном коллективе
- Возможность работать над сложными техническими задачами
- Участие в развитии внешнего комьюнити опенсорс-проекта
- Динамичную атмосферу стартапа с высоким уровнем креативности и сотрудничества
Обязанности
- Поддерживать актуальность всех версий Apache Spark
- Интегрировать новую функциональность Spark с YTsaurus
- Разрабатывать собственный shuffle-сервис для Spark
- Повышать производительность вычислительных задач в YTsaurus
- Развивать и поддерживать опенсорс-проект YTsaurus
Условия
- Гибридный формат работы: офис и удалённая работа
- Возможность профессионального роста и участия в учебных проектах