Разработчик интеграции Apache Spark с YTsaurus

Яндекс — одна из крупнейших технологических компаний в России, занимающаяся разработкой интернет-сервисов и технологий. В портфеле компании находятся широкий спектр продуктов, включая поисковую систему, картографические сервисы и инструменты для бизнеса.

Данная компания активно внедряет инновации в области больших данных и обработки информации, предоставляя высококачественные решения для клиентов по всему миру.

Команда, занимающаяся интеграцией Apache Spark с YTsaurus, стремится к созданию эффективных и мощных решений для обработки данных. Основная задача заключается в поддержке интеграции всех современных версий Spark с YTsaurus, а также в расширении функциональности и повышении эффективности Spark в рамках внутренней платформы YTsaurus.

Мы активно развиваем собственный shuffle-сервис и усовершенствуем интеграцию Spark с хранилищем и планировщиками задач. Также команда инициирует активные шаги по продвижению опенсорс-проекта, таким образом формируя сообщество вокруг YTsaurus.

Чем предстоит заниматься:

• Поддержка и развитие интеграции Apache Spark с YTsaurus
• Реализация новой функциональности Spark в соответствии с обновлениями
• Проектирование и создание внешнего shuffle-сервиса
• Участие в развитии комьюнити вокруг опенсорс-кода YTsaurus

Что мы предлагаем:

• Работа в команде экспертов с академическим опытом
• Возможность удалённой работы из разных локаций
• Участие в разнообразных конкурсах и мероприятиях по программированию