Technical Product Manager — ML Platform

Яндекс — технологическая компания, работающая с эксабайтами данных, которые нужно хранить, обрабатывать и безопасно передавать между системами. Для решения этих задач внутри экосистемы развивается распределённая платформа хранения и обработки данных YTsaurus.

Ключевые факты:

• Развивается распределённая инфраструктура YTsaurus
• ML-платформа построена на базе YTsaurus
• Платформа используется многими ML-командами: сотни команд для продуктов Яндекса

Команда развивает ML-платформу Яндекса на базе YTsaurus — инфраструктуру, на которой десятки команд машинного обучения обучают модели и используют их в ключевых продуктах компании. Масштаб платформы — от подготовки данных до продакшен-инференса и последующей эксплуатации моделей.

Платформа рассчитана на большое число пользователей: ею пользуются большинство ML-разработчиков Яндекса. Фактически это developer platform для ML-инженеров, которая помогает запускать обучение на больших GPU-кластерах, управлять экспериментами и обеспечивать жизненный цикл моделей.

В роли Technical Product Manager — ML Platform вы будете связывать потребности ML-команд с разработкой инфраструктурных сервисов: превращать узкие места в продуктовые гипотезы, формировать roadmap и приоритизацию, а также участвовать в проектировании ключевых модулей платформы вместе с несколькими инженерными командами.

Чем предстоит заниматься:

• Формировать продуктовую стратегию и roadmap ML-платформы
• Определять направления развития инфраструктуры для ML-разработки
• Выявлять узкие места в процессах ML-команд на стороне инфраструктуры
• Собирать и переводить потребности пользователей в требования к новым сервисам
• Участвовать в проектировании ключевых компонентов ML-платформы
• Описывать решения так, чтобы они были применимы для инженерных команд
• Приоритизировать развитие платформы на основе продуктовых метрик и обратной связи
• Координировать работу нескольких инженерных команд разработки
• Помогать командам поставлять сложные инфраструктурные функции
• Следить за согласованностью развития платформы с продуктовой стратегией

Инструменты и компоненты платформы, с которыми вы столкнётесь:

• Managed DevCluster для удалённой разработки и тестовых запусков GPU-задач
• Сервис/UX-слой для удобного запуска процессов обучения на кластере YTsaurus
• Оркестратор графов подготовки данных на Python и SQL
• Трекинг ML-экспериментов, близкий по смыслу к Weights & Biases
• MLOps-система для управления жизненным циклом моделей