Аналитик-разработчик в команду LLM-судей для Alice AI

Яндекс — российская IT-компания с продуктовыми и инфраструктурными направлениями, где команды решают прикладные задачи на стыке данных, машинного обучения и инженерии. Внутри компании развиваются сервисы, которые масштабируются на миллионы пользователей, а также создаются внутренние платформы для разработки и аналитики.

Немного о нас в цифрах:

• Компания: Яндекс

Команда LLM-судей для Alice AI помогает улучшать качество работы голосового ассистента: оценивает ответы моделей, выстраивает критерии качества и поддерживает процессы, которые позволяют системе становиться точнее и надежнее.

В роли аналитика-разработчика вы будете работать на границе аналитики и инженерной реализации: формулировать метрики, превращать результаты исследований в воспроизводимые проверки и участвовать в развитии контуров оценки для LLM.

Вы будете тесно взаимодействовать с разработчиками и теми, кто занимается качеством моделей и продуктовой логикой Alice AI, чтобы решения основывались на данных, а итерации приносили измеримый эффект.

Чем предстоит заниматься:

• Проектировать и поддерживать подходы к оценке качества ответов LLM в контуре LLM-судей
• Анализировать результаты прогонов и находить причины просадок качества
• Формализовать критерии качества и переводить их в проверяемые сценарии
• Участвовать в подготовке данных и разметке/сопровождении датасетов для оценки (если потребуется в рамках процесса)
• Разрабатывать и улучшать инструменты/скрипты для автоматизации оценок
• Собирать метрики качества и помогать интерпретировать их для команды
• Поддерживать воспроизводимость оценок: фиксировать версии, условия и параметры прогонов

Что мы предлагаем:

• Работа в Яндекс в команде, связанной с улучшением Alice AI
• Социальные гарантии и высокий уровень компенсаций в IT-компании России