ML-аналитик в команду LLM-спецпроектов Алисы
Компания: Яндекс
Локация: Москва
О компании
Яндекс — одна из крупнейших IT-компаний в России, активно работающая в области поиска, рекламы и разработки высоких технологий. Продукты компании включают в себя поисковую систему, электронную почту, навигацию и решения на базе искусственного интеллекта, такие как голосовой ассистент Алиса. Яндекс зарекомендовал себя как инноватор в области мобильных и интернет-технологий и занимает лидирующие позиции на российском рынке.
Ключевые факты:
- Год основания: 1997
- Более 10 000 сотрудников
- Многочисленные проекты в области AI и машинного обучения
- Лидер на российском рынке поисковых технологий
О вакансии
Команда LLM-спецпроектов Алисы занимается разработкой и совершенствованием языковых моделей, которые являются основой работы голосового ассистента. В рамках команды сотрудники анализируют ответы моделей, выявляют ошибки и участвуют в Prompt Engineering, что позволяет значительно улучшать качество взаимодействия пользователей с сервисом.
В этой роли предполагается активное участие в оценке новых версий языковых моделей, анализ результатов экспериментов и сравнение метрик качества. Также важна работа с большими объемами текстовых данных для развития AI-проектов и интеллектуальных систем.
Чем предстоит заниматься:
- Анализировать ответы моделей и выявлять ошибки в работе LLM-агентов Алисы
- Оценивать новые версии языковых моделей и сравнивать их метрики качества
- Формировать датасеты и контролировать качество разметки
- Применять статистические методы для оценки гипотез и автоматизации обработки данных
- Разрабатывать аналитические скрипты на Python для обработки данных
Что мы предлагаем:
- Работу в инновационной команде Яндекса
- Возможность участия в проектах по развитию искусственного интеллекта и интеллектуальных систем
- Современные инструменты и технологии для анализа данных
Обязанности
- Анализировать ответы моделей и выявлять ошибки в работе LLM-агентов Алисы
- Оценивать новые версии языковых моделей и сравнивать их метрики качества
- Формировать датасеты и контролировать качество разметки
- Применять статистические методы для оценки гипотез и автоматизации обработки данных
- Разрабатывать аналитические скрипты на Python для обработки данных
Требования
- Уверенное владение Python и опытом работы с данными
- Опыт работы с текстовыми данными и задачами NLP
- Понимание статистических методов и анализа экспериментов
- Способность анализировать метрики и проверять гипотезы
- Навыки формирования и структуризации датасетов
- Внимательность к деталям и работа с большими объёмами текстов
- Умение разбираться в сложных системах и находить причины ошибок моделей