Лид экспертной аналитики в Alice AI
Компания: Яндекс
О компании
Яндекс — одна из крупнейших IT-компаний в России, занимающаяся разработкой и внедрением передовых технологий в различные сферы, включая искусственный интеллект. Продукт Alice AI LLM представляет собой мощную языковую модель, направленную на улучшение качества обработки естественного языка и взаимодействия с пользователями.
Ключевые факты:
- Яндекс основан в 1997 году
- Более 10 000 сотрудников
- Успешно внедряет технологии AI в повседневные сервисы
- Обрабатывает миллионы запросов ежедневно
- Лидирующая позиция на российском рынке поиска и технологий AI
О вакансии
В команде Яндекс, занимающейся развитием Alice AI LLM, открыта позиция лида экспертной аналитики. Команда нацелена на улучшение внедрения технологий и создание более качественных моделей. Основная задача в данной роли — оценить и повысить качество взаимодействия языковых моделей с данными.
Работа включает проектирование метрик, процессы сбора и валидации данных, а также глубокий анализ поведения моделей. Лидер будет заниматься экспертной оценкой выходных данных и формированием эталонных ответов, используя знания в области статистики и теории вероятностей.
Чем предстоит заниматься:
- Управлять командой аналитиков и обеспечивать выполнение задач
- Разрабатывать новые метрики и процессы для оценки моделей
- Анализировать результаты тестирования и предлагать улучшения
- Проверять корректность аргументации в ответах моделей
- Визуализировать идеальные эталонные ответы
Что мы предлагаем:
- Участие в создании передовых решений в области LLM
- Работу в команде высококвалифицированных специалистов
- Возможности для профессионального роста и обучения
- Гибкий график работы
Обязанности
- Управление командой аналитиков
- Разработка метрик для оценки качества моделей
- Проектирование процессов сбора и валидации данных
- Глубокий анализ работы языковых моделей
- Оценка и визуализация эталонных ответов