ML-аналитик / аналитик качества ИИ-помощника

ПАО Сбербанк — один из ведущих финансовых институтов России, который активно применяет современные технологии для улучшения качества своих услуг. Компания предлагает широкий спектр продуктов, включая банковские услуги, инвестиционные решения и страхование, нацеленные на удовлетворение потребностей клиентов.

Сбербанк активно внедряет искусственный интеллект в свои процессы, что позволяет улучшать взаимодействие с клиентами и повышать эффективность работы. Такой подход делает компанию одним из лидеров в области цифровых технологий в банковской сфере.

Ключевые факты:

• Основан в 1841 году
• Более 100 миллионов клиентов
• Ведущий игрок на финансовом рынке России
• Широкий спектр банковских и финансовых услуг

В команде Сбербанка мы ищем ML-аналитика, который будет вовлечен в изучение работы нашего ИИ-помощника. Главная задача специалиста — анализировать, как помощник взаимодействует с пользователями, определять причины ошибок и предлагать решения для их устранения.

Аналитик будет заниматься созданием eval-наборов и бенчмарков для проверки качества моделей и их улучшения. Особое внимание будет уделяться связыванию качества модели с фактическим качеством продукта, что позволит увеличить его полезность для пользователей.

Мы ожидаем известного вам подхода к исследованию, когда результат можно проверить на основе данных и экспериментов. Особенно важно уметь работать с неопределенностью и выявлять слабые места в методах анализа.

Чем предстоит заниматься:

• Исследовать, как помощник справляется с реальными задачами пользователей
• Создавать eval-наборы и бенчмарки для тестирования моделей
• Развивать системы оценки с использованием LLM
• Превращать проблемы в гипотезы и критерии для дообучения
• Связывать качество модели с реальными результатами для пользователей
• Строить инструменты для анализа и мониторинга качества ИИ

Что мы предлагаем:

• Комфортный офис рядом с м. Кутузовская
• Гибридный формат работы
• Ежегодный пересмотр зарплаты и годовая премия
• Корпоративный спортзал и зоны отдыха
• Система обучения для карьерного роста
• Расширенный ДМС с первого дня работы
• Программа ипотеки для сотрудников
• Вознаграждение за рекомендации