РаботаМакс
ПАО Сбербанк

Middle+ QA Engineer (AI/LLM Products)

Санкт-Петербург

Загрузи резюме, чтобы повысить шансы пройти на вакансию «Middle+ QA Engineer (AI/LLM Products)»Разберём резюме ИИ и покажем, что доработать — здесь же, не уходя со страницы

О компании

ПАО Сбербанк — это один из крупнейших банков в России, активно развивающийся в сфере информационных технологий и искусственного интеллекта. Компания предлагает широкий спектр финансовых услуг и продуктов для индивидуальных и корпоративных клиентов, а также занимается разработкой ИИ-инструментов и платформ, включая LLM-решения. Сбербанк стремится внедрять инновации, улучшая качество обслуживания и расширяя возможности своих пользователей.

О вакансии

Команда, в которую вы будете приглашены, занимается разработкой и тестированием AI-продуктов и LLM-платформ. Основное внимание уделяется обеспечению качества программных решений, включая функциональное и регрессионное тестирование, а также специфические оценки качества AI-ответов и устойчивости промптов. Здесь вас ждет возможность работать с передовыми технологиями и их особенностями в контексте искусственного интеллекта.

Наша команда ищет QA-инженера, который сможет применять свои навыки для анализа нестабильного поведения AI-систем и разработки автоматизированных тестов. Мы ожидаем от кандидата не только технической экспертизы, но и интереса к специфике работы с AI.

Чем предстоит заниматься:

  • функциональное и регрессионное тестирование LLM-продуктов, включая веб-интерфейсы и API
  • разработка тестовых сценариев для оценки качества ответов AI-моделей
  • проверка устойчивости промптов, включая оценку edge-кейсов
  • анализ недетерминированного поведения AI-систем
  • автоматизация процессов тестирования с использованием Python и pytest
  • взаимодействие с командой разработчиков для устранения выявленных дефектов

Что мы предлагаем:

  • офисный режим работы на испытательный срок, с возможностью гибридного формата
  • ежегодный пересмотр заработной платы
  • доступ в корпоративный спортзал и зоны отдыха
  • более 400 образовательных программ для профессионального роста
  • расширенный ДМС с льготным страхованием для семьи
  • выгодные условия по ипотечному кредиту
  • подписка на СберПрайм с возможностью совместного использования
  • система поощрений за рекомендации новых сотрудников.

Обязанности

  • функциональное и регрессионное тестирование AI-продуктов и компонентов LLM
  • разработка и поддержка тестовых сценариев для оценки качества AI-моделей
  • проверка устойчивости промптов к различным условиям и инъекциям
  • оценка ответов LLM по критериям точности и полноты
  • анализ и воспроизведение нестабильных дефектов AI-систем
  • автоматизация тестирования на Python с использованием pytest
  • тестирование API-интеграций с LLM-провайдерами
  • ведение документации и участие в приемке новых функций

Условия

  • офисный формат работы на испытательный срок, затем возможен гибридный
  • ежегодный пересмотр заработной платы
  • доступ в корпоративный спортзал и зоны отдыха
  • более 400 образовательных программ СберУниверситета
  • программа адаптации и помощь руководителя
  • расширенный ДМС и льготное страхование для семьи
  • выгодные условия по ипотечному кредиту
  • подписка на СберПрайм с возможностью совместного использования
  • вознаграждение за рекомендации новых сотрудников

Похожие вакансии

Как получить эту работу — с ИИ-помощником РаботаМакс

Бесплатно поможем на каждом шаге. Нажмите, чтобы раскрыть.