AQA инженер (AI-агенты)
Компания: 2GIS
Локация: Санкт-Петербург
О компании
2GIS — аккредитованная IT-компания, занимающаяся разработкой продуктов в области геолокационных технологий. Со своей платформой компания предоставляет пользователям карты, данные о компаниях и возможности навигации. 2GIS постоянно стремится к внедрению новейших технологий, включая искусственный интеллект, для улучшения взаимодействия с клиентами.
О вакансии
В команде AI-агентов 2GIS разработчики работают над созданием инновационных AI-ассистентов, которые обеспечивают текстовые и голосовые интерфейсы для пользователей. Вы будете вовлечены в ключевые этапы разработки и тестирования, помогая реализовать стратегические планы развития AI-ассистентов в продуктовом портфолио компании.
Ваша роль будет сосредоточена на организации и стандартизации процесса тестирования AI-агентов. Вы будете работать с различными методологиями тестирования на каждом этапе разработки, что включает функциональное и нагрузочное тестирование, а также проверку цепочек рассуждений и контекстной памяти агентов.
Работа включает применение инструментария, такого как Langfuse для мониторинга AI-пайплайнов и тестирование производительности под высоким нагрузками. Вы будете также заниматься безопасностью и обеспечением устойчивости AI-агентов в различных сценариях эксплуатации, включая тестирование на генерацию вредного контента и обработку персональных данных.
Обязанности
- Участвовать в разработке AI-ассистентов на основе API 2ГИС.
- Организовать процесс тестирования AI-агентов.
- Подготавливать тестовые сценарии и данные.
- Проводить ручное, функциональное, E2E и нагрузочное тестирование.
- Участвовать в формировании стратегического плана для AI-ассистентов.
Требования
- Участвовать в проектах по разработке AI-ассистентов на базе API 2ГИС с текстовыми иголосовыми интерфейсами.
- Организовать и выстроить процесс тестирования AI-агентов.
- Подготавливать тестовые сценарии и данные.
- Проводить различного рода тестирование (ручное, функциональное, E2E, нагрузочное и пр. ) AI-агентов на всем цикле разработки.
- Участвовать в формировании стратегического плана развития AI-ассистентов впродуктах 2ГИС, разработке roadmap.
- Langfuse. Трейсинг и мониторинг AI пайплайнов.
- Интеграционное тестирование. End-to-end сценарии с реальными API.
- Тестирование цепочек рассуждений агента. Проверка контекстной памяти и диалогов.
- Системное тестирование. Performance под нагрузкой (latency, throughput). Стресс-тестирование при высоком количестве запросов. Тестирование деградации при недоступности внешних API.
- Safety Testing. Prompt injection. Тестирование на генерацию вредного контента. Проверка обработки персональных данных.
- Robustness Testing. Adversarial inputs и edge cases. Тестирование на неполных или противоречивых данных.
- Продакшн мониторинг. Настройка алертов на качество ответов агента. Трекинг пользовательской удовлетворенности (ratings, feedback).
- Опыт работы в тестировании от 5 лет.
- Опыт написания автотестов на Python.
- Опыт проведения нагрузочного тестирования.
- Опыт формирования процесса тестирования продукта с высокой нагрузкой.
- Знание архитектур AI-агентов (ReAct, Tool Use, RAG, Multi-Agent и пр. ).
- Понимание принципов работы LLM (токенизация, промпты и пр. ).
- Опыт работы с LangChain/LangGraph или аналогичными фреймворками.
- Понимание недетерминированности AI-систем и методов ее контроля.
Условия
- Возможность удаленной работы.
- ДМС и онлайн-консультации с врачами.
- Доступ к учебному центру с курсами и тренингами.
- Гибридный формат работы в офисах по России.