Научный сотрудник (Data Scientist)

ЦРТ — это группа компаний, специализирующаяся на разработке инновационных технологий и систем, ориентированных на искусственный интеллект и машинное обучение. Организация активно внедряет новые подходы к созданию агентных систем и инструментов, обеспечивающих высокое качество их оценки, что помогает бизнесам принимать данные-ориентированные решения.

Компания выполняет проекты в области науки и технологий, сочетая разработки с активной исследовательской деятельностью. ЦРТ ориентирована на постоянное улучшение и инновации, что позволяет ей оставаться конкурентоспособной на рынке IT-услуг.

Ключевые факты:

• Место: Санкт-Петербург, Выборгская набережная, 45Е
• Специализация: искусственный интеллект, машинное обучение
• Формат работы: офисный

Команда ЦРТ занимается разработкой агентной системы и инструментов для объективной оценки их качества. Мы ищем научного сотрудника с опытом работы от трех до шести лет в области машинного обучения и Python, который сможет проектировать и развивать системы оценки для LLM-агентов.

Ваша задача будет включать проектирование минимум одной единицы оценки и создание тестовых наборов данных, а также анализ результатов экспериментов. Команда работает с современными технологиями и высокими стандартами качества, что позволяет реализовать множество интересных проектов в сфере науки и технологий.

Чем предстоит заниматься:

• Проектирование evals для LLM-агентов и их оценка
• Определение единицы оценки: ответ, вызов инструмента или итоговый артефакт
• Работа с тестовыми датасетами и разметкой
• Разработка метрик и автоматических оценщиков
• Анализ экспериментов для выявления регрессий и недостатков

Что мы предлагаем:

• Работа с передовыми технологиями и исследовательской командой
• Возможность влиять на архитектуру и развитие системы
• Оформление по ТК с "белой" заработной платой
• ДМС с первой недели работы
• Компенсация за обучение и участие в благотворительных проектах