Аналитик-разработчик в бригаду поисковых исследований в Поиск с Алисой
Компания: Яндекс
Локация: Москва
О компании
Яндекс — одна из крупнейших технологических компаний в России, ведущая в области интернет-технологий и поисковых систем. Основные сферы деятельности компании включают интернет-поиск, онлайн-рекламу, облачные технологии и различные IT-продукты, такие как Яндекс.Такси, Яндекс.Карты и Яндекс.Маркет.
Ключевые факты:
- Год основания: 1997
- Количество сотрудников: более 10 000
- Основные продукты: Яндекс.Станция, Яндекс.Go, Яндекс.Маркет
- Доля на российском рынке поисковых систем: более 50%
О вакансии
В команде поисковых исследований Яндекса вы будете работать на стыке аналитики и разработки, разрабатывая инструменты и методики для повышения качества поискового ранжирования. Проектирование автоматизированных решений, таких как LLM-as-a-Judge, и создание бенчмарков будут основными направлениями вашей работы.
Ваши задачи будут включать исследование влияния изменений на ранжирование, а также проектирование и проведение экспериментов. Это требует глубокого понимания данных, умения декомпозировать проблемы и находить оптимальные пути их решения.
Мы предполагаем, что вы обладаете хорошими аналитическими навыками и способны выстраивать методологические подходы к решению задач.
Чем предстоит заниматься:
- Проектирование LLM-as-a-Judge и автоматизация процессов разметки.
- Разработка методик и бенчмарков для оценки качества автоматизированных решений.
- Проведение A/B-тестирования и обеспечение статистической значимости результатов экспериментов.
- Анализ поведения поисковых сигналов и их влияние на пользовательский опыт.
Что мы предлагаем:
- Расширенная медицинская страховка с первого месяца работы, включая стоматологию и лечение критических заболеваний.
- Психотерапия в офисе или онлайн-сервисах;
- Лазерная коррекция зрения через год работы;
- Ведение беременности и роды — через два года.
- Оплата 80% стоимости ДМС для родственников сотрудников.
- Доступ к внутренним образовательным платформам и оплата участия в конфренциях.
- Спортзалы и спортивные клубы во всех крупных офисах Яндекса, возможность занятий с тренером.
- Гибкий график работы и удобные условия труда.
- Льготные жилищные займы для сотрудников.
- Страхование детей и дополнительные услуги, связанные с детским здравоохранением.
Обязанности
- Разработка автоматизированных инструментов для разметки данных.
- Создание и валидация бенчмарков для проверки качества результатов.
- Проведение A/B-тестов и анализ статистической значимости.
- Изучение влияния модификаций на ранжирование поисковой выдачи.
- Декомпозиция сложных задач на измеримые компоненты.
Требования
- Решали задачи на стыке аналитики и разработки: уверенно работаете с SQL и Python (pandas, numpy)
- Понимаете принципы машинного обучения: знаете, как устроены метрики качества ML-моделей — precision, recall, ndcg; работали с LLM или понимаете их специфику: промпт-инжиниринг, оценку качества генерации
- Умеете выстраивать эксперименты: знаете, как обеспечить статистическую значимость выводов, работали с A/B-тестированием
- Склонны к методологической работе: вам интересно не просто «посчитать цифру», а придумать способ измерения там, где готового инструмента нет, и защитить свой подход
- Умеете декомпозировать сложные проблемы на измеримые компоненты
- психотерапия в офисе или онлайн-сервисах;
- лазерная коррекция зрения через год работы;
- ведение беременности и роды — через два года.
Условия
- Гибкий график работы без фиксированного времени начала и окончания.
- Расширенная медицинская страховка с первого месяца, включая стоматологию.
- Оплата 80% стоимости ДМС для детей и супругов.
- Возможность участия в профильных конференциях с оплатой со стороны компании.
- Спортзалы и клубы в офисах с возможностью занятий с тренером.
- Льготные жилищные займы для сотрудников.