DL-разработчик в команду исследования архитектуры Alice AI LLM

Яндекс — ведущая технологическая компания, которая разрабатывает инновационные продукты в области поиска и интернет-сервисов. Команда занимается созданием умных решений и искусственного интеллекта, применяя передовые технологии для удовлетворения потребностей пользователей. Основное внимание уделяется разработке и обучению самых передовых моделей, таких как Alice AI LLM, которые внедряются в ключевые продукты компании.

Ключевые факты:

• Основана в 1997 году.
• Более 20 лет на рынке.
• Широкий спектр интернет-сервисов и технологий.
• Команда, работающая над AI, включает экспертов в области машинного обучения и исследований в крупных проектах.

Команда, занимающаяся исследованием архитектуры Alice AI LLM, фокусируется на развитии и оптимизации моделей, которые впоследствии применяются в разнообразных продуктах компании Яндекс. Вы будете участвовать в работе над претрейном LLM и проводить эксперименты с использованием современных подходов, включая улучшение моделей и поиск путей повышения их эффективности.

Вашими основными задачами станут реализация и анализ архитектур LLM, работа с новыми оптимизаторами и экспериментами для повышения качества и скорости инференса. Кроме того, вы займётесь повышением эффективности распределённого обучения на GPU, изучая и внедряя оптимальные стратегии параллелизма.

Чем предстоит заниматься:

• Воспроизведение и улучшение лучших практик в обучении LLM.
• Реализация и изучение архитектур LLM и составляющих обучения.
• Ускорение обучения моделей на GPU-кластере за счет оптимизации кода и стратегий.
• Анализ современных публикаций для выявления и внедрения перспективных подходов.

Что мы предлагаем:

• Работа в одной из ведущих команд Яндекса.
• Участие в разработке новых технологий в области машинного обучения.