Сбер

Руководитель направления ML Pretrain Multimodal LLM

Москваofficelead

Загрузи резюме, чтобы повысить шансы пройти на вакансию «Руководитель направления ML Pretrain Multimodal LLM»Разберём резюме ИИ и покажем, что доработать — здесь же, не уходя со страницы

О компании

Сбер — крупнейшая финансовая корпорация России, с активной позицией в развитии технологий на базе искусственного интеллекта. Основной фокус компании направлен на создание инновационных продуктов, таких как GigaChat, которые основаны на многомодальных языковых моделях. Сбер активно инвестирует в исследования и разработки в области AI, став одним из лидеров в этой сфере на российском рынке.

Ключевые факты:

  • Более 400 образовательных программ в СберУниверситете
  • Разработка MoE-моделей с 700 миллиардов параметров
  • Обширная команда специалистов в области технологий и науки

О вакансии

В команде GigaChat открыта позиция руководителя направления ML-pretrain, отвечающего за архитектурные аспекты разработки больших языковых моделей. Это включает в себя проектирование и оптимизацию архитектур флагманских моделей, а также определение путей для улучшения качества системы и масштабируемости.

Работа в команде предполагает высокую степень самостоятельности и лидерства, где вы будете курировать процессы разработки, внедрять новые архитектурные решения и направлять группу исследователей и инженеров к достижению высоких результатов.

Чем предстоит заниматься:

  • Разработка архитектуры моделей GigaChat
  • Оптимизация архитектуры pretrain-моделей и определение ключевых направлений для улучшений
  • Проектирование архитектурных решений для флагманских моделей
  • Реализация и анализ scaling-экспериментов на основе предварительных результатов
  • Обеспечение надежности и воспроизводимости экспериментов

Что мы предлагаем:

  • Возможность выбора между офисным и гибридным форматом работы
  • Ежегодный пересмотр зарплаты и возможность получения годовой премии
  • Доступ к корпоративному спортзалу и зонам отдыха
  • Расширенный ДМС и льготное страхование для семьи
  • Участие в корпоративной пенсионной программе
Навыки
PythonPyTorchMachine LearningLLMDesignArtificial IntelligenceML

Обязанности

  • Разрабатывать и улучшать архитектуру моделей GigaChat
  • Определять направления развития архитектуры pretrain-моделей
  • Проектировать флагманские модели с учетом architecture decisions
  • Работать над MoE-архитектурой, обеспечивать балансировку экспертов
  • Проводить эксперименты для масштабирования и принимать решения по структуре моделей
  • Разрабатывать и внедрять метрики для оценки архитектурных изменений
  • Анализировать нестабильность архитектурных решений на больших прогонах
  • Руководить командой исследователей и инженеров, поддерживать высокие стандарты качества
  • В писать ключевой код и справляться с неопределенностью в экспериментальной работе

Условия

  • Гибридный или офисный формат работы
  • Ежегодный пересмотр зарплаты и годовая премия
  • Корпоративный спортзал и зоны отдыха
  • Доступ к более 400 образовательным программам СберУниверситета
  • Расширенный ДМС и льготное страхование для семьи
  • Корпоративная пенсионная программа

Похожие вакансии

Как получить эту работу — с ИИ-помощником РаботаМакс

Бесплатно поможем на каждом шаге. Нажмите, чтобы раскрыть.