Альфа-Банк

Старший разработчик Big Data

Москвапроектная работаНе указано

Загрузи резюме, чтобы повысить шансы пройти на вакансию «Старший разработчик Big Data»Разберём резюме ИИ и покажем, что доработать — здесь же, не уходя со страницы

О компании

Альфа-Банк является одним из ведущих банков в России, предоставляющим широкий спектр финансовых услуг для частных и корпоративных клиентов. Банк активно использует современные технологии для оптимизации своих сервисов и обеспечивает высокий уровень обслуживания на основе инновационных решений.

Ключевые факты:

  • Основание: 1990 год
  • Число клиентов: более 17 миллионов
  • Продукты: кредиты, вклады, инвестиции, страхование, интернет-банкинг
  • Размер команды: более 20 000 сотрудников
  • Доля на рынке: один из крупнейших банков страны

О вакансии

Команда, занимающаяся разработкой в Альфа-Банке, активно работает над проектами в области Big Data. Основное направление работы включает миграцию существующей системы Datalake с платформы Hadoop на новые технологии, такие как MinIO и Apache Iceberg. При этом задействуются современные инструменты, включая Apache Airflow для управления потоками данных и Kubernetes для контейнеризации приложений.

Ключевой проект заключается в миграции Datalake с Hadoop-Hive-Oozie на MinIO-Iceberg-Airflow, что требует наличия глубоких технических знаний и умения управлять процессами разработки. Специалист будет работать в тесном сотрудничестве с проджект-менеджером и главными техническими специалистами, обеспечивая наставничество и поддержку команды.

Чем предстоит заниматься:

  • Участвовать в миграции данных с использования Hadoop на MinIO и Apache Iceberg
  • Лидировать и координировать команду, управляя процессами и техническими аспектами
  • Взаимодействовать с проектными менеджерами для обеспечения выполнения задач
  • Оказывать технические консультации для сотрудников смежных подразделений и заказчиков
  • Разрабатывать документацию и решения совместно с командой, участвовать в тестировании

Что мы предлагаем:

  • Работа в передовой команде в области Big Data
  • Участие в инновационных проектах, связанных с миграцией данных
  • Наставничество и возможность роста в карьере внутри компании

Обязанности

  • Участвовать в миграции данных с Hadoop на MinIO и Apache Iceberg
  • Лидировать команду по техническим и процессным аспектам
  • Совместно с проектным менеджером управлять работами команды
  • Обеспечивать технические консультации по работе программного обеспечения
  • Участвовать в тестировании и разработке документации для решений

Требования

  • Всё о работе
  • Приведи друга
  • В процессе миграция с: Hadoop (Oozie, Hive, YARN), данные в Parquet и ORC, Spark, Scala и Python
  • Мигрируем в: MinIO + Apache Iceberg, Airflow с внутренним управляющим механизмом, Kubernetes, данные в Parquet, Spark
  • Также работаем с: Kafka, различные API, Tarantool, Oracle, Greenplum
  • Git, Confluence, Jira, CI/CD
  • Главный проект – миграция Datalake с Hadoop-Hive-Oozie на MinIO-Iceberg-Airflow
  • Совместно с проджект-менеджером и главным техлидом управлять работами команды
  • Лидировать команду по техническим и процессным аспектам, обеспечивать наставничество, участвовать в проработке стандартов разработки, связанных с ней методологий и документирования
  • Обеспечивать технические консультации по работе ПО для: сопровождения системы, смежных подразделений, заказчикам
  • Обеспечивать помощь сопровождению в стабилизации работы ПО в проде
  • Вместе с командой разрабатывать решения и документацию для них, принимать участие в тестировании
  • Опыт работы в разработке ПО: от 6 лет
  • Опыт работы в стеке BigData: от 3х лет
  • Отличные знания Apache Spark и опыт работы с ним
  • Отличные знания Apache Hive или Apache Iceberg и опыт работы с ними
  • Хорошие знания Apache Airflow и опыт работы с ним
  • Хорошее владение SQL (вложенные запросы, pivot-ы) и опыт работы с данными на нём
  • Хорошее владение Python или Scala и опыт работы с ними
  • Умение работать с командной строкой ОС семейства Linux

Похожие вакансии

Как получить эту работу — с ИИ-помощником РаботаМакс

Бесплатно поможем на каждом шаге. Нажмите, чтобы раскрыть.