Инженер Dev Ops (Kafka) /Kafka Engineer

Компания МАГНИТ представляет собой крупную розничную сеть в России, предлагающую разнообразные товары и услуги. Она активно развивает свои технологии, включая платформенные решения на базе Kafka, чтобы улучшить качество обслуживания клиентов и автоматизировать внутренние процессы. МАГНИТ находится в числе ведущих игроков на российском рынке розничной торговли и продолжает расширять свои инновационные возможности.

Ключевые факты:

• Основана в 1994 году
• Более 20 000 сотрудников
• Широкая сеть магазинов по всей России
• Фокус на цифровизации и автоматизации процессов

В команде потоковых данных компании МАГНИТ открыта позиция инженера DevOps с фокусом на технологии Kafka. Наша команда занимается разработкой и поддержкой платформенных решений, которые обеспечивают отказоустойчивость и доступность Kafka-инфраструктуры. Мы стремимся к автоматизации процессов управления жизненным циклом кластеров и созданию внутренних инструментов для оптимизации работы с платформой.

В trabajo важно уделять внимание стабильности и производительности кластеров, что включает диагностику и дебаг Kafka и Kafka Connect. Команда также активно работает над мониторингом, настройкой алертов и дашбордов, используя инструменты VictoriaMetrics, Alertmanager и Grafana. Мы ожидаем, что новый инженер внесет свой вклад в миграцию данных между кластерами, обеспечивая бесперебойную работу сервисов.

Чем предстоит заниматься:

• Обеспечивать отказоустойчивость, стабильность и доступность кластеров Kafka и Kafka Connect
• Развивать и поддерживать платформенное решение на базе Kafka и Kafka Connect
• Конфигурировать и сопровождать коннекторы MirrorMaker2, Debezium и другие Kafka Connect-коннекторы
• Заниматься диагностикой и дебагом Kafka, Kafka Connect и связанных инфраструктурных компонентов
• Автоматизировать развертывание, конфигурирование и масштабирование кластеров с помощью Ansible
• Развивать внутренние инструменты для автоматизации жизненного цикла Kafka-инфраструктуры
• Настраивать мониторинг, алертинг и дашборды с использованием VictoriaMetrics, Alertmanager и Grafana
• Участвовать в миграции данных между кластерами и обеспечивать ее без простоя сервисов
• Консультировать команды разработки по лучшим практикам работы с Kafka и настройке producers / consumers

Что мы предлагаем:

• Работа в крупной и динамично развивающейся компании
• Участие в проектах, связанных с современными технологиями
• Возможность профессионального развития и повышения квалификации