Data Engineer (ETL-миграция)

Top Selection представляет собой группу компаний, специализирующуюся на трудоустройстве специалистов в IT-сфере на проектную занятость. Компания активно работает с крупными заказчиками, помогая находить высококвалифицированные кадры для реализации разнообразных проектов. В данный момент она открыт для поиска опытных специалистов, таких как Data Engineer, для участия в значительных миграционных проектах.

Ключевые факты:

• Основатель: Марина
• Специализация: трудоустройство IT специалистов
• Направление: проектная занятость
• Фокус: миграция ИС на Apache стек

Команда Top Selection ищет опытного Data Engineer, который будет заниматься ETL-миграцией информационных систем. Ваша основная задача будет заключаться в миграции ETL-системы телеком-оператора с Oracle/Informatica на более современный Apache стек. Это подразумевает работу с такими технологиями, как S3, Apache Airflow, NiFi, Kafka и Greenplum.

Вы будете не только переносить бизнес-логику, но и заниматься проектированием архитектур, разрабатывать сложные SQL-запросы и создавать пайплайны для обработки больших объемов данных. Важно будет поддерживать мониторинг и анализировать качество данных, а также проводить Code review в рамках ваших задач.

Чем предстоит заниматься:

• Миграция ETL-системы с Oracle/Informatica на Apache стек
• Оптимизация SQL-кода для витрин данных и ETL-процессов
• Разработка DAG-ов в Airflow
• Настройка источников и приемников в NiFi
• Разработка Spark-джобов (PySpark)
• Интеграция с Kafka для потоковой передачи данных
• Мониторинг с использованием Grafana/Prometheus
• Код-ревью

Что мы предлагаем:

• Работа в команде профессионалов IT сферы
• Участие в интересных и высоконагруженных проектах
• Возможности для применения и улучшения своих навыков
• Гибкий график работы