Разработчик ETL
Компания: АО "НЕОФЛЕКС КОНСАЛТИНГ"
Локация: Саратовская область
О компании
АО "НЕОФЛЕКС КОНСАЛТИНГ" — компания, специализирующаяся на предоставлении консультационных услуг в области информационных технологий и систем. Они работают с современными инструментами обработки данных и стремятся к внедрению инновационных решений, что позволяет клиентам оптимизировать процессы и повышать их эффективность.
Ключевые факты:
- Поиск и анализ данных
- Оптимизация бизнес-процессов
- Разработка программного обеспечения
- Консультирование в области IT
- Проекты в сфере больших данных
О вакансии
Команда разработки ETL процессов в АО "НЕОФЛЕКС КОНСАЛТИНГ" занимается созданием и оптимизацией потоков обработки данных с использованием современных технологий. Работа включает в себя разработку сложных ETL процессов с применением таких инструментов, как Sqoop и PySpark, а также создание надежных пайплайнов в Oozie.
В команде вы будете иметь дело с системами контроля качества данных на Apache Griffin и обрабатывать структурированные данные. Задачи также включают написание скриптов на Bash, исправление багов и поддержание функциональности систем, а также интерактивную работу с системами контроля версий GIT и SVN.
Чем предстоит заниматься:
- Разработка ETL процессов с использованием Sqoop
- Создание потоков обработки данных на PySpark
- Реализация пайплайнов в Oozie
- Контроль качества данных на Apache Griffin
- Написание и отладка Bash скриптов
- Обработка данных в форматах XML/JSON
- Исправление проблем и багов функционала
- Работа с системами контроля версий GIT/SVN
Что мы предлагаем:
- Конкурентоспособная зарплата
- Возможности для профессионального обучения
- Дружелюбная атмосфера в команде
- Интересные проекты и технологии
Обязанности
- Разработка ETL процессов с использованием Sqoop
- Создание потоков обработки данных на PySpark
- Создание пайплайнов в Oozie
- Контроль качества данных на Apache Griffin
- Написание и отладка Bash скриптов
- Обработка структурированных данных (XML/JSON) на Python/PySpark
- Исправление багов и проблем функционала
- Работа с системами контроля версий GIT/SVN