Data Engineer | Администратор DWH

JACOBS DOUWE EGBERTS (JDE) — международная компания в сегменте food & beverage, известная брендами кофе и чая. В рамках технологических задач JDE регулярно развивает и поддерживает корпоративные контуры данных и аналитической инфраструктуры, где важны качество поставок данных, стабильность ETL/ELT процессов и управляемая модель доступа в хранилищах.

Ключевые факты:

• Проектная работа по разовой задаче с возможностью последующего ежемесячного технического сопровождения
• Стек хранилищ и оркестрации: ClickHouse, PostgreSQL и Airflow (SaaS-версия)
• Локация команды/проекта: Москва (район Маяковская/Новослободская)
• Зона ответственности: DWH-пайплайны, слои ODS/DDS/витрины, права доступа

Команда JDE ищет специалиста уровня Data Engineer, который возьмёт на себя администрирование DWH и приведёт в порядок ключевые участки поставок данных. Проект разовый, но по итогам возможен переход на регулярное ежемесячное сопровождение — чтобы обеспечить стабильность пайплайнов и быстро реагировать на инциденты.

В фокусе роли — аудит текущих проблем в данных и процессах, дальнейшая настройка и отладка оркестрации в Airflow (SaaS), а также укрепление хранилищ ClickHouse и PostgreSQL. Важно не просто «починить DAG», а выстроить устойчивый end-to-end поток: от источников до слоёв ODS/DDS/витрин.

Вы будете взаимодействовать с задачами, связанными с нагрузкой и моделью хранения: sizing, оптимизация запросов, индексов, движков, партиций и предикатов. Отдельный блок — безопасность: ролевая модель и разграничение прав в ClickHouse и PostgreSQL в соответствии с политиками компании.

Чем предстоит заниматься:

• Провести аудит текущего состояния поставок данных и выявить первопричины ошибок
• Настроить и отладить DAG’и в Airflow (SaaS), включая работу с соединениями и мониторингом
• Обновить Airflow до актуальной версии и скорректировать конфигурации
• Пересобрать стабильный процесс доставки данных в ClickHouse и PostgreSQL
• Выполнить sizing и проработать оптимизацию запросов, индексов и структур хранения
• Привести логику наполнения слоёв ODS/DDS/витрин к единому подходу
• Оптимизировать схемы в ClickHouse (движки, партиции, предикаты) и в PostgreSQL
• Настроить и привести к политике безопасности роли/пользователей и доступы в хранилищах

Что мы предлагаем:

• Проектную разовую работу с оплатой по договорённости после брифинга
• Гибкий график в рамках проекта
• Чёткое ТЗ и согласованный план работ на старте
• Возможность перейти на ежемесячное техническое сопровождение по подписке/поддержке