Data Engineer в Локализацию

Wildberries — это крупная международная технологическая компания, образованная в результате слияния IT-компании Wildberries и оператора наружной рекламы Russ. Она заняла сильные позиции на рынке, предоставляя разнообразные услуги в сфере e-commerce и технологий.

Команда компании активно создает платформу данных для специалистов в области машинного обучения и продуктового анализа, которая охватывает весь процесс работы с данными: от их сбора до хранения и анализа.

Ключевые факты:

• Год основания: неизвестен
• Размер команды: неизвестен
• Ключевые технологии: Greenplum, Hadoop/HDFS, Iceberg, Trino, Airflow, Apache Kafka, Spark, ClickHouse
• Местоположение: Москва

Команда работает над построением надежной платформы данных, обеспечивая поддержку ML-специалистов и продуктовых аналитиков в разработке систем рекомендаций. Проекты охватывают полный цикл обработки данных, что позволяет команде решать комплексные задачи.

Ищем инженера, который не просто выполнит задачи, а станет важной частью команды разработки, внося предложения по улучшению процессов и внедрению новых инструментов. Вы будете заниматься проектированием и реализацией хранилищ данных с акцентом на обработку больших объемов информации.

Чем предстоит заниматься:

• Проектировать и строить хранилища данных на Iceberg, используя Spark/Trino
• Настраивать процессы обеспечения качества данных, включая валидацию и мониторинг
• Внедрять автоматическую генерацию метаданных и профилирование данных
• Разрабатывать feature store для управления признаками на платформе
• Участвовать в создании семантического слоя для унификации бизнес-логики
• Использовать open source инструменты для улучшения проектов

Что мы предлагаем:

• Обучение и развитие в корпоративном университете
• Корпоративный пакет ДМС с разнообразными услугами
• Участие в клубах по интересам (йога, шахматы, футбол и др.)
• Поддержка карьерного и семейного баланса
• Скидки на обучение, страхование и покупки
• Комфортное рабочее пространство с бесплатным питанием