Python-разработчик (Gigadata)

Сбер — один из крупнейших банков России, активно развивающий свои технологии в сфере финансов, включая инновационные решения в области машинного обучения и искусственного интеллекта. Банк предоставляет широкий спектр услуг и продуктов, от персонального banking до сложных инвестиционных решений, и занимает ведущие позиции на российском рынке.

Команда Сбера в области Data Science и AI насчитывает более 600 специалистов, что создает динамичную и увлекательную среду для работы и профессионального развития.

Команда, в которую вы будете работать, отвечает за сбор высококачественных данных, что является ключевым аспектом для обучения современных моделей искусственного интеллекта. Ваша роль будет сосредоточена на проектировании и разработке компонентов сложной распределённой системы массового краулинга, что подразумевает глубокую проработку архитектуры систем и оптимизацию их работы на масштабах с огромным количеством запрашиваемых данных.

Вы будете разрабатывать интеллектуальные crawl-планировщики, заниматься оптимизацией пропускной способности, шардированием и дедупликацией на уровне миллиардов URL, а также обеспечивать отказоустойчивость систем. Это даст вам возможность работать с передовыми технологиями и участвовать в создании решений, которые формируют будущее банковских технологий.

Чем предстоит заниматься:

• Проектирование и разработка ключевых компонентов системы массового краулинга.
• Оптимизация пропускной способности с помощью асинхронного I/O и других методов.
• Разработка и поддержка архитектуры URL-фронтира.
• Создание адаптивных crawl-планировщиков с фокусом на freshness и значимость.
• Реализация механизмов предотвращения crawler-ловушек.
• Проектирование и поддержка пайплайнов обработки данных.
• Обеспечение отказоустойчивости архитектуры.
• Оптимизация использования ресурсов в облаке.
• Разработка систем мониторинга для контроля состояния краулера.
• Работа с геораспределённой инфраструктурой.

Что мы предлагаем:

• Гибкий формат работы: офисный или гибридный.
• Ежегодный пересмотр зарплаты и годовая премия.
• Доступ к более чем 400 образовательным программам СберУниверситета.
• Расширенный ДМС и корпоративная пенсионная программа.
• Корпоративный спортзал и зоны для отдыха.
• Возможность участвовать в НИРах и писать статьи для международных конференций.
• Скидки на продукты компаний-партнеров.
• Вознаграждение за рекомендации знакомых для работы в Сбере.