Senior Big Data Engineer

Чем предстоит заниматься:

Мы в поиске Старшего Инженера по работе с большими данными в направление дата инжиниринга, который поможет нам развивать платформу данных следующего поколения и обеспечивать масштабируемую аналитику для e-commerce.

• Разрабатывать и развивать платформу данных Lamoda для e-commerce нового поколения;
• Проектировать и разрабатывать инструменты для создания ETL пайплайнов на Airflow для Spark, Hive, Trino;
• Работать со стриминговыми процессами (Spark Streaming, Kafka);
• Оптимизировать существующие пайплайны и джобы на Spark - мониторить с помощью Graphana и Prometheus нагрузку на кластер и оптимальность затрачиваемых джобами ресурсов и если необходимо оптимизировать;
• Взаимодействовать с продуктовыми аналитиками, помогать оптимизировать сложные SQL запросы, формировать культуру работы с данными;
• Анализировать и внедрять инструменты инжиниринга данных.

Мы ожидаем:

• Опыт работы со Spark, включая Structured Streaming;
• Уверенное владение Python и Scala/Java;
• Опыт работы с S3-подобными хранилищами (например, Yandex Cloud);
• Опыт работы с Docker и Kubernetes;
• Опыт написания юнит/интеграционных тестов;
• Знание SQL и опыт оптимизации запросов;
• Опыт работы с Kafka.

Как плюс:

• Опыт работы со стеком Hadoop (YARN, HDFS, Hive);
• Опыт использования Apache Iceberg;
• Опыт написания CI/CD пайплайнов (GitLab CI);
• Опыт работы с MPP СУБД (ClickHouse);
• Опыт внедрения каталогов данных и data governance (например, OpenMetadata).

Мы предлагаем:

• ДМС со стоматологией, телемедициной и программой поддержки ментального здоровья;
• Страхование жизни;
• Ежемесячные промокоды на Lamoda: два по 25%, два по 15% и в день рождения — 40%;
• Программа привилегий и скидок от BestBenefits;
• До 15 дней больничного в год оплачиваем в размере 100% от действующего оклада;
• Бесплатные юридические консультации;
• Дополнительные выходные в случае важных событий;
• Яркие мероприятия и много неформального общения.

Развитие для каждого:

• Опытный наставник для каждого новичка;
• Обучение и участие во внешних конференциях;
• Разговорный английский клуб и онлайн-библиотека MyBook;
• Помогаем развивать личный бренд, выступать на конференциях и писать статьи;
• Performance Review дважды в год, чтобы развиваться системно;
• Проводим митапы и demo-дни для обмена знаниями;
• Погружаем в fashion и каждый сезон знакомим с модными трендами.