Senior Big Data Engineer

Чем предстоит заниматься:

Разрабатывать и совершенствовать лучшую на рынке платформу данных электронной коммерции нового поколения;

Проектировать и разрабатывать ETL пайплайны на Airflow для Spark (Batch, Streaming), Iceberg, Trino;

Оптимизировать действующие пайплайны и джобы на Spark - мониторить нагрузку на кластер и оптимальность затрачиваемых джобами ресурсов и если необходимо оптимизировать;

Взаимодействовать с аналитиками и ML специалистами для создания/развертывания инструментов и наборов данных, соответствующих их вариантам использования - поддерживать регулярные связи с data ops для развития дата-платформы;

Анализировать и внедрять инструменты инжиниринга данных (Lineage, DQ);

Проектировать хранилища данных на основе k8s, настраивать производительность, мониторинг, планировать емкости кластера и другой инфраструктуры - думать над тем что и как грузить и в каких партициях;

Решать задачи, связанные с внедрением облачной инфраструктуры - разрабатывать новую архитектуру хранилища

Проводить code review и принимать участие в архитектурных решениях по дата платформе в команде.

Мы ожидаем:

Kubernetes - понимание ресурсной модели, просмотр конфигураций, troubleshooting.

Опыт работы с Hadoop (HDFS, Hive Metastore)

Опыт работы со Spark (spark SQL, streaming, понимание ньюансов работы с pyspark);

Apache Icberg – владение процедурами, snapshots, maintenance

Глубокое понимание Airflow (2, 3) – идемпотентность, assets, backfills

Уверенное знание Git, CI/CD;

Python, Scala/Java – ООП, проектирование библиотек, интеграционные/юнит тесты;

Хорошее понимание СУБД, SQL;
Опыт работы с Docker (уверенное владение для поднятия локального окружения проекта);

Опыт работы с Kafka – понимание архитектуры и слабых мест;

Опыт с облачными технологиями: преимущественно Yandex Cloud;

Опыт с Clickhouse.

AI-native подход к разработке: активное использование Claude Code / Codex и подобных инструментов, опыт построения harness-систем — агентов с инструментами, автоматизации через LLM, RAG.

Мы предлагаем:

• ДМС со стоматологией, телемедициной и программой поддержки ментального здоровья;
• Страхование жизни;
• Ежемесячные промокоды на Lamoda: два по 25%, два по 15% и в день рождения — 40%;
• Программа привилегий и скидок от BestBenefits;
• До 15 дней больничного в год оплачиваем в размере 100% от действующего оклада;
• Бесплатные юридические консультации;
• Дополнительные выходные в случае важных событий;
• Яркие мероприятия и много неформального общения.

Развитие для каждого:

• Опытный наставник для каждого новичка;
• Обучение и участие во внешних конференциях;
• Помогаем развивать личный бренд, выступать на конференциях и писать статьи;
• Performance Review дважды в год, чтобы развиваться системно;
• Проводим митапы и demo-дни для обмена знаниями;
• Погружаем в fashion и каждый сезон знакомим с модными трендами.