Lamoda Group – это крупнейшая в России и СНГ онлайн-платформа по продаже fashion & lifestyle товаров.

Мы в поиске Инженера по работе с большими данными в направление дата инжиниринга, который будет участвовать в значимых для инфраструктуры данных в Lamoda проектах:

• Миграция данных в облако - ключевой проект, который реализует вся команда.
• Развитие единой дата платформы – self service каталог для пользователей, который позволяет автоматически получать информацию о том, где лежат данные, как их найти, кто владелец.
• Проработка архитектуры для A/B системы и других задач R&D направления – проектирование новых решений для оптимизации, анализ и подбор инструментов.

• Разрабатывать и создавать лучшую на рынке платформу данных электронной коммерции нового поколения;
• Проектировать и разрабатывать ETL пайплайнов на Airflow для Spark, Streaming, Hive, Trino etl;
• Оптимизировать действующие пайплайны и джобы на Spark - мониторить нагрузку на кластер и оптимальность затрачиваемых джобами ресурсов и если необходимо оптимизировать;
• Обеспечивать качество данных в разных системах, проектировать платформу Data Quality - предоставлять заказчикам данных платформу quality чеков, мониторинга и алертинга о текущем состоянии данных;
• Взаимодействовать с аналитиками и ML специалистами для создания/развертывания инструментов и наборов данных, соответствующих их вариантам использования - поддерживать регулярные связи с другими командами для развития платформы AB тестов и MLOps;
• Анализировать и внедрять инструменты инжиниринга данных;
• Проектировать хранилища данных на основе Hadoop, настраивать производительность, мониторинг, планировать емкости кластера Hadoop и другой инфраструктуры - думать над тем что и как грузить и в каких партициях;
• Решать задачи, связанные с внедрением облачной инфраструктуры - разрабатывать новую архитектуру хранилища в рамках текущего переезда в облако.

• Опыт работы со стеком Hadoop (YARN, HDFS, HBase, Hive);
• Опыт работы в Spark;
• Знание систем контроля версий (git);
• Опыт работы с Python;
• Хорошее понимание СУБД, SQL;
• Страсть к инженерным наукам и информатике вокруг данных.

• Опыт работы с Docker, Kubernetes;
• Опыт с Kafka;
• Опыт с облачными технологиями (AWS, GCP, Yandex);
• Опыт с Clickhouse, Greenplum.