НАЗАД
Data engineer
Москва
Tech
Data engineer
Москва
Tech
Описание:

Lamoda Group – это крупнейшая в России и СНГ онлайн-платформа по продаже fashion & lifestyle товаров.

Мы в поиске Инженера по работе с большими данными в направление дата инжиниринга, который будет участвовать в значимых для инфраструктуры данных в Lamoda проектах:

Миграция данных в облако – ключевого проекта, который реализует вся команда.

Развитие единой дата платформы – self service каталог для пользователей, который позволяет автоматически получать информацию о том, где лежат данные, как их найти, кто владелец.

Проработка архитектуры для A/B системы и других задач R&D направления – проектирование новых решений для оптимизации, анализ и подбор инструментов.

Чем предстоит заниматься:
  • Разрабатывать и создавать лучшую на рынке платформу данных электронной коммерции нового поколения;
  • Проектировать и разрабатывать ETL пайплайнов на Airflow для Spark, Streaming, Hive, Trino etl;
  • Оптимизировать действующие пайплайны и джобы на Spark - мониторить нагрузку на кластер и оптимальность затрачиваемых джобами ресурсов и если необходимо оптимизировать;
  • Обеспечивать качество данных в разных системах, проектировать платформу Data Quality - предоставлять заказчикам данных платформу quality чеков, мониторинга и алертинга о текущем состоянии данных;
  • Взаимодействовать с аналитиками и ML специалистами для создания/развертывания инструментов и наборов данных, соответствующих их вариантам использования - поддерживать регулярные связи с другими командами для развития платформы AB тестов и MLOps;
  • Анализировать и внедрять инструменты инжиниринга данных;
  • Проектировать хранилища данных на основе Hadoop, настраивать производительность, мониторинг, планировать емкости кластера Hadoop и другой инфраструктуры - думать над тем что и как грузить и в каких партициях;
  • Решать задачи, связанные с внедрением облачной инфраструктуры - разрабатывать новую архитектуру хранилища в рамках текущего переезда в облако.
Мы ожидаем:
  • Опыт работы со стеком Hadoop (YARN, HDFS, HBase, Hive);
  • Опыт работы в Spark;
  • Знание систем контроля версий (git);
  • Опыт работы с Python;
  • Хорошее понимание СУБД, SQL;
  • Страсть к инженерным наукам и информатике вокруг данных.

И как плюс: 

  • Опыт работы с Docker, Kubernetes;
  • Опыт с Kafka;
  • Опыт с облачными технологиями (AWS, GCP, Yandex);
  • Опыт с Clickhouse, Greenplum.
Мы предлагаем:
  • Гибкий график работы: можно самостоятельно планировать время, нам важен сам результат;
  • Работаем в гибридном режиме — можно приезжать в офис или работать из дома;
  • ДМС с первого месяца, со стоматологией и чек-апом здоровья раз в год;
  • Бесплатные сессии с коучами и психологами, которые помогут с определением профессиональных целей и поиском баланса между работой и личной жизнью;
  • Оплата участия в профессиональных конференциях, также организуем мероприятия, куда можно ходить и спикером, и зрителем, где сотрудники обмениваются опытом от технических тем до путешествий и бизнеса;
  • Ноутбук и другая необходимая техника для работы, частичная компенсация для организации рабочего места дома;
  • Ежемесячные промокоды на Lamoda до 25%;
  • Корпоративная программа привилегий PrimeZone со скидками от партнеров;
  • Офис на Полежаевской с йогой, тренажерным залом и капсулой сна, а также коворкинг в центре Санкт-Петербурга.