Инженер по обеспечению надежности данных (Senior DataOps/Big Data Infrastructure Engineer)
Чем предстоит заниматься:
Развивать и сопровождать текущую дата-платформу (Hadoop, Oracle, Vertica)
Участвовать в построении Lakehouse-платформы на базе Yandex Cloud
Проектировать, разворачивать и сопровождать платформенные сервисы для обработки, хранения, оркестрации и доступа к данным.
Автоматизировать эксплуатацию и развертывание инфраструктуры с использованием Terraform, Ansible, Helm и GitOps-подходов.
Развивать Kubernetes-контур дата-платформы: workloads, операторы, изоляцию окружений, управление ресурсами, storage, ingress, секреты, мониторинг и диагностику проблем.
Поддерживать и развивать системы оркестрации и выполнения data-пайплайнов: Airflow, Spark, Trino, JupyterHub и связанные компоненты.
Развивать мониторинг и алертинг дата-платформы: доступность сервисов, задержки, ошибки, утилизация ресурсов, состояние пайплайнов, свежесть и качество данных.
Участвовать в построении практик DataOps: проверка схем, контроль миграций, контроль качества и свежести данных, воспроизводимость поставки данных, управление изменениями.
Обеспечивать надежную эксплуатацию платформенных компонентов в гибридной инфраструктуре.
Оптимизировать производительность, устойчивость и стоимость инфраструктуры данных.
Взаимодействовать с командами DE, DWH, Analytics, DS, MLOps, GenAIOps по вопросам стабильности, масштабируемости и развития дата-платформы.
Исследовать новые инструменты и подходы в области DataOps, Lakehouse и Data Platform Engineering, оценивать их применимость и внедрять там, где это повышает надежность, скорость разработки или эффективность платформы.
Мы ожидаем:
Опыт промышленной эксплуатации дата-платформ, распределенных систем хранения или обработки данных.
Понимание архитектуры современных платформ данных: DWH, Data Lake, Lakehouse, OLAP, batch-обработка, оркестрация пайплайнов и сервисы доступа к данным.
Опыт работы с системами обработки и доступа к данным: Airflow, Spark, Trino, JupyterHub или аналогичными решениями.
Уверенный опыт работы с Linux: настройка, мониторинг, диагностика сетевых, файловых, ресурсных и производительных проблем.
Опыт работы с Kubernetes, Helm и Docker в production окружениях.
Опыт описания и автоматизации инфраструктуры на базе IaC: Terraform, Ansible, Helm, GitOps-подходы.
Опыт работы с системами контроля версий и организации CI/CD: GitLab, Bitbucket, Bamboo или аналогичными решениями.
Уверенное владение Python или другим языком для автоматизации, разработки внутренних инструментов и интеграций.
Уверенный опыт работы с SQL и понимание принципов оптимизации запросов в аналитических системах.
Понимание принципов эксплуатации распределенных систем: отказоустойчивость, масштабирование, балансировка нагрузки, управление ресурсами, резервирование и восстановление.
Опыт настройки мониторинга и алертинга: Prometheus Stack, Grafana, Alertmanager, логи, метрики и технические дашборды.
Опыт безопасной работы с секретами, токенами, сертификатами и чувствительными данными.
Мы предлагаем:
- ДМС со стоматологией, телемедициной и программой поддержки ментального здоровья;
- Страхование жизни;
- Ежемесячные промокоды на Lamoda: два по 25%, два по 15% и в день рождения — 40%;
- Программа привилегий и скидок от BestBenefits;
- До 15 дней больничного в год оплачиваем в размере 100% от действующего оклада;
- Бесплатные юридические консультации;
- Дополнительные выходные в случае важных событий;
- Яркие мероприятия и много неформального общения.
Развитие для каждого:
- Опытный наставник для каждого новичка;
- Обучение и участие во внешних конференциях;
- Помогаем развивать личный бренд, выступать на конференциях и писать статьи;
- Performance Review дважды в год, чтобы развиваться системно;
- Проводим митапы и demo-дни для обмена знаниями;
- Погружаем в fashion и каждый сезон знакомим с модными трендами.
Откликайтесь
Хочу работать в Lamoda!
Выбирай подходящую вакансию в подразделении ИТ, отправляй нам своё резюме и стань частью команды Lamoda.