Teamlead Data Engineer

Компания "Группа компаний С7"

ЗАО «Группа компаний С7» (S7 Group) — управляющая компания холдинга S7. Мы занимаемся стратегическим и коммерческим планированием, юридическим сопровождением, управляем и обеспечиваем информационную безопасность, управляем финансами, маркетингом, пиаром и развиваем продажи.

Обладая внутренней IT-экспертизой и инновационным подходом, мы развиваем онлайн-сервисы для путешественников. В приложении и на сайте s7.ru можно не просто купить билет, но и полностью организовать своё путешествие: забронировать отель, взять с собой питомца, купить товары в дорогу. В нашей команде работают талантливые и увлеченные специалисты, которые каждый день создают лучший трэвел-опыт в России.

Сейчас мы находимся в поисках Teamlead Data Engineer в команду Data office S7. В нашей линейке продуктов представлены хранилища, отвечающие за данные по коммерции, флоту, сотрудникам, рейсам и многое другое. Вам предстоит быть участником единой команды, которая занимается их разработкой и руководить ее частью. Мы храним и обрабатываем данные в Vertica и PostgreSQL, оркестрируем ETL процессы в Airflow, загружаем и выгружаем обратно данные в kafka и s3. Вся инфраструктура размещена в kubernetes.

Чем предстоит заниматься:

• Управление командой разработки в продуктах систем класса DWH;
• Распределение задач, ответственность за результат команды;
• Формирование архитектурных решений для решения нестандартных задач;
• Разработка, поддержка и оптимизация ETL процессов для формирования слоя модели данных и витрин данных, а так же загрузки данных систем источников из корпоративной шины данных (kafka, s3);
• Настройка инструментов и фреймворков для обработки и анализа данных;
• Взаимодействие с командой аналитиков по постановке задач и выявлению приоритетов, с командой разработки по технической реализации, со смежными командами (DBA, devops);
• Миграция с легаси решений на новые целевые;

Что ждём от кандидата:

• Экспертное знание SQL;
• Владение одним из языков программирования (Python, Scala, Java);
• Понимание способов моделирования систем класса DWH и компонентов платформы данных;
• Опыт работы с MPP системами (Vertica, Greenplum, Trino), глубокое понимание особенностей работы распределенных вычислений;
• Оркестраторы ETL процессов (Airflow, Dagster);
• Опыт управления командой разработки от 2-3 человек;

Будет плюсом, если знаете и применяли в работе:

• Распределенный брокер Kafka;
• DQ фреймворки (GreatExpectations, Soda, Deeque и т. д.);
• Распределенные объектные хранилища(HDFS, S3);
• Принципы контейнеризации и оркестрации (Docker, Kubernetes);

Мы предлагаем:

• Работать из офиса в самом центре Москвы или выбрать гибридный формат;
• Летать по корпоративным тарифам S7 Airlines. Спойлер: почти бесплатно!

• Заботиться о себе: ДМС после испытательного срока, бесплатные тренировки и безлимитные консультации юристов, психологов и других специалистов;

• Развиваться и расти: обучение по профилю — за наш счет!