Senior Data Engineer (Магнит Маркет)

28 Октября

Партнерские Вакансии

Город:

Краснодар

Занятость:

Полная занятость

Компания "МАГНИТ, Розничная сеть"

Привет!

Мы в поисках Senior Data Engineer на проект построения и развития хранилища данных в направление Магнит Маркета.

Магнит, огромный классический brick-and-mortar ритейлер, врывается на рынок маркетплейсов, запуская свой Магнит Маркет на основе присоединившегося к нам пятого по размеру маркетплейса в России — Kazan Express — и собственной офлайн-инфраструктуры.

Основные задачи — развитие существующего фреймворка загрузки сырьевых данных и построения витрин над ними, развитие дата-каталога, движка Data Quality.

Наша команда - это 5 дата инженеров + аналитик.

Наш стек:

  • Greenplum и Clickhouse как DWH;
  • Airflow как оркестратор задач;
  • Python для дагов и операторов в AF;
  • Debezium как CDC;
  • Yandex Cloud как место работы всех наших сервисов;
  • DBT как основа дата каталога и шаблонизатор SQL.
Чем ты будешь заниматься:
В первые три месяца
  • Погружаться во фреймворки загрузки данных и расчета витрин на основе задач по одному из направлений;
  • Осваиваться в предметной области данных;
  • Проводить code review аналитиков с целью использования ими лучших технических решений и оптимизации производительности.

Когда освоишься

  • Создавать новые паттерны загрузки данных и расчета витрин для дальнейшего переиспользования;
  • Развивать модель данных;
  • Рефакторить текущие процессы, предлагать лучшие практики работы с данными;
  • Самостоятельно вести проекты, нужные бизнесу;
  • Декомпозировать их до понятных технических задач.
Мы ожидаем:
  • Опыт в Greenplum и/или ClickHouse;
  • Знания особенностей MPP систем;
  • Уверенно владеть SQL (оконные функции, партицирование, агрегации, оптимизация запросов, понимание плана запроса);
  • Опыт с Python достаточный для разработки операторов в Airflow (ООП) и написания пайплайнов данных из различных источников;
  • Понимание принципов работы Airflow.

Мы предлагаем:

  • Интересный сложный продукт с большим количеством пользователей;
  • Оформление в аккредитованную ИТ-компанию;
  • Конкурентоспособную заработную плату (обсуждается индивидуально);
  • ДМС со стоматологией;
  • Технику для работы;
  • Наличие корпоративных скидок PRIMEZONE (товары, рестораны, фитнес и тд), программ лояльности, корпоративной библиотеки, курсов;
  • Удаленка, либо у нас есть уютные офисы в Москве, СПб, Краснодаре или Иннополисе :)
Похожие вакансии

13 Ноября

QA Automation Engineer/Автотестировщик( WILIX )

Краснодар

Компания "WILIX" WILIX - аккредитованная IT - компания. Мы создаем корпоративные системы, помогаем компаниям оптимизировать и развивать свой...

Отправить резюме подробнее

14 Ноября

DevOps-инженер( МАГНИТ, Розничная сеть )

Краснодар

Компания "МАГНИТ, Розничная сеть" MagnitTech — это опытная команда IT-специалистов, которая создает экосистему современных цифровых продуктов...

Отправить резюме подробнее

13 Ноября

Главный технолог( МАГНИТ, Розничная сеть )

Краснодар

от 126 000 до 150 000 руб.

Компания "МАГНИТ, Розничная сеть" Мы предлагаем: Работу в ст.Пластуновской , трасса Дон М4 (за белым монастырем, ООО ТД-холдинг)....

Отправить резюме подробнее

14 Ноября

Тестировщик ПО (QA engineer) офис Краснодар

Краснодар

от 100 000 руб.

Компания "ГЛОНАССсофт" ГЛОНАССSoft - один из крупнейших российских производителей и разработчиков оборудования для контроля техники, а также...

Отправить резюме подробнее

11 Ноября

QA Automation Engineer (Python)

Краснодар

Компания "Nexign (АО «Нэксайн»)" Приглашаем в команду NWM QA специалиста для участия в обеспечении качества распределенной высоконагруженных...

Отправить резюме подробнее

Вакансия размещена в отрасли

Информационные технологии / IT / Интернет: