Senior Data Engineer (Магнит Маркет)
28 Октября 2024
Город:
Краснодар
Занятость:
Полная занятость
Компания "МАГНИТ, Розничная сеть"
Привет!
Мы в поисках Senior Data Engineer на проект построения и развития хранилища данных в направление Магнит Маркета.
Магнит, огромный классический brick-and-mortar ритейлер, врывается на рынок маркетплейсов, запуская свой Магнит Маркет на основе присоединившегося к нам пятого по размеру маркетплейса в России — Kazan Express — и собственной офлайн-инфраструктуры.
Основные задачи — развитие существующего фреймворка загрузки сырьевых данных и построения витрин над ними, развитие дата-каталога, движка Data Quality.
Наша команда - это 5 дата инженеров + аналитик.
Наш стек:
- Greenplum и Clickhouse как DWH;
- Airflow как оркестратор задач;
- Python для дагов и операторов в AF;
- Debezium как CDC;
- Yandex Cloud как место работы всех наших сервисов;
- DBT как основа дата каталога и шаблонизатор SQL.
- Погружаться во фреймворки загрузки данных и расчета витрин на основе задач по одному из направлений;
- Осваиваться в предметной области данных;
- Проводить code review аналитиков с целью использования ими лучших технических решений и оптимизации производительности.
Когда освоишься
- Создавать новые паттерны загрузки данных и расчета витрин для дальнейшего переиспользования;
- Развивать модель данных;
- Рефакторить текущие процессы, предлагать лучшие практики работы с данными;
- Самостоятельно вести проекты, нужные бизнесу;
- Декомпозировать их до понятных технических задач.
- Опыт в Greenplum и/или ClickHouse;
- Знания особенностей MPP систем;
- Уверенно владеть SQL (оконные функции, партицирование, агрегации, оптимизация запросов, понимание плана запроса);
- Опыт с Python достаточный для разработки операторов в Airflow (ООП) и написания пайплайнов данных из различных источников;
- Понимание принципов работы Airflow.
Мы предлагаем:
- Интересный сложный продукт с большим количеством пользователей;
- Оформление в аккредитованную ИТ-компанию;
- Конкурентоспособную заработную плату (обсуждается индивидуально);
- ДМС со стоматологией;
- Технику для работы;
- Наличие корпоративных скидок PRIMEZONE (товары, рестораны, фитнес и тд), программ лояльности, корпоративной библиотеки, курсов;
- Удаленка, либо у нас есть уютные офисы в Москве, СПб, Краснодаре или Иннополисе :)
Зарегистрируйтесь или войдите, чтобы открыть контакты работодателя
Прикрепите резюме для отклика
Уже с нами?
Войдите, чтобы отправить резюме
13 Ноября
QA Automation Engineer/Автотестировщик( WILIX )
Краснодар
Компания "WILIX" WILIX - аккредитованная IT - компания. Мы создаем корпоративные системы, помогаем компаниям оптимизировать и развивать свой...
14 Ноября
DevOps-инженер( МАГНИТ, Розничная сеть )
Краснодар
Компания "МАГНИТ, Розничная сеть" MagnitTech — это опытная команда IT-специалистов, которая создает экосистему современных цифровых продуктов...
13 Ноября
Главный технолог( МАГНИТ, Розничная сеть )
Краснодар
от 126 000 до 150 000 руб.
Компания "МАГНИТ, Розничная сеть" Мы предлагаем: Работу в ст.Пластуновской , трасса Дон М4 (за белым монастырем, ООО ТД-холдинг)....
14 Ноября
Тестировщик ПО (QA engineer) офис Краснодар
Краснодар
от 100 000 руб.
Компания "ГЛОНАССсофт" ГЛОНАССSoft - один из крупнейших российских производителей и разработчиков оборудования для контроля техники, а также...
11 Ноября
QA Automation Engineer (Python)
Краснодар
Компания "Nexign (АО «Нэксайн»)" Приглашаем в команду NWM QA специалиста для участия в обеспечении качества распределенной высоконагруженных...
Вакансия размещена в отрасли