Spark разработчик

Иннотехнум, Группа компаний

Город:

Краснодар

Занятость:

Полная занятость

Опыт:

Нет опыта

Компания "Иннотехнум, Группа компаний"

Вместе с нами ты будешь:

Участие в проектах связанных с хранением, обработкой и анализом данных в роли разработчика;
Разработка приложения для построения витрин данных с использование фреймворка Apache Spark;
Оптимизация и доработка текущих приложений написанных на Apache Spark;
Взаимодействие с заказчиками и аналитиками в процессе проектирования и реализации задач;
Разработка пайплайнов загрузки данных в Airflow.

Какие знания и навыки для нас важны:

Высшее образование (Техническое/ИТ);
Желателен опыт работы от полугода с одной из указанных СУБД: Oracle/Postgres/DB2/Arenadata DB/GreenPlum;
Опыт разработки витрин данных DWH с использованием Apache Spark (обязательно);
Понимание принципов распределенной обработки данных (опыт работы с кластером hadoop приветствуется);
Опыт разработки с использованием инструментария экосистемы BigData (Hadoop, Spark/Spark SQL, Airflow);
Обязателен опыт разработки на одном из языков: Scala(предпочтительнее), Java, Python;
Уверенное знание алгоритмов, структур данных и SQL;
Знания Kafka приветствуется;
Понимание подходов к организации разработки (CI/CD, DEVops) приветствуется.