Разработка
Ведущий разработчик (hadoop)
г. Санкт-Петербург
Опыт работы: 3-6 лет
В связи с увеличением портфеля проектов и расширением задач нам требуется Ведущий разработчик Hadoop
Наш стек
- Hadoop (HDFS, Kafka, Hive)
- ETL Talend
- Java, Scala, Python
- RDBMS: MSSQL Server и PostgreSQL
- BI: QlikView, Power BI
- Docker, Kubernetes
Задачи
- Развитие озёра данных на базе Hadoop: проектирование озёра данных, написание пайплайнов для подключения новых источников, написание интеграционных механизмов, в том числе для передачи данных в DWH, реализация механизмов параллельной обработки данных на базе Hadoop.
Требования
- Опыт работы с Hadoop и его экосистемой Hive, Spark, Kafka, Airflow и т.д.
- Знание SQL
- Опыт программирования на Java, Scala, Python
- Отличное понимание процессов ETL/ELT и как их применять
- Понимание принципов CI/CD
- Широкий кругозор в технологиях хранения, обработки и анализа данных (СУБД, ETL-инструменты, BI-решения и т.д.)
- Аналитический склад ума
Будет преимуществом
- Опыт в администрировании Linux;
- Опыт работы с RDBMS: MSSQL Server и/или PostgreSQL;
- Опыт работы с ETL Talend;
- Опыт работы с Docker, Kubernetes;
- Опыт в областях: машинное обучение, интеллектуальный анализ данных, рекомендательные системы
Условия
- Бесценный опыт работы над интересными проектами в сильной команде экспертов.
- Достойный уровень заработной платы, официальное оформление, социальные гарантии.
- Комфортные условия: гибкий график работы, свободный дресс-код, кофе-поинты на каждом этаже с чаем/какао/кофе, игровая зона для активных перерывов, спортзал в офисе.
- Бизнес центр класса «А» (Московский проспект, м. Фрунзенская), полная инфраструктурная обеспеченность: паркинг, несколько точек общественного питания, кафетерий, вендинговые аппараты