Технический лидер DWH
Вакансия опубликована на hh.ru — открыть оригинал ↗
Похожие вакансии
Все вакансии →Инженер DWH
Разработка и проектирование ETL-процессов и модулей для хранилищ данных (DWH) на проекте крупного российского банка. Стек: SQL, Python, Apache Spark, Hadoop/S3, Apache Airflow, Parquet/ORC; плюсом Apache Iceberg и Kafka. Также код-ревью, документация, внедрение стандартов разработки и поддержка команды сопровождения.
Data Engineer
Ищем опытного Data Engineer для разработки и развития корпоративного хранилища данных: проектирование ETL/ELT-потоков, создание витрин, оптимизация SQL-запросов на PL/pgSQL и развитие архитектуры DWH. Требуется практический опыт с экосистемой Hadoop (HDFS, YARN, Spark, Kafka, NiFi), Greenplum или PostgreSQL и ETL-инструментами (SAS DI, Informatica PowerCenter). Формат работы — можно удалённо, полная занятость, уровень Senior.
Tech Lead Data engineer
Команда строит единое хранилище данных блока B2C Сбера на базе экосистемы Hadoop с развитием в сторону Data Lakehouse (Apache Iceberg) и Data Streamhouse (Kafka, Apache Flink). Роль включает проектирование и оптимизацию ETL/ELT-пайплайнов на Spark и Greenplum, потоковую обработку RT/NRT-данных, разработку API на Java/Scala и внедрение решений в прод с CI/CD в Jenkins. Требуется глубокий опыт с Spark, Hadoop, Kafka, Iceberg и стриминговыми фреймворками.
Middle Data Engineer (онлайн-кинотеатр КИОН)
Разработка и рефакторинг ETL/ELT пайплайнов на PySpark, поддержка OLAP-движков Starrocks/ClickHouse и миграция с HDFS на S3 в lakehouse-платформе онлайн-кинотеатра KION (экосистема МТС). Требуется Python от 3 лет, глубокий SQL, опыт с Airflow, колоночными БД и принципами построения DWH/Data Lake.