Middle Data Engineer
Вакансия опубликована на hh.ru — открыть оригинал ↗
Похожие вакансии
Все вакансии →Data engineer
Разработка и поддержка дата-платформы банка в архитектуре Data Lakehouse на Hadoop: витрины данных, ETL/CTL на Spark и Oozie, NRT-пайплайны на Kafka. Задачи включают построение поставки данных в режимах Batch/NRT/RealTime, оптимизацию ETL и снижение latency доступа к данным, проектирование и валидацию архитектуры данных.
Data Engineer
Ищем опытного Data Engineer для разработки и развития корпоративного хранилища данных: проектирование ETL/ELT-потоков, создание витрин, оптимизация SQL-запросов на PL/pgSQL и развитие архитектуры DWH. Требуется практический опыт с экосистемой Hadoop (HDFS, YARN, Spark, Kafka, NiFi), Greenplum или PostgreSQL и ETL-инструментами (SAS DI, Informatica PowerCenter). Формат работы — можно удалённо, полная занятость, уровень Senior.
Middle Data Engineer (СберAds)
Проектирование, разработка и поддержка data pipeline'ов в облачной среде, оптимизация производительности Spark-задач, настройка мониторинга и алертинга, внедрение практик Data Quality и DataOps. Требуется опыт от 3 лет, уверенные SQL и Apache Spark, промышленная разработка на Scala (или Python/PySpark), понимание архитектуры Lakehouse и оркестраторов типа Airflow.
Ведущий разработчик DWH
Проектирование и развитие корпоративного DWH/Data Lake, разработка ETL/ELT-процессов на SQL, PL/SQL и Python, оптимизация производительности и обеспечение качества данных. Роль включает интеграции с BI и микросервисами, настройку CI/CD, code review и наставничество.