Разработчик Hadoop (Senior)
Вакансия опубликована на getmatch — открыть оригинал ↗
Похожие вакансии
Все вакансии →Разработчик Hadoop
Разработка и поддержка распределённой обработки больших данных на Apache Spark (Java/Scala) с интеграцией в экосистему Hadoop (HDFS, Hive, HBase), Kafka, Oracle/Postgres. Работа в кластере ADH, оптимизация производительности Spark-задач и ETL-пайплайнов. Возможен полностью удалённый формат на территории РФ.
Data Engineer (Hadoop, Scala)
Разработка и оптимизация ETL/ELT-конвейеров и администрирование Hadoop/Spark-инфраструктуры (HDFS, YARN, Hive, HBase) для высоконагруженной системы сбора и анализа данных из СМИ и соцмедиа (100+ млн сообщений в сутки). Работа с потоковой обработкой (Kafka, Spark Streaming), оптимизация распределённых вычислений и участие в проектировании архитектуры данных.
Data engineer
Разработка и поддержка дата-платформы банка в архитектуре Data Lakehouse на Hadoop: витрины данных, ETL/CTL на Spark и Oozie, NRT-пайплайны на Kafka. Задачи включают построение поставки данных в режимах Batch/NRT/RealTime, оптимизацию ETL и снижение latency доступа к данным, проектирование и валидацию архитектуры данных.
Tech Lead Data engineer
Команда строит единое хранилище данных блока B2C Сбера на базе экосистемы Hadoop с развитием в сторону Data Lakehouse (Apache Iceberg) и Data Streamhouse (Kafka, Apache Flink). Роль включает проектирование и оптимизацию ETL/ELT-пайплайнов на Spark и Greenplum, потоковую обработку RT/NRT-данных, разработку API на Java/Scala и внедрение решений в прод с CI/CD в Jenkins. Требуется глубокий опыт с Spark, Hadoop, Kafka, Iceberg и стриминговыми фреймворками.