Data Engineer (команда B2C-SQL)
Вакансия опубликована на hh.ru — открыть оригинал ↗
Похожие вакансии
Все вакансии →Data engineer
Разработка и поддержка дата-платформы банка в архитектуре Data Lakehouse на Hadoop: витрины данных, ETL/CTL на Spark и Oozie, NRT-пайплайны на Kafka. Задачи включают построение поставки данных в режимах Batch/NRT/RealTime, оптимизацию ETL и снижение latency доступа к данным, проектирование и валидацию архитектуры данных.
Data Engineer
Разработка и оптимизация процессов сбора, обработки и хранения больших объёмов данных, развитие ETL/ELT-процессов и алгоритмов обработки данных, включая векторный поиск и RAG. Требуется опыт Data Engineer от 3 лет, уверенный SQL и Python, Spark/Hadoop, Kafka/Flink, Docker и Kubernetes. Возможен офис, гибрид или полностью удалённый формат, официальное трудоустройство с ДМС.
Разработчик Hadoop
Разработка и поддержка распределённой обработки больших данных на Apache Spark (Java/Scala) с интеграцией в экосистему Hadoop (HDFS, Hive, HBase), Kafka, Oracle/Postgres. Работа в кластере ADH, оптимизация производительности Spark-задач и ETL-пайплайнов. Возможен полностью удалённый формат на территории РФ.
Tech Lead Data engineer
Команда строит единое хранилище данных блока B2C Сбера на базе экосистемы Hadoop с развитием в сторону Data Lakehouse (Apache Iceberg) и Data Streamhouse (Kafka, Apache Flink). Роль включает проектирование и оптимизацию ETL/ELT-пайплайнов на Spark и Greenplum, потоковую обработку RT/NRT-данных, разработку API на Java/Scala и внедрение решений в прод с CI/CD в Jenkins. Требуется глубокий опыт с Spark, Hadoop, Kafka, Iceberg и стриминговыми фреймворками.