Senior Data Engineer
Вакансия опубликована на hh.ru — открыть оригинал ↗
Похожие вакансии
Все вакансии →Data engineer
Разработка и поддержка дата-платформы банка в архитектуре Data Lakehouse на Hadoop: витрины данных, ETL/CTL на Spark и Oozie, NRT-пайплайны на Kafka. Задачи включают построение поставки данных в режимах Batch/NRT/RealTime, оптимизацию ETL и снижение latency доступа к данным, проектирование и валидацию архитектуры данных.
Инженер данных (Hadoop)
Разработка и поддержка витрин данных на базе Hadoop в Едином ПКАП B2C, подготовка датасетов для обучения моделей в FeatureStore, разработка ETL-процессов и реплик первичных данных. Требуется опыт построения витрин и ETL, уверенный SQL, Hadoop (HDFS, YARN, Hive), Spark, Java/Scala и Python. Работа в офисе рядом с м. Кутузовская с возможностью гибридного графика.
Data Engineer (Hadoop, Scala)
Разработка и оптимизация ETL/ELT-конвейеров и администрирование Hadoop/Spark-инфраструктуры (HDFS, YARN, Hive, HBase) для высоконагруженной системы сбора и анализа данных из СМИ и соцмедиа (100+ млн сообщений в сутки). Работа с потоковой обработкой (Kafka, Spark Streaming), оптимизация распределённых вычислений и участие в проектировании архитектуры данных.
Senior Data Engineer
Разработка и сопровождение корпоративной платформы данных: batch/streaming пайплайны, ETL/ELT, модели данных, оптимизация SQL, DataOps/CI-CD. Требуется опыт Data Engineer от 5 лет, Data Vault 2.0, Spark, Kafka, Airflow, Hadoop/Iceberg, dbt. Удалённо, оформление по ГПХ.
