Data Engineer (Hadoop, Scala)
Вакансия опубликована на hh.ru — открыть оригинал ↗
Похожие вакансии
Все вакансии →Data engineer
Разработка и поддержка дата-платформы банка в архитектуре Data Lakehouse на Hadoop: витрины данных, ETL/CTL на Spark и Oozie, NRT-пайплайны на Kafka. Задачи включают построение поставки данных в режимах Batch/NRT/RealTime, оптимизацию ETL и снижение latency доступа к данным, проектирование и валидацию архитектуры данных.
Инженер данных (Hadoop)
Разработка и поддержка витрин данных на базе Hadoop в Едином ПКАП B2C, подготовка датасетов для обучения моделей в FeatureStore, разработка ETL-процессов и реплик первичных данных. Требуется опыт построения витрин и ETL, уверенный SQL, Hadoop (HDFS, YARN, Hive), Spark, Java/Scala и Python. Работа в офисе рядом с м. Кутузовская с возможностью гибридного графика.
Разработчик Hadoop (Senior)
Разработка и поддержка Big Data решений на крупном проекте: ETL-процессы и потоковые пайплайны на Spark (Java/Scala), интеграция с HDFS, Hive, HBase, Oracle, Postgres, Kafka и ClickHouse, написание SQL-запросов.
Big Data Engineer
Инженер данных в команду аналитики транзакционного бизнеса Сбера: проектирование и разработка аналитических витрин и ETL/ELT-пайплайнов в Hadoop-экосистеме, оптимизация Hive/Spark SQL, работа с HDFS и Parquet. Требуется от 1 года опыта DE/DA/ETL, знание SQL и Hadoop-стека; работа в офисе у м. Кутузовская.