Инженер данных (Hadoop)
Вакансия опубликована на hh.ru — открыть оригинал ↗
Похожие вакансии
Все вакансии →Data engineer
Разработка и поддержка дата-платформы банка в архитектуре Data Lakehouse на Hadoop: витрины данных, ETL/CTL на Spark и Oozie, NRT-пайплайны на Kafka. Задачи включают построение поставки данных в режимах Batch/NRT/RealTime, оптимизацию ETL и снижение latency доступа к данным, проектирование и валидацию архитектуры данных.
Big Data Engineer
Инженер данных в команду аналитики транзакционного бизнеса Сбера: проектирование и разработка аналитических витрин и ETL/ELT-пайплайнов в Hadoop-экосистеме, оптимизация Hive/Spark SQL, работа с HDFS и Parquet. Требуется от 1 года опыта DE/DA/ETL, знание SQL и Hadoop-стека; работа в офисе у м. Кутузовская.
Data Engineer (Hadoop, Scala)
Разработка и оптимизация ETL/ELT-конвейеров и администрирование Hadoop/Spark-инфраструктуры (HDFS, YARN, Hive, HBase) для высоконагруженной системы сбора и анализа данных из СМИ и соцмедиа (100+ млн сообщений в сутки). Работа с потоковой обработкой (Kafka, Spark Streaming), оптимизация распределённых вычислений и участие в проектировании архитектуры данных.
Data Engineer
Ищем опытного Data Engineer для разработки и развития корпоративного хранилища данных: проектирование ETL/ELT-потоков, создание витрин, оптимизация SQL-запросов на PL/pgSQL и развитие архитектуры DWH. Требуется практический опыт с экосистемой Hadoop (HDFS, YARN, Spark, Kafka, NiFi), Greenplum или PostgreSQL и ETL-инструментами (SAS DI, Informatica PowerCenter). Формат работы — можно удалённо, полная занятость, уровень Senior.