Разработчик Hadoop
Вакансия опубликована на Хабр Карьера — открыть оригинал ↗
Похожие вакансии
Все вакансии →Разработчик Hadoop (Senior)
Разработка и поддержка Big Data решений на крупном проекте: ETL-процессы и потоковые пайплайны на Spark (Java/Scala), интеграция с HDFS, Hive, HBase, Oracle, Postgres, Kafka и ClickHouse, написание SQL-запросов.
Data Engineer (Hadoop, Scala)
Разработка и оптимизация ETL/ELT-конвейеров и администрирование Hadoop/Spark-инфраструктуры (HDFS, YARN, Hive, HBase) для высоконагруженной системы сбора и анализа данных из СМИ и соцмедиа (100+ млн сообщений в сутки). Работа с потоковой обработкой (Kafka, Spark Streaming), оптимизация распределённых вычислений и участие в проектировании архитектуры данных.
Data Engineer (команда B2C-SQL)
Разработка и доработка компонентов фреймворка для построения batch- и streaming-витрин данных на Scala/Java, включая оркестрацию, метаданные, Data Quality и API. Оптимизация производительности Spark-приложений на больших объёмах данных, покрытие кода тестами и взаимодействие с командами-пользователями платформы. Офисный формат в Москве, работа в кросс-функциональной Scrum-команде центра компетенций Data Engineering Сбера.
Инженер данных (Hadoop)
Разработка и поддержка витрин данных на базе Hadoop в Едином ПКАП B2C, подготовка датасетов для обучения моделей в FeatureStore, разработка ETL-процессов и реплик первичных данных. Требуется опыт построения витрин и ETL, уверенный SQL, Hadoop (HDFS, YARN, Hive), Spark, Java/Scala и Python. Работа в офисе рядом с м. Кутузовская с возможностью гибридного графика.