Мидл дата-инженер, ML
Вакансия опубликована на hh.ru — открыть оригинал ↗
Похожие вакансии
Все вакансии →Data engineer
Разработка и поддержка дата-платформы банка в архитектуре Data Lakehouse на Hadoop: витрины данных, ETL/CTL на Spark и Oozie, NRT-пайплайны на Kafka. Задачи включают построение поставки данных в режимах Batch/NRT/RealTime, оптимизацию ETL и снижение latency доступа к данным, проектирование и валидацию архитектуры данных.
Инженер данных (Hadoop)
Разработка и поддержка витрин данных на базе Hadoop в Едином ПКАП B2C, подготовка датасетов для обучения моделей в FeatureStore, разработка ETL-процессов и реплик первичных данных. Требуется опыт построения витрин и ETL, уверенный SQL, Hadoop (HDFS, YARN, Hive), Spark, Java/Scala и Python. Работа в офисе рядом с м. Кутузовская с возможностью гибридного графика.
Data Engineer
Разработка и поддержка корпоративного хранилища данных (КХД) в ТЕХНОНИКОЛЬ Диджитал: организация пайплайнов потоков данных, разработка и настройка ETL/ELT-процессов, оптимизация производительности и создание BI-дашбордов. Стек: Python, Greenplum, PostgreSQL, ClickHouse, DBT, Spark, Kafka, Airflow, Kubernetes. Требуется опыт с MPP СУБД (Greenplum), ClickHouse и Airflow, хорошее знание SQL и Python.
Data Engineer
Домклик ищет Data Engineer в AI-команду для развития Feature Store с тысячами фичей по недвижимости, клиентам и рынку. Задачи: поддержка и развитие Feature Store, Data Governance/Data Quality (OpenMetaData), проектирование пайплайнов для ML-моделей и переход от офлайн-батчей к потоковой архитектуре реального времени. Требуются Python, оркестрация (dbt/airflow/beam), Greenplum/PostgreSQL/ClickHouse, понимание архитектуры данных (SCD).