Data Engineer
Вакансия опубликована на hh.ru — открыть оригинал ↗
Похожие вакансии
Все вакансии →Data engineer
Разработка и поддержка дата-платформы банка в архитектуре Data Lakehouse на Hadoop: витрины данных, ETL/CTL на Spark и Oozie, NRT-пайплайны на Kafka. Задачи включают построение поставки данных в режимах Batch/NRT/RealTime, оптимизацию ETL и снижение latency доступа к данным, проектирование и валидацию архитектуры данных.
Data Engineer DWH
Разработка платформы данных: создание инструментов и сервисов для инженеров данных, пайплайнов и ETL/ELT-процессов на Python и Apache Spark, оптимизация импорта/экспорта данных между Greenplum, ClickHouse, PostgreSQL и S3. Работа с большими объёмами данных, распределёнными и MPP-системами, участие в проектировании архитектуры платформы.
Data Engineer
Разработка и поддержка корпоративного хранилища данных (КХД) в ТЕХНОНИКОЛЬ Диджитал: организация пайплайнов потоков данных, разработка и настройка ETL/ELT-процессов, оптимизация производительности и создание BI-дашбордов. Стек: Python, Greenplum, PostgreSQL, ClickHouse, DBT, Spark, Kafka, Airflow, Kubernetes. Требуется опыт с MPP СУБД (Greenplum), ClickHouse и Airflow, хорошее знание SQL и Python.
Data Engineer
Разработка и поддержка корпоративного хранилища данных (EDWH) для крупного продуктового проекта: организация пайплайнов потоков данных, настройка ETL/ELT-процессов, оптимизация производительности MPP СУБД и разработка BI-дашбордов. Стек: Python, Greenplum, PostgreSQL, ClickHouse, Airflow, Spark, Kafka. Требуется опыт от 5 лет, оформление по ТК РФ, возможна удалённая работа.