Инженер данных
Вакансия опубликована на getmatch — открыть оригинал ↗
Похожие вакансии
Все вакансии →Data engineer
Разработка и поддержка дата-платформы банка в архитектуре Data Lakehouse на Hadoop: витрины данных, ETL/CTL на Spark и Oozie, NRT-пайплайны на Kafka. Задачи включают построение поставки данных в режимах Batch/NRT/RealTime, оптимизацию ETL и снижение latency доступа к данным, проектирование и валидацию архитектуры данных.
Data Engineer
Разработка процедур загрузки данных на Python, модификация БД в Microsoft SQL Server и организация витрин данных с помощью dbt. Работа в гибридном формате в медийном агентстве Media Instinct Group.
Data Engineer DWH
Разработка платформы данных: создание инструментов и сервисов для инженеров данных, пайплайнов и ETL/ELT-процессов на Python и Apache Spark, оптимизация импорта/экспорта данных между Greenplum, ClickHouse, PostgreSQL и S3. Работа с большими объёмами данных, распределёнными и MPP-системами, участие в проектировании архитектуры платформы.
Middle/Senior Data Engineer
Проектирование и развитие платформы данных СалютДевайсы (SberDevices): критичные ingestion-пайплайны и хранилища, DWH/lakehouse, отказоустойчивость и disaster recovery, оптимизация ClickHouse и стоимости хранения. Требуется высокий уровень Python, SQL, Airflow, dbt и глубокое знание распределённых систем. Гибрид, офис в центре Москвы.
