Data Engineer
Похожие вакансии
Все вакансии →Data Engineer
Проектирование и поддержка ETL-процессов и хранилищ данных (DWH, Data Lake) с использованием Spark, Airflow, Greenplum, Hadoop, ClickHouse и Trino. Требуется опыт инженером данных от 5 лет, глубокое знание SQL и принципов Data Governance/Data Quality; плюсом — Python/Java/Scala, Docker, Kubernetes, CI/CD.
Data engineer
Разработка и поддержка дата-платформы банка в архитектуре Data Lakehouse на Hadoop: витрины данных, ETL/CTL на Spark и Oozie, NRT-пайплайны на Kafka. Задачи включают построение поставки данных в режимах Batch/NRT/RealTime, оптимизацию ETL и снижение latency доступа к данным, проектирование и валидацию архитектуры данных.
Ведущий инженер данных
Работа в Департаменте данных: организация жизненного цикла данных, проектирование и развитие архитектуры DWH, источников данных и интеграций, участие в формировании моделей данных и дата-контрактов, разработка скриптов на SQL и Python, контроль качества и защита данных.
Python-разработчик (ETL)
Разработка и поддержка высоконагруженной ETL-системы на Python (более 2 млрд сообщений в день), интеграция новых источников данных в DWH и перевод существующих ETL-процессов в Airflow. Работа в команде Big Data игровой аккредитованной IT-компании FunFlow, офис в Москве.
