Инженер данных
Похожие вакансии
Все вакансии →Data engineer
Разработка и поддержка дата-платформы банка в архитектуре Data Lakehouse на Hadoop: витрины данных, ETL/CTL на Spark и Oozie, NRT-пайплайны на Kafka. Задачи включают построение поставки данных в режимах Batch/NRT/RealTime, оптимизацию ETL и снижение latency доступа к данным, проектирование и валидацию архитектуры данных.
Python developer
Разработка функциональности сервиса на Python для работы с большими данными: построение Data Lineage, обработка и агрегация связей между объектами данных с использованием PySpark, pandas, SQL и Hadoop-стека, поддержка автотестов. Гибрид, Москва, полная занятость.
Инженер данных
Дата-инженер для построения полного цикла работы с данными: загрузка из Excel, API и БД, трансформация, витрины и автоматизация на Python и Airflow. Требуется сильный SQL, опыт с Spark/PySpark, разными СУБД (PostgreSQL/Greenplum, ClickHouse, Trino) и настройка Data Quality и мониторинга загрузок.
Инженер данных
Проектирование и разработка ETL/ELT-процессов (batch) и backend-сервисов на Python для обработки данных и интеграции с внешними системами. Инжиниринг ML-пайплайнов обучения и инференса, проектирование и оптимизация хранилищ данных. Стек: Python, PySpark, FastAPI, PostgreSQL, ClickHouse, Greenplum, Trino, Airflow, MLflow, Docker, Kubernetes.
