Data Engineer

#вакансия #middle #удаленка Ищем Data Engineer Формат: удаленно Зарплата: от 200 000 ₽ Срок проекта: длительно Задачи: • Сбор требований от бизнес-заказчиков и анализ источников данных; • Разработка, реализация и сопровождение интеграционных потоков и витрин данных; • Разработка решений на стеке Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink; • Оперативное решение инцидентов и выполнение задач в зоне ответственности; • Поддержка и актуализация технической документации по платформе больших данных; • Подготовка отчетности по выполненным задачам. Требования: ✔️ Понимание архитектуры Lakehouse и принципов работы платформ больших данных; ✔️ Понимание отличий Big Data/Lakehouse от классических систем хранения данных; ✔️ Уверенное знание SQL (индексы, функции, оптимизация запросов, профилирование производительности); ✔️ Знание Python и/или Java; ✔️ Опыт работы с реляционными СУБД (Oracle, PostgreSQL, MySQL, MS SQL и др.); ✔️ Уверенное владение Git; ✔️ Опыт работы с DBT, Cosmos, Apache NiFi; ✔️ Опыт разработки на Apache Spark; ✔️ Понимание принципов работы Trino; ✔️ Знание форматов данных Iceberg, Parquet, Avro; ✔️ Опыт работы с S3-совместимыми хранилищами (MinIO или аналогами); ✔️ Опыт работы с системами управления проектами и технической документацией. Стек: Greenplum • Trino • Apache Airflow • ClickHouse • Python • Spark • SQL (dbt) • S3 • Hadoop 📩 Отклик: @••••••