Дата-инженер

Дата-инженер в Дата-сервисы VK Tech, Москва #удаленка #офис #middle #senior Компания: VK ☑️Задачи -разрабатывать и поддерживать ETL/ELT-процессы с использованием Python и Airflow; -оптимизировать запросы и распределённые вычисления под ClickHouse и YT; -мониторить состояние ETL-процессов, обеспечивать их надёжность и наблюдаемость; -помогать аналитикам с оптимизацией их SQL-запросов и структур данных; -проектировать и поддерживать хранилище данных VK Tech (схемы, витрины, SCD); -участвовать в миграции вычислительной платформы с YT на Hadoop/Spark. ☑️Требования -опыт разработки и поддержки ETL-процессов на Python + Airflow; -уверенное знание SQL (JOIN, оконные функции, CTE, агрегации); -понимание концепций DWH: витрины данных, медленно меняющиеся измерения (SCD), слои raw/ods/cdm/dds; -опыт оптимизации запросов в распределённых системах (ClickHouse или Spark); -знание Git (ветки, коммиты, pull requests, code review); -умение читать и анализировать чужой код. Откликнуться Python Job в Telegram | в VK | в Max