Python-разработчик

Python-разработчик (middle) #офис #middle Екатеринбург Компания: Мегафон ☑️Какие задачи необходимо решать • Проектировать, разрабатывать, оптимизировать и поддерживать ETL процессы для загрузки данных из различных источников • Управлять потоковой обработкой данных с использованием Apache Kafka • Разрабатывать и оптимизировать структуры данных, схемы и запросы в PostgreSQL для операционных и транзакционных задач • Строить, администрировать и настраивать ClickHouse кластеры для обеспечения высокой производительности аналитических запросов на больших объемах данных • Разрабатывать и поддерживать решения на базе ClickHouse (или связки PostgreSQL + ClickHouse) • Интегрировать данные между PostgreSQL, Kafka, ClickHouse и другими компонентами инфраструктуры (API, очереди, S3) • Осуществлять мониторинг производительности, отказоустойчивости и безопасности data pipeline и баз данных • Автоматизировать процессы обработки данных и развертывания (CI/CD) • Взаимодействовать с аналитиками, разработчиками и product owner'ами для понимания потребностей в данных и их реализации • Устранять неисправности в pipeline данных и базах данных ☑️Для решения этих задач требуется • Опыт работы с одним из языков программирования от 2-3-х лет: Python (предпочтительно), Golang (будет плюсом) • Опыт разработки и администрирования ClickHouse (знание особенностей движков таблиц, оптимизация запросов, кластеризация, репликация, шардирование) • Глубокое понимание и практический опыт работы с Apache Kafka, настройка и обеспечение надежности потоков данных • Опыт работы с PostgreSQL (написание сложных SQL-запросов, оптимизация производительности, понимание механизмов транзакций, репликации) • Понимание принципов построения ETL процессов • Знание SQL на продвинутом уровне • Понимание принципов DevOps (Docker, Kubernetes, Linux, CI/CD) применительно к инфраструктуре данных Откликнуться Python Job в Telegram | в VK | в Max