← профессии
Дата-инженер
80задач
фильтр:
SQL и оптимизация запросов
8 задач- 1Условие по правой таблице в WHERE после LEFT JOINвопрослёгкаярешить →
- 2COUNT(*), COUNT(колонка) и COUNT(DISTINCT) на данных с NULLвопрослёгкаярешить →
- 3Сколько строк вернёт оконная функция вместо GROUP BYвопрослёгкаярешить →
- 4NOT IN по подзапросу с NULL перестал возвращать строкивопроссредняярешить →
- 5Индекс добавили, а запрос не ускорился и загрузка стала дольшевопроссредняярешить →
- 6Выручка в витрине выросла в разы после присоединения позиций заказавопроссредняярешить →
- 7Нарастающий итог склеился на строках с одинаковой датойвопроссложнаярешить →
- 8Фильтр по функции над колонкой отключил отсечение секцийвопроссложнаярешить →
Слои DWH и моделирование витрин
8 задач- 9Что класть в слой RAW при выгрузке из внешнего APIвопрослёгкаярешить →
- 10Что происходит с измерением SCD2 при изменении атрибутавопрослёгкаярешить →
- 11Что нужно от источника, чтобы уйти от полной перезагрузки таблицывопрослёгкаярешить →
- 12После перезапуска упавшей загрузки суммы за день задвоилисьвопроссредняярешить →
- 13Как оставить актуальную версию записи из потока CDCвопроссредняярешить →
- 14Инкрементальная модель dbt накапливает две версии одного заказавопроссредняярешить →
- 15Инкремент по updated_at теряет строки из-за поздно приходящих данныхвопроссложнаярешить →
- 16Отчёты за закрытые месяцы поехали после соединения с SCD2-измерениемвопроссложнаярешить →
Оркестрация пайплайнов в Airflow
8 задач- 17Почему суточный DAG за 10 августа стартует только 11-говопрослёгкаярешить →
- 18Как дождаться файла поставщика, приходящего в непредсказуемое времявопрослёгкаярешить →
- 19Что уместно передавать между задачами через XComвопрослёгкаярешить →
- 20Включение DAG со старой start_date положило источниквопроссредняярешить →
- 21Задача берёт дату из datetime.now(), а не из логического интервалавопроссредняярешить →
- 22Публикация витрины отработала, несмотря на падение трансформациивопроссредняярешить →
- 23DAG зелёный, а витрина пустая: как сократить время реакциивопроссложнаярешить →
- 24Тяжёлый запрос на верхнем уровне файла DAG нагружает источниквопроссложнаярешить →
Хранилища и распределённая обработка
8 задач- 25Почему для слоя данных выбирают Parquet вместо CSVвопрослёгкаярешить →
- 26Что даёт партиционирование таблицы событий по месяцу в ClickHouseвопрослёгкаярешить →
- 27PySpark-скрипт отработал мгновенно и ничего не посчиталвопрослёгкаярешить →
- 28Фильтр не по префиксу ключа сортировки сканирует всю таблицувопроссредняярешить →
- 29Одна задача Spark идёт 40 минут, остальные завершились за двевопроссредняярешить →
- 30После сбоя консьюмера часть событий Kafka учтена дваждывопроссредняярешить →
- 31Broadcast join работал на тесте и уронил драйвер в продевопроссложнаярешить →
- 32Построчная вставка из Kafka привела к ошибке «too many parts»вопроссложнаярешить →
Python для ETL: загрузка, валидация и версии записей
12 задач- 33Скрипт загрузки падает с MemoryError на CSV-выгрузке в 12 ГБвопрослёгкаярешить →
- 34События из API разных филиалов сдвинуты на несколько часов относительно друг другавопрослёгкаярешить →
- 35Цепочка трансформаций из трёх list comprehension держит в памяти три копии данныхвопрослёгкаярешить →
- 36Токен API поставщика записан строкой прямо в файле DAGвопрослёгкаярешить →
- 37Разбиение потока записей на пачки для вставки в базуpythonлёгкаярешить →
- 38Выгрузка клиентов из API постранично теряет и дублирует записивопроссредняярешить →
- 39Загрузчик получает 429 от API и сразу повторяет запрос в циклевопроссредняярешить →
- 40Последняя версия каждой записи из выгрузки с повторамиpythonсредняярешить →
- 41Проверка записей по схеме перед загрузкой в хранилищеpythonсредняярешить →
- 42Разворачивание вложенного JSON-события в плоскую строку таблицыpythonсредняярешить →
- 43Поставщик поменял тип поля amount со строки на объект, и витрина молча обнулиласьвопроссложнаярешить →
- 44Применение нового снимка справочника к таблице SCD2pythonсложнаярешить →
Потоковая поставка: Kafka, CDC и окна
12 задач- 45События одного заказа приходят в витрину в неверном порядкевопрослёгкаярешить →
- 46Данные в витрине отстают на два часа, хотя консьюмер работает без ошибоквопрослёгкаярешить →
- 47Ошибку в трансформации нашли через 10 дней, а хранение топика — 7 днейвопрослёгкаярешить →
- 48Отставание группы консьюмеров по партициямpythonлёгкаярешить →
- 49Коннектор Debezium остановили на выходные, а диск PostgreSQL заполнилсявопроссредняярешить →
- 50Продюсер удалил обязательное поле из схемы Avro, и старые консьюмеры упаливопроссредняярешить →
- 51Мобильные события приходят с опозданием в часы и не попадают в посчитанные окнавопроссредняярешить →
- 52Одно битое сообщение остановило загрузку всей партиции на ночьвопроссредняярешить →
- 53Подсчёт событий по окнам с допустимым опозданиемpythonсредняярешить →
- 54Как получить «ровно один раз» при записи из Kafka во внешнюю базувопроссложнаярешить →
- 55Подключение CDC к таблице на 400 млн строк: снимок и поток измененийвопроссложнаярешить →
- 56Разбор пачки сообщений с повторами и отправкой в DLQpythonсложнаярешить →
Качество данных: проверки, сверки и алерты
12 задач- 57Где в пайплайне витрины заказов ставить проверки на пустые ключивопрослёгкаярешить →
- 58За вчера в витрину загрузилось 8 тысяч заказов вместо обычных 90 тысячвопрослёгкаярешить →
- 59После добавления соединения со справочником адресов заказов в витрине стало большевопрослёгкаярешить →
- 60Отчёт о колонках с долей пропусков выше порогаpythonлёгкаярешить →
- 61Любой упавший dbt-тест останавливает все витрины, включая некритичныевопроссредняярешить →
- 62Выручка в DWH за месяц на 0,8% меньше, чем в учётной системевопроссредняярешить →
- 63Алерт на объём загрузки срабатывает каждое воскресенье и в праздникивопроссредняярешить →
- 64Переименование колонки в источнике сломало 14 витрин, о которых никто не зналвопроссредняярешить →
- 65Проверка объёма загрузки относительно того же дня неделиpythonсредняярешить →
- 66Проверки упали через 20 минут после публикации, и отчёт уже разослаливопроссложнаярешить →
- 67Команда-источник регулярно меняет формат событий и узнаёт о последствиях от аналитиковвопроссложнаярешить →
- 68Детальная сверка заказов между источником и витринойpythonсложнаярешить →
dbt-проект: модели, окружения и CI
12 задач- 69Модель dbt ссылается на другую модель прямым именем схемы и таблицывопрослёгкаярешить →
- 70Витрина-представление на 2 млрд строк открывается в BI по три минутывопрослёгкаярешить →
- 71Переименование поля в источнике пришлось править в 23 моделяхвопрослёгкаярешить →
- 72Порядок сборки моделей по зависимостям refpythonлёгкаярешить →
- 73CI dbt-проекта на 900 моделей идёт полтора часа на каждый пулреквествопроссредняярешить →
- 74Инкрементальная модель с merge по 3 млрд строк стала пересобираться дольше полнойвопроссредняярешить →
- 75История смены тарифа клиента нужна, а источник хранит только текущее значениевопроссредняярешить →
- 76Одна и та же формула перевода копеек в рубли с НДС скопирована в 40 моделейвопроссредняярешить →
- 77Выбор изменённых моделей и всех зависимых от нихpythonсредняярешить →
- 78Разработчик случайно перезаписал продовые витрины запуском dbt с ноутбукавопроссложнаярешить →
- 79Изменение типа колонки витрины сломало дашборды и ML-пайплайн другой командывопроссложнаярешить →
- 80Подстановка ref и source в SQL модели для окруженияpythonсложнаярешить →
