Вступить в клуб →
средняяpythonNLP, эмбеддинги, LLM и RAG

Recall@k и MRR для оценки поиска в RAG

Напишите retrieval_metrics(results, relevant, k).

  • results — словарь вопрос → список id найденных фрагментов по убыванию релевантности.
  • relevant — словарь вопрос → множество id релевантных фрагментов. Оцениваются только вопросы из relevant; если вопроса нет в results, считайте выдачу пустой.
  • Recall@k вопроса — доля релевантных фрагментов, попавших в первые k результатов. RR вопроса — 1 / позиция первого релевантного результата во всей выдаче (позиции с 1), или 0.
  • Верните кортеж (средний recall@k, MRR) по вопросам, округлённых до 4 знаков. Если вопросов нет — (0.0, 0.0).

заготовка решения

def retrieval_metrics(results, relevant, k):
    # ваш код
    return None

🔒 Проверка ответа — для участников клуба

  • Автотесты прямо в браузере
  • Подсказка, если застряли
  • Разбор с объяснением, почему так
  • Прогресс по всем задачам и виртуальные собеседования
Зарегистрироваться →

Регистрация занимает минуту

Другие задачи раздела