Как проверить ответы корпоративного RAG-помощника на документах компании
Разделите проверку поиска, ответа и доступа. Это покажет, где помощник теряет нужные документы и в каких ситуациях должен признать нехватку данных.

Разделите поиск и формулировку ответа
RAG-помощник получает вопрос, ищет фрагменты в документах и просит языковую модель ответить по ним. Уверенно звучащий текст сам по себе не подтверждает, что система нашла актуальную инструкцию. Сбой бывает на любом шаге: документа нет в индексе, поиск выбрал старую редакцию, фильтр доступа отработал поздно или модель дополнила пробел предположением.
Для каждого теста сохраняйте сам вопрос, ожидаемый источник и раздел, обязательные факты, версию индекса и допустимый вариант отказа. Так провал можно отнести к retrieval, подготовке корпуса, доступам или генерации, а не переписывать промпт наугад.
Соберите выборку из реальных вопросов
Возьмите обезличенные вопросы сотрудников из поддержки и базы знаний. Удалите имена, номера клиентов, секреты и сведения, не нужные для оценки. Сохраните различные формулировки одного намерения, но не разбивайте почти одинаковые запросы между настройкой и закрытой проверкой: модель может встретить тестовый вопрос в своей рабочей выборке.
Владельцы знаний подтверждают актуальность документов, даты действия и исключения. Если правило различается по стране или роли, укажите это в запросе и эталоне. Не назначайте один правильный ответ там, где решение зависит от контекста.
Включите разные классы:
- Прямой вопрос с ответом в одном документе.
- Парафраз без слов из заголовка нужного раздела.
- Вопрос, требующий двух источников.
- Конфликт старой и действующей редакций.
- Запрос без ответа, где нужен отказ.
- Документ, который недоступен текущей роли.
Эталон должен описывать доказательства
Запишите необходимые факты и ссылки на разделы, а не только примерный абзац. Например, ответ о сроке хранения может требовать числа лет и исключения для незавершенной проверки. Для процедур задайте шаги, ответственного и ограничение. Если надо уточнение, перечислите недостающие параметры.
Для каждого ожидаемого факта определите минимально достаточный фрагмент. Ссылка может вести на верный файл, но не подтверждать соседнее утверждение. Оценивайте точность источника и поддержку ответа раздельно.
Измеряйте несколько уровней качества
На уровне поиска посчитайте, попал ли эталонный фрагмент в первые результаты и где он оказался. Отмечайте случаи, когда старая инструкция стоит выше действующей. На уровне ответа проверьте полноту, отсутствие выдуманных условий, точность цитат и покрытие обязательных исключений.
Отказы также оценивайте отдельно: правильный отказ при пустой базе и необоснованный отказ при доступном источнике - противоположные ошибки. Общая доля правильных ответов скроет компромисс. Для важных сценариев назначьте отдельный порог на раскрытие недоступных данных и уверенные ответы без поддержки.
Сделайте прогон воспроизводимым
Сохраните снимок тестов и документов, версию модели, настройки разбиения, параметры поиска, инструкцию и найденные фрагменты. После каждого изменения запускайте одинаковый закрытый набор. Если ответ вариативен, повторите критичные запросы и храните все попытки.
Группируйте провалы по причине: таблицы превратились в нечитаемый текст, заголовок исключен из чанка, права применились к результату, а не к поиску. Новые документы добавляйте вместе с ответственным и сроком действия. Изменение корпуса должно запускать регрессию так же, как изменение модели.
Установите условия запуска
До пилота зафиксируйте недопустимые ошибки, целевые показатели retrieval и долю ручной проверки. Порог должен отражать цену ошибки, а не удобство отчета. После обновления повторно проверьте источники, отказы и доступы; результат одной версии базы не гарантирует качество следующей.
Карточка теста
Фиксируйте ID вопроса, аудиторию, локаль, источник, требуемые факты, запрещенные выводы, возможность отказа и дату актуальности. Если вариантов ответа несколько, сохраните границы правильного ответа. При провале проверьте сначала доступ и найденные фрагменты, затем качество генерации. Исправление промпта не восстановит отсутствующий документ.
В отчете храните вопрос, top-k результатов, цитаты и отметку проверяющего. Не сохраняйте личный текст запроса дольше нужного срока. Один высокий средний балл не должен компенсировать раскрытие недоступной инструкции.
Пример критерия
Для вопроса о сроке согласования командировки отметьте актуальную процедуру для региона сотрудника, число дней и условие срочного случая. Проверяющий фиксирует точность источника, наличие исключения и отсутствие новых правил. Если нужный источник найден, но исключение пропущено, это ошибка ответа; если он отсутствует в контексте, проблема относится к поиску или индексации.
До пилота назначьте владельца набора и порядок его обновления. Добавьте тест при смене документа, модели, разбиения или фильтра доступа.
Карточка теста и разбор
Фиксируйте ID вопроса, аудиторию, локаль, ожидаемый источник, необходимые факты, запрещенные выводы и дату актуальности. Если допустимы разные ответы, запишите границы правильного варианта. При провале сначала проверьте доступ и результаты поиска, затем генерацию. Промпт не восстановит документ, которого нет в индексе.
В отчете храните вопрос, найденные фрагменты и отметку проверяющего. Не сохраняйте личный текст дольше необходимого срока. Раскрытие закрытой инструкции и уверенный ответ без источника должны иметь самостоятельный стоп-критерий, который нельзя компенсировать общим высоким баллом.
Контроль актуальности
Добавьте к источнику дату действия, владельца, область применимости и связь с замененной редакцией. Для конфликтующих материалов задайте приоритет или маршрут на уточнение. Обновление тестового эталона подтверждает владелец знаний, иначе регрессия исчезнет из отчета после переписывания ожидаемого ответа.
Добавляйте новый тест при обновлении документа. Запускайте повторную проверку при смене модели, retrieval-настроек, фильтра доступа или корпуса. Сохраните отчет по версии, чтобы можно было увидеть, после какого изменения появилась ошибка.
Пример разбора расхождения
Сотрудник спрашивает, можно ли перенести неиспользованный отпуск. Поиск возвращает памятку прошлого года с общим правилом и текущую политику, где есть исключение для конкретной страны. Сначала проверьте, что роль пользователя может видеть оба документа. Затем убедитесь, что запрос содержит страну и что индекс поднял новую редакцию. Если контекст не содержит параметра, ожидаемое поведение - уточнить его, а не выбрать правило по умолчанию.
В карточке аудита отметьте источник, версию, найденный фрагмент, ответ и отсутствующую деталь. Если модель назвала только общее правило, а retrieval принес исключение, проблема генерации. Если исключение не найдено, проверьте метаданные документа, чанкинг и фильтры. Один кейс дает точную гипотезу для исправления, вместо общей просьбы повысить качество ответов.
Эту же запись можно превратить в регрессионный тест: после исправления повторить исходный вопрос и парафраз, затем проверить старую редакцию и пользователя без доступа. Набор проверяет одновременно приоритет версий и изоляцию данных.
Эскалация найденной ошибки
Если владелец знаний подтверждает ошибку источника, временно исключите устаревший документ и назначьте срок восстановления. Если ошибается индекс, сохраните исходный файл, метаданные и список не попавших фрагментов. Если ответ неверен при правильном контексте, подготовьте пример для набора генерации. Три разных маршрута предотвращают повтор одного и того же ремонта.
Раз в цикл анализируйте провалы, которые не попали в ручную жалобу. Пользователь обычно сообщает только, что ответ был плохим, но не знает, что нужный документ не индексировался. Автоматический отчет по пропущенным эталонным источникам помогает увидеть это раньше. Обязательно исключайте закрытые тексты из общих отчетов и показывайте только разрешенные фрагменты.
После исправления тестируйте соседние классы вопросов. Повышение top-k может найти нужный документ, но также добавить противоречивые фрагменты. Сверьте не только сам провал, но и контрольные запросы из той же категории.