Как поддерживать базу знаний для ИИ в актуальном состоянии
Ответ внутреннего помощника может быть точным пересказом документа, который уже отменили. Качество поиска зависит от жизненного цикла источников: владельца, даты действия, правил обновления и удаления старых копий. Настройте эти процессы до подключения нового отдела, иначе объем индекса будет расти быстрее, чем команда сможет проверять его содержимое.
Что подготовить
Что делать
Соберите реестр источников
Перечислите папки, порталы и базы, из которых помощник вправе получать сведения. Для каждой коллекции назначьте владельца, аудиторию, класс доступа, дату последней проверки и событие, которое запускает обновление: публикация новой политики, изменение страницы или плановая проверка. Укажите авторитетность, если существуют несколько похожих файлов. Например, утвержденная политика выше презентации, а действующая инструкция выше архивного FAQ. Не индексируйте резервные копии, личные папки и черновики только потому, что технически они доступны. Обозначьте тип документа и его область: отдел, страна, продукт или период. Это помогает выбрать правильную версию и не переносить локальное правило на всю компанию. Начните с ограниченного полезного набора, а не с обещания проиндексировать все.
Результат: Для каждого источника известны владелец, права, статус и правило обновления.Проверьте доступ и метаданные
До загрузки убедитесь, что поисковый индекс сохраняет исходные права доступа. Пользователь не должен получить текст из документа, который ему недоступен в исходной системе. Перенесите полезные метаданные: название, автор, категория, дата вступления в силу, дата пересмотра, версия и ссылка на оригинал. Не пытайтесь вывести дату действия из имени файла, если ее можно взять из системы управления документами. Нормализуйте время и локаль. Если доступ изменился, индекс и кешированные фрагменты должны обновиться в понятный срок. Проверьте, как удаляются копии и векторные представления после отзыва прав. Разделите данные разных клиентов или подразделений на уровне фильтров и хранилища, если этого требует модель доступа. Проверяйте это на тестовых учетных записях с разными ролями.
Результат: Индекс ограничивает ответы правами пользователя и хранит метаданные происхождения.Определите, что считается устаревшим
Одних дат модификации недостаточно: файл могли переименовать, не изменив содержание, а действующий регламент может быть старым, но все еще актуальным. Для каждого класса документов установите периодичность пересмотра и событие досрочного обновления. Статус «срок проверки истек» должен вести к владельцу, а не автоматически превращать файл в действующий ответ. Для политик указывайте период действия и документ-замену. Для справки, которая не имеет срока, задайте проверку на актуальность фактов и ссылок. При конфликте источников покажите обе даты и попросите владельца разрешить конфликт. В интерфейсе ответа выводите название документа, версию или дату, а также прямую ссылку на исходник. Пользователь сможет заметить, что ответ основан на старой редакции.
Результат: Для типов материалов определены срок пересмотра и поведение при истечении срока.Настройте обновление и удаление
Опишите поток: обнаружение изменения, получение новой версии, разбиение на фрагменты, пересчет индекса, проверка и снятие старой копии. Идемпотентный идентификатор документа помогает заменить версию вместо добавления дубля. При удалении исходника нужен сигнал на удаление всех связанных фрагментов, эмбеддингов и кешей, если это предусмотрено системой. Сохраняйте технический журнал событий без копирования текста документа в избыточные логи. Изменения схемы индекса тестируйте на копии, проверяя кодировку, таблицы и вложения. Задайте задержку допустимого обновления для разных источников. Срочную политику можно обновлять быстрее архива презентаций. Отслеживайте застрявшие задания и отправляйте владельцу список документов, которые не удалось обработать.
Результат: Измененная или удаленная версия не остается незаметной копией в поисковом индексе.Проверяйте ответы на контрольных вопросах
Составьте набор вопросов, ответ на которые можно подтвердить конкретным документом: актуальный срок, версия процедуры, исключение и область применения. Добавьте вопросы, где правильный ответ - сообщить о недостатке источников или конфликте. После каждого обновления сравнивайте найденные документы и ответ с эталоном. Отдельно измеряйте полноту извлечения нужного источника, правильность цитаты, отказ при отсутствии подтверждения и фильтрацию по правам. Случаи с устаревшим ответом помечайте причиной: не пришло событие, индекс не удалил старую версию, поиск выбрал не тот источник, метаданные потерялись. Назначьте владельца разбора и срок исправления. Не используйте только удовлетворенность пользователя: уверенный неверный ответ может получить хорошую оценку, если источник трудно проверить.
Результат: Метрики связывают ошибку с этапом жизненного цикла документа и указывают владельца исправления.Запрос с обязательной актуальностью
Ответь только по найденным документам. Для каждого утверждения укажи источник, версию или дату действия и область применения. Если источники конфликтуют, перечисли конфликт и не выбирай версию самостоятельно. Если дата проверки истекла или нужный документ не найден, сообщи об этом и предложи обратиться к владельцу контента. Не дополняй правила сведениями из общих знаний модели.
Проверка базы знаний
Что чаще всего портит результат
Короткие ответы
Как часто нужно переиндексировать документы?
Частота зависит от того, как часто источник меняется и каков ущерб от задержки. Политики и оперативные инструкции обычно требуют событийного обновления; архивы могут пересматриваться реже.
Достаточно ли добавить дату в текст?
Нет. Система должна использовать дату и статус при поиске и показать их пользователю вместе с источником.
Коротко
Актуальность внутреннего помощника начинается с ответственности за документы. Реестр владельцев, версий и сроков пересмотра дает команде основу для обновления и удаления данных, а контрольные вопросы показывают, какой участок процесса требует ремонта. Назначьте периодическую проверку коллекций и покажите владельцам отчет о документах без даты действия, без владельца или с пропущенным обновлением. В отчет включайте ссылки на оригиналы и причину, по которой материал был исключен из поиска. При переносе документов между системами тестируйте не только результат поиска, но и удаление старых копий, наследование разрешений и поведение ссылок. Если помощник отвечает на основе нескольких документов, пользователь должен видеть все источники и понимать, какой из них имеет приоритет. Отдельно опишите порядок срочного отзыва документа после обнаружения ошибки. Такой процесс превращает актуальность из свойства модели в поддерживаемую функцию базы знаний. Важен и ответ на вопрос, кто владеет содержанием: ИТ-команда может обслуживать индекс, но не всегда вправе решать, какая инструкция действительна. Назначьте предметного владельца для каждой критичной коллекции и срок его реакции на запрос об устаревшей странице. Для документа без утвержденной даты действия помощник может вернуть ссылку и предупредить о неопределенности, но не должен выдавать его за актуальное правило. Вводите новую коллекцию постепенно: сначала несколько типовых вопросов, затем проверка прав и конфликтов, после этого - ограниченная аудитория. Такой запуск снижает цену ошибок при масштабировании и дает владельцу контента время на уборку архивов.