Как подготовить документ к анализу нейросетью
Качество ответа зависит не только от модели. Плохой скан, скрытые листы, разорванные таблицы и лишние приложения могут изменить смысл результата.
Что делать
Создайте рабочую копию
Не редактируйте оригинал. Сделайте отдельный файл с понятным названием и датой, чтобы можно было восстановить источник каждого вывода.
Проверьте читаемость
Убедитесь, что текст выделяется, страницы повернуты правильно, сканы распознаны, а символы и таблицы не превратились в изображения низкого качества.
Удалите лишнее и чувствительное
Оставьте только нужные приложения и страницы. Обезличьте данные, которые не влияют на задачу.
Сохраните структуру
Не удаляйте заголовки, нумерацию страниц, подписи таблиц, сноски и единицы измерения. Они нужны для проверки ответа.
Приложите инструкцию
Опишите задачу, допустимые источники, нужный формат ответа и запрет на догадки. Попросите указывать страницы для каждого важного вывода.
Пример: отчет, в котором таблица съехала после распознавания
Предположим, отделу нужен ответ по учебному отчету на 48 страниц. В нем 31 страница с текстовым слоем, 12 сканов приложений и 5 страниц с широкими таблицами. До загрузки создайте рабочую копию, запишите число страниц и отметьте эти три типа отдельно. На копии удалите не относящиеся к вопросу персональные данные. В паспорте файла укажите дату, версию, язык, способ распознавания и разделы, которые остались изображениями.
Проверьте пять заранее известных контрольных точек: название раздела на странице 4, дату на странице 11, отрицание в примечании на странице 19, строку таблицы на странице 27 и сноску в приложении. Если текст после OCR переносит значение из соседнего столбца к другой строке, не просите модель исправить таблицу по смыслу. Вынесите эту страницу в отдельный фрагмент, сверяйте ее визуально и пометьте соответствующее поле как требующее ручной проверки. То же правило действует, если часть страниц вообще не попала в извлеченный текст.
Готовность документа измеряется не тем, что сервис принял файл. Получатель должен открыть ту же рабочую копию и без подсказки найти все пять контрольных точек. Если номер страницы в просмотрщике отличается от напечатанного номера, запишите оба. Только после такой приемки задавайте содержательные вопросы и требуйте от ответа точный раздел или страницу для каждого важного числа. Для повторной обработки сохраните настройки OCR и список страниц, которые проверялись по изображению: иначе следующий сотрудник может получить другой текстовый слой и ошибочно принять расхождение за изменение самого отчета.
- Все 48 страниц учтены в паспорте файла.
- Пять контрольных точек найдены по исходному изображению.
- Поврежденная таблица исключена из автоматических выводов.
Готовность файла
Подготовка документа к анализу без потери структуры
До загрузки нужно сохранить оригинал, определить цель, удалить лишние данные и проверить, что текст действительно извлекается. Заголовки, страницы, таблицы, сноски и приложения получают устойчивые ориентиры. Плохой скан сначала проходит распознавание и контроль выборки, а не отправляется как будто это обычный текст.
Паспорт рабочей копии должен содержать контрольную сумму, число страниц, язык, диапазоны приложений, наличие текстового слоя, долю страниц с OCR и перечень удаленных данных. Выберите минимум пять контрольных точек: имя, число, заголовок, строку таблицы и сноску. Сравните извлеченный текст с изображением страницы посимвольно в рискованных местах. Если порядок колонок или таблицы разрушен, сохраните страницу как отдельный контролируемый фрагмент и запретите автоматический вывод по этой части до ручной проверки.
Условный пример проверки входного PDF
Перед анализом зафиксируйте версию документа, число страниц и наличие приложений. Для скана откройте несколько страниц с мелким текстом, таблицей и подписью, затем проверьте распознанный текст на известных словах и числах. Убедитесь, что колонки читаются в правильном порядке, а сноски не присоединены к соседнему абзацу. Если документ разбит на отдельные файлы, сохраните карту частей и не меняйте исходные названия без журнала. Удалите комментарии, скрытые слои и лишние персональные сведения только на копии. До запроса сформулируйте, какие типы вывода нужны: поиск факта, сравнение разделов или извлечение данных. После подготовки другой человек должен уметь понять, какой именно файл анализировался и где проверить каждый результат.
Риск ошибки: Подготовка документа к анализу без потери структуры
Документ выглядит нормально на экране, но текстовый слой содержит мусор или старую версию под изображением. Анализ опирается на невидимое содержимое. Сравните извлеченный текст с контрольными страницами и очистите слои.
Критерии: Подготовка документа к анализу без потери структуры
Маршрут: Подготовка документа к анализу без потери структуры
Поставить ограничение до запуска
Опишите запреты, допустимые данные и правило остановки, затем соберите неизмененный оригинал, разрешение владельца, цель анализа, список нужных разделов, классификацию данных, страницы со сложной версткой, таблицы, приложения, требования к цитатам и допустимый сервис. Согласуйте, кто может видеть материал и кто подтверждает финальный результат. Не начинайте обработку, пока неизвестно, как будет удалена или сохранена рабочая копия.
Получить проверяемый черновик
Выполните создание рабочей копии, удаление лишних и скрытых данных, проверку порядка страниц, распознавание при необходимости, добавление ориентиров, извлечение текста, сверку выборки и подготовку паспорта файла так, чтобы каждый важный вывод можно было связать с входом. Просите обозначать неопределенность и пропуски. Сохраните черновик до редакторских исправлений для последующего разбора ошибок.
Провести контроль с правилом отказа
Проверьте полноту страниц, ориентацию, качество OCR, заголовки, колонтитулы, таблицы, сноски, подписи, комментарии, метаданные, персональные данные, защиту файла и соответствие рабочей копии оригиналу. Если найдено критическое расхождение, остановите публикацию и вернитесь к соответствующей контрольной точке, а не исправляйте только заметный симптом.
Зафиксировать границы результата
Сформируйте очищенную рабочую копию, оригинальный идентификатор, извлеченный текст, паспорт разделов и страниц, отчет OCR, список исключений, разрешение на обработку и шаблон анализа, отдельно указав подтвержденные части, исключения и дату проверки. Получатель должен видеть не только итог, но и пределы его безопасного применения.
Ограничения: Подготовка документа к анализу без потери структуры
Распознавание не восстанавливает надежно рукописный текст, поврежденный скан и сложную таблицу. Удаление видимого слоя не всегда убирает метаданные и вложения. Чувствительные материалы требуют утвержденного безопасного контура.
Передача результата: Подготовка документа к анализу без потери структуры
Аналитик получает рабочую копию, паспорт, версию оригинала, отчет качества, список исключений и правила цитирования. После анализа результат связывается с той же версией документа.
Коротко
Хорошо подготовленный документ уменьшает число неверных связей и упрощает проверку. Самое важное нельзя удалять ради сокращения: контекст, единицы и ссылки на страницы должны сохраниться.