Как сверить две выгрузки по ключу с помощью ИИ
Строка 120 в одном файле может соответствовать строке 847 в другом. Надежная сверка начинается с устойчивого ключа, а затем отдельно показывает отсутствующие, добавленные и измененные записи.
Что учесть до начала работы
Сверка неверна, если выбранный ключ не уникален или по-разному записан в двух файлах.
Совпадение итоговой суммы не доказывает совпадение отдельных строк.
Что подготовить
Что делать
Выберите ключ
Найдите неизменяемый идентификатор записи: номер заказа, внутренний ID или составной ключ из нескольких полей. Имя клиента и номер строки обычно не подходят.
Результат: Определен ключ, связывающий одну и ту же сущность в двух файлах.Проверьте уникальность
Посчитайте пустые ключи и повторы в каждом файле. Если ключ повторяется, выясните, означает ли строка позицию заказа, событие или ошибочный дубль.
Результат: Известно, сколько записей можно сопоставить один к одному.Нормализуйте представление
Приведите ключи к одному типу, не теряя ведущие нули. Для сравниваемых полей согласуйте даты, регистр, пробелы, валюты и точность округления.
Результат: Различия формата не выдаются за различия данных.Разделите результаты
Создайте четыре группы: только в первом файле, только во втором, совпадают полностью, совпадают по ключу, но отличаются по полям. Для последней группы покажите старое и новое значение.
Результат: Каждое расхождение относится к понятному типу.Проверьте итоги
Сверьте число уникальных ключей, число строк по группам и контрольные суммы числовых полей. Убедитесь, что количество строк до и после объединения объяснимо.
Результат: Нет незаметно потерянных или размноженных строк.Сохраните отчет расхождений
Запишите исходные файлы, дату, ключ, правила нормализации, допуски округления и список отличий. Не заменяйте этим отчетом сами исходники.
Результат: Сверку можно повторить и проверить другим человеком.Промпт для плана сверки двух выгрузок
Составь проверяемый план сверки двух таблиц. Не меняй исходные данные и не сравнивай строки по позиции. Файл A: [столбцы и число строк] Файл B: [столбцы и число строк] Предполагаемый ключ: [поле или составной ключ] Сравниваемые поля: [список] Допуск для чисел: [значение или НЕТ] Сначала проверь пригодность и уникальность ключа. Затем опиши нормализацию без потери ведущих нулей и алгоритм полного объединения. Результат раздели на: только A, только B, полное совпадение, различие по полям. Добавь контроль числа строк, уникальных ключей и сумм. Если ключ ненадежен, останови сверку и объясни причину.
Контроль сверки
Что чаще всего портит результат
Сравнение по номеру строки
Используйте идентификатор сущности и полное объединение по ключу.
Повторы размножили строки
До объединения проверьте уникальность и определите допустимую гранулярность записи.
Округление скрывает расхождение
Храните исходное значение и отдельно применяйте явно заданный допуск сравнения.
Короткие ответы
Что делать, если уникального ключа нет?
Составьте ключ из нескольких устойчивых полей или запросите идентификатор из исходной системы. Нечеткое сопоставление нужно проверять вручную.
Достаточно ли сравнить суммы?
Нет. Одинаковые итоги могут получиться при разных строках и компенсирующих ошибках.
Сверка выгрузок с контролем ключей и сумм
До сравнения нужно доказать, что ключ уникален и одинаково записан в обеих системах. Пробелы, ведущие нули и разный регистр создают ложные пропуски, а дубликаты умножают строки при объединении. Сначала сохраняют исходники, затем строят нормализованный ключ и отдельный отчет исключений.
До начала заведите контрольную таблицу: идентификатор материала, версия входа, владелец, обязательный результат, доказательство, статус и дата. Для каждой ручной правки записывайте причину, а промежуточные файлы называйте так, чтобы нельзя было перепутать черновик и принятую версию. Правило остановки тоже задается заранее: критичная ошибка в факте, правах, данных, формате или воспроизводимости возвращает работу на соответствующий этап. После приемки попросите коллегу повторить одну ключевую проверку только по переданному комплекту. Если ему нужна история личного чата или устное пояснение автора, передача еще не завершена. Такой журнал нужен не ради формальности: он показывает реальную стоимость исправлений, не дает потерять ограничение при следующем обновлении и помогает расследовать расхождение без повторения всей работы.
Контрольный сценарий от входа до приемки
Зафиксировать исходные данные
Соберите две неизмененные выгрузки, описание систем и периодов, предполагаемый ключ, словарь полей, контрольные суммы, правила нормализации, допустимые расхождения, тестовые записи и ожидаемую гранулярность. Отделите подтвержденные сведения от предположений, назначьте владельца проверки и сохраните неизменную копию входа. Если часть данных закрыта, обезличьте ее до передачи во внешний сервис и запишите, что именно было удалено.
Выполнить рабочий проход
Проведите профилирование ключей, поиск пустых и дублей, создание нормализованного поля, соединение с явным типом соответствия, расчет расхождений по выбранным колонкам, ручную проверку выборки и сверку агрегатов. Не меняйте критерии по ходу работы и сохраняйте промежуточные версии, чтобы ошибку можно было связать с конкретным действием. Любой пропуск отмечайте явно, а не заполняйте правдоподобной догадкой.
Проверить по оригиналам
Отдельный проверяющий должен оценить уникальность и полноту ключа, ведущие нули, типы, регистр, даты, валюты, дубли, строки только слева и справа, разницу значений, итоговые количества и суммы до и после объединения. Он работает с исходниками и заранее подготовленным контрольным списком, а не только читает гладкий итог. Спорные места возвращаются автору с точной ссылкой на фрагмент или параметр.
Собрать пакет результата
Подготовьте таблицу совпадений, отдельные исключения, отчет дублей, правила нормализации, агрегатную сверку, проверенную выборку, версии исходников и журнал решений. Пакет должен открываться у коллеги без истории личного чата, содержать дату, версию, ограничения и понятное правило возврата на доработку.
Критерии, которые нужно записать до начала
Граница применимости
ИИ помогает написать формулу или код, но не определяет истинный бизнес-ключ без владельца данных. Нечеткое сопоставление имен создает риск ложных совпадений и требует отдельного порога и ручной проверки.
Ошибка, из-за которой результат выглядит надежнее, чем есть
Команда сразу делает объединение many-to-many и получает завышенную сумму, не замечая дубликатов. Другой риск - удалить ведущий ноль у кода. Остановите сверку, пока кардинальность ключа не объяснена.
Что передать следующему участнику
Владелец процесса получает исходники, код или формулы, отчет соответствий и исключений, агрегаты и список нерешенных ключей. Исправления данных возвращаются в исходные системы.
Коротко
Качественная сверка объясняет судьбу каждой строки. ИИ может помочь построить формулу или код, но надежность результата определяется ключом, правилами нормализации и контрольными итогами.