Как сверить две выгрузки по ключу с помощью ИИ
Строка 120 в одном файле может соответствовать строке 847 в другом. Надежная сверка начинается с устойчивого ключа, а затем отдельно показывает отсутствующие, добавленные и измененные записи.
Что учесть до начала работы
Сверка неверна, если выбранный ключ не уникален или по-разному записан в двух файлах.
Совпадение итоговой суммы не доказывает совпадение отдельных строк.
Что подготовить
Что делать
Выберите ключ
Найдите неизменяемый идентификатор записи: номер заказа, внутренний ID или составной ключ из нескольких полей. Имя клиента и номер строки обычно не подходят.
Результат: Определен ключ, связывающий одну и ту же сущность в двух файлах.Проверьте уникальность
Посчитайте пустые ключи и повторы в каждом файле. Если ключ повторяется, выясните, означает ли строка позицию заказа, событие или ошибочный дубль.
Результат: Известно, сколько записей можно сопоставить один к одному.Нормализуйте представление
Приведите ключи к одному типу, не теряя ведущие нули. Для сравниваемых полей согласуйте даты, регистр, пробелы, валюты и точность округления.
Результат: Различия формата не выдаются за различия данных.Разделите результаты
Создайте четыре группы: только в первом файле, только во втором, совпадают полностью, совпадают по ключу, но отличаются по полям. Для последней группы покажите старое и новое значение.
Результат: Каждое расхождение относится к понятному типу.Проверьте итоги
Сверьте число уникальных ключей, число строк по группам и контрольные суммы числовых полей. Убедитесь, что количество строк до и после объединения объяснимо.
Результат: Нет незаметно потерянных или размноженных строк.Сохраните отчет расхождений
Запишите исходные файлы, дату, ключ, правила нормализации, допуски округления и список отличий. Не заменяйте этим отчетом сами исходники.
Результат: Сверку можно повторить и проверить другим человеком.Промпт для плана сверки двух выгрузок
Составь проверяемый план сверки двух таблиц. Не меняй исходные данные и не сравнивай строки по позиции. Файл A: [столбцы и число строк] Файл B: [столбцы и число строк] Предполагаемый ключ: [поле или составной ключ] Сравниваемые поля: [список] Допуск для чисел: [значение или НЕТ] Сначала проверь пригодность и уникальность ключа. Затем опиши нормализацию без потери ведущих нулей и алгоритм полного объединения. Результат раздели на: только A, только B, полное совпадение, различие по полям. Добавь контроль числа строк, уникальных ключей и сумм. Если ключ ненадежен, останови сверку и объясни причину.
Контроль сверки
Что чаще всего портит результат
Сравнение по номеру строки
Используйте идентификатор сущности и полное объединение по ключу.
Повторы размножили строки
До объединения проверьте уникальность и определите допустимую гранулярность записи.
Округление скрывает расхождение
Храните исходное значение и отдельно применяйте явно заданный допуск сравнения.
Короткие ответы
Что делать, если уникального ключа нет?
Составьте ключ из нескольких устойчивых полей или запросите идентификатор из исходной системы. Нечеткое сопоставление нужно проверять вручную.
Достаточно ли сравнить суммы?
Нет. Одинаковые итоги могут получиться при разных строках и компенсирующих ошибках.
Сверка выгрузок с контролем ключей и сумм
До сравнения нужно доказать, что ключ уникален и одинаково записан в обеих системах. Пробелы, ведущие нули и разный регистр создают ложные пропуски, а дубликаты умножают строки при объединении. Сначала сохраняют исходники, затем строят нормализованный ключ и отдельный отчет исключений.
Условный пример сверки двух выгрузок
Допустим, в двух файлах совпадают номера заказов, но один экспорт хранит их как число, а другой как текст с ведущими нулями. Сначала сохраните неизменные копии, проверьте тип и уникальность ключа, затем нормализуйте только заранее согласованные различия. Не удаляйте ведущие нули, пробелы или символы автоматически, пока не ясно, входят ли они в идентификатор. Посчитайте дубли, строки без пары и совпавшие записи с разницей в сумме или дате. Для каждой категории оставьте исходные значения и правило сопоставления. Случайно проверьте несколько совпадений и несколько отказов по исходным системам. При неуникальном ключе остановите автоматическое объединение и уточните составной ключ у владельца данных.
Маршрут: Сверка выгрузок с контролем ключей и сумм
Зафиксировать исходные данные
Соберите две неизмененные выгрузки, описание систем и периодов, предполагаемый ключ, словарь полей, контрольные суммы, правила нормализации, допустимые расхождения, тестовые записи и ожидаемую гранулярность. Отделите подтвержденные сведения от предположений, назначьте владельца проверки и сохраните неизменную копию входа. Если часть данных закрыта, обезличьте ее до передачи во внешний сервис и запишите, что именно было удалено.
Выполнить рабочий проход
Проведите профилирование ключей, поиск пустых и дублей, создание нормализованного поля, соединение с явным типом соответствия, расчет расхождений по выбранным колонкам, ручную проверку выборки и сверку агрегатов. Не меняйте критерии по ходу работы и сохраняйте промежуточные версии, чтобы ошибку можно было связать с конкретным действием. Любой пропуск отмечайте явно, а не заполняйте правдоподобной догадкой.
Проверить по оригиналам
Отдельный проверяющий должен оценить уникальность и полноту ключа, ведущие нули, типы, регистр, даты, валюты, дубли, строки только слева и справа, разницу значений, итоговые количества и суммы до и после объединения. Он работает с исходниками и заранее подготовленным контрольным списком, а не только читает гладкий итог. Спорные места возвращаются автору с точной ссылкой на фрагмент или параметр.
Собрать пакет результата
Подготовьте таблицу совпадений, отдельные исключения, отчет дублей, правила нормализации, агрегатную сверку, проверенную выборку, версии исходников и журнал решений. Пакет должен открываться у коллеги без истории личного чата, содержать дату, версию, ограничения и понятное правило возврата на доработку.
Критерии: Сверка выгрузок с контролем ключей и сумм
Ограничения: Сверка выгрузок с контролем ключей и сумм
ИИ помогает написать формулу или код, но не определяет истинный бизнес-ключ без владельца данных. Нечеткое сопоставление имен создает риск ложных совпадений и требует отдельного порога и ручной проверки.
Риск ошибки: Сверка выгрузок с контролем ключей и сумм
Команда сразу делает объединение many-to-many и получает завышенную сумму, не замечая дубликатов. Другой риск - удалить ведущий ноль у кода. Остановите сверку, пока кардинальность ключа не объяснена.
Передача результата: Сверка выгрузок с контролем ключей и сумм
Владелец процесса получает исходники, код или формулы, отчет соответствий и исключений, агрегаты и список нерешенных ключей. Исправления данных возвращаются в исходные системы.
Коротко
Качественная сверка объясняет судьбу каждой строки. ИИ может помочь построить формулу или код, но надежность результата определяется ключом, правилами нормализации и контрольными итогами.