Как очистить каталог товаров от дублей с помощью ИИ
Используйте модель для поиска пар-кандидатов, а не для прямого изменения каталога. Совпадение названия не означает, что упаковки, размеры и комплекты идентичны.

Сначала определите правило идентичности
Совпадающие названия не доказывают, что товары одинаковы. У одной модели могут быть цвета, объемы и комплекты; поставщики используют разные коды; похожие названия иногда скрывают несовместимую ревизию. Запишите правило для каждой категории до запуска сверки.
Для расходного материала важны бренд, артикул, размер и единица упаковки. Для одежды - модель, цвет, размер. Для электроники важны модификация, память, регион и состав комплекта. Разделите понятия «один продукт» и «один SKU»: варианты могут иметь общую карточку продукта, но оставаться разными складскими позициями.
Подготовьте поля и обратимую нормализацию
Экспортируйте ID, внешний SKU, GTIN при наличии, производителя, название, вариант, единицу, упаковку, активность и связи с заказами. Сохраните оригинальные значения рядом с нормализованными. Приводите регистр, пробелы, Unicode и сокращения к общей форме, но документируйте каждое правило.
Единицы можно конвертировать только по подтвержденным соответствиям: 0,5 л и 500 мл совпадут после пересчета, но 500 г и 500 штук - нет. Не удаляйте производителя или вариант ради высокого сходства текста. Сильный код тоже не безошибочен: бывают опечатки, групповые коды и повторное использование.
Ищите кандидатов, затем объясняйте сходство
Не сравнивайте все пары: число сравнений растет квадратично. Сузьте поиск по категории, бренду, размеру или части артикула. Используйте несколько независимых групп, чтобы запись с одной ошибкой не исчезла из очереди.
Ранжируйте пары по равенству идентификаторов, сходству названий, совпадению критичных атрибутов и противоречиям упаковки. Попросите ИИ объяснить каждое совпадение и различие на основании исходных полей, вернуть статус и причины. Ответ должен оставаться предложением для специалиста.
Полезно выделять классы:
- Вероятный дубль: устойчивый код совпал, критические поля не конфликтуют.
- Похожие карточки: название близко, но атрибут или код отсутствует.
- Не объединять: расходятся параметры совместимости, комплекта или количества.
Настройте пороги на размеченных примерах
Соберите пары, которые каталог признал одинаковыми, и похожие записи, которые должны оставаться раздельными. Включите отрицательные примеры: версия с другим напряжением, предмет и комплект, старая и новая упаковка, штука и коробка. Владелец категории проверяет разметку.
Посчитайте точность рекомендаций и долю пропущенных дублей на отдельной выборке. Ложная склейка часто обходится дороже пропуска: она затрагивает заказы и остатки. Автоматическое действие требует высокого порога. Между порогами направляйте пару человеку. Не переносите правило на новую категорию без повторной проверки.
Сделайте слияние обратимым
Модель формирует очередь, но не меняет основную таблицу. Покажите обе записи, конфликтующие значения, историю, остатки, изображения и основной ID. Проверяющий принимает решение или отправляет карточку владельцу данных.
До слияния определите, какая запись станет основной, куда попадут алиасы и какие поля нельзя перезаписывать. Сохраните прежние значения, автора, время и причину решения. Если меняются складские движения или история заказов, отдельный ответственный проверяет downstream процесс.
Начните на копии каталога и одной категории. Теневой режим позволяет оценить точность без изменения заказов. Автоматизируйте только однозначные пары с установленным откатом.
Следите за результатом после очистки
Измеряйте подтвержденные дубли, ложные совпадения, ручную проверку, время на пару и записи без надежного идентификатора. Разбейте результаты по поставщикам и типам товара. Внезапный рост кандидатов из одного импорта может означать изменение формата, а не качество модели.
При повторном импорте сверяйте ранее обработанные ID. Связывайте варианты с продуктом, но не объединяйте разные SKU, пока критические поля не совпали. Сохраняйте решения и запускайте регрессию после изменения нормализации, словаря или модели.
Разбор пограничной пары
У карточек совпадают бренд и часть артикула, но одна запись описывает коробку из трех единиц, другая - одну штуку. Алгоритм должен показать расхождение количества и предложить проверку, а не автоматически склеивать записи. У комплекта может быть собственный код даже при совпадающих компонентах.
Показывайте проверяющему исходные поля и источник. Не заполняйте пустой размер «по похожим товарам» без отметки о предположении. Изменение запаса или истории заказов требует отдельного процесса и ответственного владельца.
Измерение качества
Сформируйте проверенную случайную выборку до и после очистки. Считайте точность принятых пар, пропущенные дубли, спорные случаи и время проверки. Высокая доля найденных совпадений может сопровождаться множеством ложных предложений, поэтому эти показатели разделяйте.
Порог автоматизации зависит от последствий склейки. Для детали, влияющей на совместимость, цена ложного совпадения высока. Включайте автоматическое действие только для узкого класса с устойчивыми идентификаторами и проверенным откатом.
Пограничные пары
У двух ламп одной серии совпадают бренд и часть артикула, но различаются цоколь и напряжение. Сходство названия высокое, однако склейка создаст риск несовместимой поставки. Показывайте критические различия до общей оценки и не позволяйте текстовому сходству их скрыть.
Для упаковки сравнивайте количество, единицу, вложенность коробки и код набора. Для техники проверяйте регион, память, ревизию и комплект. Если поле отсутствует, отмечайте его как неизвестное, а не подставляйте частое значение. Исходные значения и источник должны оставаться видны.
Обратимое исправление
До объединения определите основной ID, алиасы и поля, которые нельзя перезаписывать. Проверьте ссылки заказов, возвратов, остатков и аналитики. На копии каталога выполните dry run и сохраните перечень затрагиваемых записей. Журнал должен содержать прежние строки, решение, автора и время.
Считайте точность на случайной выборке принятых предложений, а не только на удобных примерах. Наблюдайте отмены, исправления остатков и повторное появление дублей при следующем импорте. Если ошибки склейки влияют на совместимость или отгрузку, автоматическое объединение оставьте выключенным до доказанного порога.
Как разбирать неполные карточки
Запись без GTIN или кода производителя не должна автоматически считаться плохим дублем. Попросите систему показать, какие поля доступны, какие похожи и что отсутствует. Для пары с совпадающим названием, но пустым размером, подходящий статус - «нужно уточнение». Это не то же самое, что принять или отклонить.
Используйте связь с источником импорта: если поставщик изменил шаблон, одинаковые пустые столбцы могут массово создать сомнительные кандидаты. Сгруппируйте такие записи по файлу, поставщику и дате. Исправление шаблона даст больше эффекта, чем ручной разбор каждой строки.
Приоритизируйте очередь по ожидаемому ущербу: пары с большим остатком, частыми заказами или возвратами можно поднять выше. Не используйте популярность как доказательство тождества. После решения проверьте, не изменился ли прогноз остатков и поиск продукта для пользователя.
Контроль после миграции
После принятия партии выборочно проверьте карточки через поиск сайта, импорт нового файла и просмотр заказа. Убедитесь, что alias ведет к канонической записи, а пользовательские отзывы и остатки не исчезли. Проверьте несколько отклоненных пар: они не должны вернуться в кандидаты без нового свидетельства.
Сравните количество SKU, активные остатки, заказанные позиции и результат поиска до и после. Для большой партии сохраняйте snapshot базы и механизм rollback, чтобы восстановить конкретные связи без отмены корректных обновлений. Сообщите владельцам каталога о правилах сопоставления и известных неполных полях.
Повторный импорт помогает проверить устойчивость: один и тот же товар может прийти с другим названием или пробелом в коде. Такой случай должен связаться с прежним решением, а не запустить новое автоматическое слияние.