Anthropic сообщила о снижении извлечения данных для дистилляции моделей
12 октября Anthropic описала новые меры против несанкционированной дистилляции Claude. Компания утверждает, что ее классификаторы и изменения доступа снизили объем рассуждений, которые удается собирать для обучения копирующей модели, в 10-100 раз. Под дистилляцией здесь имеется в виду массовый сбор ответов сильной модели, чтобы воспроизвести ее способности в другой системе. Меры направлены в первую очередь на скрытые цепочки рассуждений, учетные записи и повторяющиеся попытки извлечения. Результаты и цифры основаны на данных самой Anthropic; публикация также признает издержки для разработчиков и вероятность ложных срабатываний.
Что изменилось
Защита строится вокруг доступа к рассуждениям
Anthropic считает подробные промежуточные рассуждения особенно ценными для обучения другой модели: по ним можно копировать не только итоговый ответ, но и способ решения. Компания сначала стала показывать пользователям сводки рассуждений вместо полных транскриптов. В тесте SWE-bench Verified модель, обученная на полных транскриптах, получила 80,4%, а на сводках - 71,8%. Это измерение на конкретном бенчмарке и конкретной схеме обучения; оно не показывает, что любая дистилляция становится неэффективной или что сводки ухудшают каждое возможное применение.
Новые правила ограничивают перенос контекста и аккаунтов
Компания говорит, что атакующие пробовали просить модель раскрыть предыдущее рассуждение напрямую, переносить его между диалогами, моделями и учетными записями. Для некоторых моделей она ограничила изменение предыдущего контекста новыми API-аккаунтами, сделала отдельные транскрипты доступными только организации, которая создала запрос, и усложнила чтение рассуждений моделями со слабыми защитами. Эти изменения могут затрагивать приложения, которые полагались на редактирование контекста или передачу диалогов между аккаунтами. Разработчикам следует проверять совместимость интеграций и не предполагать, что старое поведение API сохранится.
Классификаторы выявляют попытки извлечения
Второй слой защиты - двухэтапная система, обученная распознавать шаблоны запросов, которые пытаются получить скрытые рассуждения. Anthropic сообщает, что проверяла ее внутренними и внешними red-team испытаниями и устраняла найденные обходы. По данным компании, ложноположительная доля ниже 0,1%, а фильтр применяется к наиболее сильным общедоступным моделям. Это не означает, что риск ошибки равен нулю: обычный запрос может выглядеть подозрительно, а новый способ обхода - не совпасть с известными примерами. Сама Anthropic пишет, что продолжает наблюдение и ожидает новых приемов.
Повторные попытки могут привести к ограничениям
Если система связывает учетную запись с дистилляцией, она может снижать доступные лимиты, а при устойчивых попытках блокировать связанные аккаунты. С 24 сентября компания также возобновила тарификацию части запросов, которые фильтр остановил до ответа, в тех областях, где заявленная ложноположительная частота ниже 0,1%. Это меняет экономику запросов для команд, чьи легитимные задачи иногда похожи на извлечение рассуждений. При проектировании продукта стоит логировать ответы фильтра, предусмотреть обработку отказа и обратиться в поддержку провайдера, если легальная интеграция регулярно попадает под ограничения.
Оценка снижения остается корпоративной метрикой
Anthropic сравнивала число токенов рассуждений, которые, по ее оценке, извлекали нарушители на собственной платформе до и после внедрения фильтров. Компания сообщает о снижении в 10-100 раз и десятках тысяч заблокированных аккаунтов. Однако она не знает, как долго сохранится эффект, и признает, что еще не наблюдала наиболее настойчивую и технически сложную попытку обойти обновленные защиты. Это данные одной платформы, а не независимая оценка объема копирования моделей в отрасли. В материале цифры поэтому следует относить именно к измерениям Anthropic.
Как разработчику оценить новые ограничения API
Anthropic сообщает о снижении извлекаемых рассуждений в 10-100 раз после многоуровневых мер, ограничении контекста и блокировке десятков тысяч связанных аккаунтов. На SWE-bench Verified модель, обученная на полных транскриптах, показала 80,4%, а на сводках рассуждений - 71,8%. Метрики приведены компанией по собственному сервису. Публикация также признает последствия для интеграций и ложноположительные блокировки менее чем в 0,1% случаев по оценке Anthropic. Из этих данных нельзя вывести масштаб дистилляции или эффективность защиты других поставщиков.
Пройдите по используемым API-функциям: передачам контекста между запросами, чтению истории другой моделью и обработке отказов классификатора. Протестируйте сценарий миграции в тестовом аккаунте и посчитайте цену повторов, заблокированных вызовов и перехода на запасную модель. Сохраняйте диагностический идентификатор и минимальный пример при ложной блокировке, не включая персональные данные. Пересмотрите логи так, чтобы не хранить полный внутренний текст рассуждений, если приложение может работать на финальном ответе и структурированных данных.
Цифры, доля ложных срабатываний и количество блокировок являются оценками Anthropic. Эффект со временем может измениться, а новые способы извлечения - обойти текущий фильтр. Условия API и тарифы следует перепроверять перед внедрением.
Что это дает пользователю
В API-интеграциях проверьте обработку заблокированных запросов, изменение полей контекста и доступность транскриптов для разных моделей и организаций.
Для внутренней оценки качества храните собственные тестовые примеры и не используйте скрытые рассуждения поставщика как обязательный формат ответа.
Если запросы ошибочно блокируются, сохраните идентификатор вызова и минимальный воспроизводимый пример без пользовательских секретов.
Считайте полную стоимость с учетом повторов, фильтрации и перехода на запасную модель, а не только цену успешного ответа.
Что нужно учитывать
Показатель снижения в 10-100 раз рассчитан Anthropic на собственной телеметрии и не является независимым измерением всей отрасли.
Фильтры могут блокировать добросовестные запросы, а будущие схемы атак могут обходить известные классификатору шаблоны.
Меры меняют совместимость и стоимость некоторых сценариев API, поэтому условия нужно сверять с текущей документацией аккаунта.
Коротко
Обновление показывает, что борьба с извлечением возможностей модели становится частью API и правил доступа, а не только защитой отдельных промптов. Для разработчиков главные практические вопросы - совместимость контекстных функций, обработка отказов и влияние блокировок на стоимость. Заявленное снижение выглядит значительным, но пока остается оценкой Anthropic и не говорит о результатах на других платформах или после появления новых методов атаки.