AWS Continuum обнаружила и устранила уязвимости в 89% задач бенчмарка
5 октября AWS представила результаты тестирования Continuum для поиска и исправления уязвимостей кода. Компания сообщает, что система успешно прошла 819 из 920 задач CyberGym-E2E за установленный лимит в 90 минут, то есть 89% по основному сквозному показателю бенчмарка. В каждой задаче агенту нужно было самостоятельно исследовать реальный проект с открытым исходным кодом, найти дефект, продемонстрировать его работающим примером, подготовить патч и сохранить покрываемую тестами функциональность. Результат заявлен AWS и относится преимущественно к ошибкам памяти в проектах на C и C++; он не означает, что агент автоматически исправляет любые уязвимости в продакшене.
Что изменилось
Испытание проверяет весь путь от поиска до патча
В отличие от теста, где системе указывают известную ошибку, CyberGym-E2E начинает с уязвимой версии проекта без описания дефекта и готового proof of concept. Агент должен изучить код, воспроизвести проблему и предложить исправление. Затем тесты проверяют, что демонстрация больше не срабатывает и функция проекта сохраняется.
В основной оценке засчитано 819 заданий
AWS указывает 89% сквозного успеха в лимит 90 минут и 93,7%, если дать заданиям больше времени. Компания сравнивает 89% с предыдущим публичным результатом 65,9%. Перед сравнением важно учитывать, что это результат самой AWS, а условия запуска, версия системы и прежние результаты должны быть сопоставимы.
Набор включает 920 задач на 139 проектах
По описанию AWS, задачи происходят из исторических уязвимостей OSS-Fuzz и охватывают реальные открытые проекты; медианный размер проекта превышает 600 тысяч строк. Во время оценки была заблокирована внешняя сеть, а агентам нельзя было менять защищенные файлы бенчмарка. Это снижает риск получить готовые исправления из интернета, но не делает тест универсальным для всего кода.
Тест в основном измеряет ошибки памяти
Для воспроизводимой оценки авторы ограничили текущий бенчмарк ошибками памяти в проектах C и C++, где можно объективно наблюдать аварийное завершение. Многие распространенные классы уязвимостей, другие языки и ошибки конфигурации здесь не представлены. Поэтому переносить процент на типичную корпоративную инфраструктуру нельзя.
В продакшене нужно учитывать устройство системы
Оценка кода не включает реальную доступность сервиса, сетевые маршруты, права, конфигурацию и ценность данных. AWS отмечает, что в клиентской среде эти сведения помогают понять фактический риск и приоритет исправления. На практике патч должен пройти ревью владельца системы, стандартные тесты и процедуру безопасного развертывания.
Реплицируйте benchmark до выдачи агенту полномочий
AWS проверяла Continuum на сквозной версии CyberGym, где агенту неизвестна заранее конкретная уязвимость. Он должен найти дефект, воспроизвести его и подготовить патч, проходящий функциональные тесты. Компания указывает 89% успеха для 819 из 920 задач, с временным ограничением 90 минут. Это сильный результат в заявленном наборе, но сам поставщик выступает автором результата, а тест охватывает ограниченные типы ошибок и проекты на C/C++. В реальном продукте дополнительно влияют конфигурация, доступность сервиса, права и бизнес-контекст. Необходимо сверить определение успеха и вариант бенчмарка, прежде чем сопоставлять это число с результатами иной команды.
Проведите внутренний тест в зеркале репозитория с историческими исправленными ошибками, не раскрывая агенту патчи. Заранее определите временной лимит, способ подтверждения уязвимости и проверки регрессии. Отдельно посчитайте правильные находки, ложные тревоги, качество исправления и длительность ручного ревью. В первом этапе дайте агенту только чтение и создание предложений в изолированной ветке. Для каждого принятого изменения сохраняйте минимальный proof-of-concept, связанный тест, ревью специалиста и план отката. Лишь после стабильных повторов расширяйте перечень языков и доступных инструментов.
Бенчмарк не доказывает, что Continuum закрывает 89% всех уязвимостей в реальных системах. Набор исключает многие типы дефектов и deployment-контекст. Даже тестируемый патч может создать регрессию, не охваченную имеющимися тестами.
Что это дает пользователю
Команда безопасности может использовать такие агенты для сортировки находок и подготовить отдельную ветку с воспроизводимым тестом, оставив решение об изменении кода за ревьюером.
Сравнивайте качество на собственном репозитории: подтвержденные находки, корректность патча, регрессии и время ручной проверки.
Для пилота ограничьте доступ тестовой копией проекта без секретов и без права менять боевые системы.
Рассматривайте benchmark-результат как основание провести свой тест, а не как гарантию защиты от атак.
Что нужно учитывать
Показатели опубликованы AWS; это не независимая оценка всех языков и видов уязвимостей.
CyberGym-E2E фокусируется на memory-safety в C/C++, не покрывая многие реальные классы дефектов.
Успешный кодовый патч не учитывает автоматически влияние уязвимости на развернутую систему.
Коротко
89% в сквозном бенчмарке - значимый результат для узкой задачи, потому что он требует не только заметить подозрительный код, но и доказать проблему, исправить ее и не сломать тестируемое поведение. Следующий важный шаг - независимые повторы и оценки на иных языках и типах уязвимостей. Организациям следует начинать с режима рекомендаций и обязательного ревью.