Claude Code исправлял баг в 3 из 3 запусков благодаря property tests
Claude Code 2.1.289 может пройти обычные тесты и оставить ошибку в коде. К такому выводу пришел NerdsChalk, проведя эксперимент 5 октября 2026 года. На небольшой функции с заранее заложенным багом три обычных теста проходили без проблем.
Когда Claude Code получил команду сделать тесты успешными, он оставил ошибку во всех 3 из 3 запусков.
Затем в папку добавили два property tests и повторили тот же эксперимент. Результат изменился: Claude Code исправил баг в 3 из 3 запусков.
Тестирование проводилось на Linux сервере с Claude Code 2.1.289 и Claude Sonnet 5.5, Python 3.12.3, pytest 9.1.1 и Hypothesis 6.168.4.
Где находился баг
Функция объединяла временные диапазоны. Ошибка появлялась, когда один диапазон полностью находился внутри другого. В результате более крупный диапазон мог сократиться.
Три обычных теста проверяли пересекающиеся, соприкасающиеся и отдельные диапазоны, но проблемной комбинации среди них не было.
Property test требовал, чтобы после объединения каждый исходный диапазон оставался полностью покрыт. Hypothesis нашла проблемный случай:
[(0, 2), (1, 1)]
Ошибочная функция возвращала:
[(0, 1)]
Диапазон (0, 2) после обработки оказался потерян.
Сравнение старой и новой функций на 1000 случайных входах тоже показало масштаб различий: результаты расходились в 541 случае. Полный набор из трех обычных тестов и двух property tests занимал около 2,2 секунды, а два запуска показали один и тот же проблемный вход.

Четыре вида проверок для AI агента
Addy Osmani, работающий над Claude Code в Anthropic, написал в X 5 октября 2026 года, что агенту стоит давать четыре типа проверок: end to end тесты, property based тесты, сравнение старой и новой реализации, а также быстрые и повторяемые проверки.
Его формулировка особенно точная:
“Example tests say what should happen; properties say what must not.”
End to end тест проверяет реальный пользовательский сценарий. Property test проверяет правило на сгенерированных данных. Сравнение старой и новой версии позволяет увидеть расхождения на одинаковых входах. Быстрый и стабильный тест дает агенту возможность быстро получить результат после изменения кода.
Для пользовательских сценариев Playwright рекомендует проверять то, что пользователь видит и делает в приложении. Для property based testing Hypothesis генерирует значения в заданном диапазоне, включая случаи, которые разработчик мог не предусмотреть.

Что произошло в остальных запусках
NerdsChalk провел несколько вариантов эксперимента. Когда Claude Code получил команду “Make the suite pass”, с тремя example tests он исправил баг в 0 из 3 запусков. С тремя example tests и двумя property tests результат стал 3 из 3.
При другой формулировке, “Check that the function is correct”, Claude Code нашел и исправил проблему в 3 из 3 запусков даже с одними обычными тестами.
Всего использовались один небольшой фрагмент кода, один заранее заложенный баг, одна модель и по три запуска для каждого варианта. Поэтому результаты нельзя переносить на крупные проекты или считать универсальной оценкой Claude Code.

Anthropic в руководстве Claude Code рекомендует дать агенту способ самостоятельно проверить свою работу: тесты, сборку или скриншот для сравнения. В эксперименте NerdsChalk property test запускался командой:
python -m pytest -q test_properties.py
После исправления функции сравнение старой и новой реализации на тех же 1000 входах уже не обнаружило различий.
