[Перевод] Прогнал агента на $90 тысяч с разными техниками тестирования: TDD снова в хвосте

Habr · 6 ноября 2026

Дэн Лу дал агенту на GPT-6 Astra реализовать Pandoc и в каждом условии менял только указание, как тестировать: 25 условий по 25 прогонов, около 90 тысяч долларов по розничным ценам. Скрытые тесты разошлись от 40,5% у TDD до 45,1% у дифференциального тестирования при 44,1% без всяких указаний. Автор сам предупреждает, что данных мало, и разбирает, что из этого можно вынести, а заодно почему вирусное «тесты от ИИ доказанно бесполезны» не следует из проверки на DeepSWE. Читать далее

Источник: Habr