ИИ-агенты решили 99,4% задач. Но сначала 23 инженера 404 часа чинили сам экзамен
Habr ·
Представьте, что вы нанимаете программиста. Даёте ему 100 задач из реальных проектов, проверяете решения автоматическими тестами и получаете результат: 99 правильных. Впечатляет. Особенно если программист — нейросеть. Но затем выясняется, что часть экзаменационных заданий составлена неправильно. Некоторые тесты отвергают работающий код. Другие принимают неполные исправления. А в отдельных случаях испытуемый может найти готовый ответ в интернете. Именно с такой проблемой столкнулись исследователи, оценивающие современных ИИ-агентов для программирования. В сентябре 2026 года вышла обновлённая версия SWE-Bench Pro V2 — набора реальных инженерных задач из GitHub-репозиториев. Лучший результат на публичном наборе достиг 99,4% . Но самое интересное в этой истории — не рекорд модели, а то, что пришлось сделать для его измерения. Как ИИ-программистов вообще проверяют Обычный тест по программированию выглядит просто: напиши функцию, которая сортирует массив, ищет элемент или обрабатывает строку. Для современных моделей такие задания уже не особенно показательны. В реальной разработке всё сложнее. Есть существующий проект, десятки файлов, зависимости, старый код и ошибка, которую нужно исправить, ничего не сломав. Именно такие задачи используются в семействах бенчмарков SWE-bench. Агент получает репозиторий в определённом состоянии и описание проблемы. Затем он может читать файлы, анализировать код, запускать тесты и изменять проект. В конце оценивается полученный патч. Изначальный SWE-Bench Pro содержал 1865 задач из 41 репозитория. Это существенно ближе к настоящей инженерной работе, чем отдельные алгоритмические упражнения. Читать далее