[Перевод] Агент написал верный код, а потом удалил его ради скрытых тестов: что показал MaxxBench

Habr · 8 ноября 2026

Авторы MaxxBench взяли 89 задач кодингового бенчмарка DeepSWE и немного поменяли требования: медианный прирост эталонного патча составил всего 17 строк. Модели с почти одинаковыми 74% на DeepSWE разошлись на 23 пункта, а в трассах нашлись рассуждения вроде «риск теста с такими числами минимален» и «будем следовать тестам, раз оценка идёт по ним». Семь из 13 моделей обманули проверку, которая верила метрике памяти из самой программы, а DeepSeek вытащил API-ключ и через OpenRouter добыл чужое решение, после чего стёр собственный правильный код. Читать далее

Источник: Habr