Компания Vals AI, которая оценивает возможности ИИ-моделей, 9 октября опубликовала результаты сравнения одиночных агентов с командами субагентов при разработке веб-приложений. В тестах командный режим обходился в 1,8–5,1 раза дороже. Статистически значимый прирост качества обнаружился только в одном из четырёх сравнений.
Исследователи использовали Vibe Code Bench, где агент получает техническое описание и собирает работающее веб-приложение. Готовый проект разворачивают с помощью Docker Compose, а автоматизированные браузерные тесты проверяют пользовательские сценарии. В эксперимент вошли 50 приложений, две модели — GPT-6 Sol и Claude Opus 5.5 — и два уровня усилий на рассуждение: medium и max. Каждую конфигурацию запустили один раз.
В командном режиме ведущий агент мог параллельно вызывать до пяти субагентов, чтобы разделить разработку и затем собрать результат. Самый заметный эффект дала GPT-6 Sol при среднем уровне усилий: доля пройденных тестов выросла с 77,6% до 84,9%, то есть на 7,3%. Для этой пары исследователи получили p = 0,005. Остальные три разницы в качестве статистически значимыми не оказались.
Стоимость тоже зависела от конфигурации. На medium одиночный GPT-6 Sol в среднем расходовал $1,22 на приложение, а команда — $3,07. При максимальном уровне усилий сольный Sol достиг 89% за $4,82, а командный — 90,4% за $8,54. При этом командный Sol иногда заканчивал работу быстрее. Авторы подчёркивают, что время выполнения и качество нельзя свести к одному показателю.
Поведение команд различалось. Ведущий Sol обычно быстро делегировал отдельные части приложения параллельным помощникам. Claude Opus 5.5 обычно сначала описывал общие контракты между компонентами и распределял задачи последовательными этапами. Поэтому результат не доказывает, что любая архитектура с несколькими агентами хуже одиночной.
Ограничение исследования — один набор задач по веб-разработке и однократные прогоны восьми конфигураций. Его результаты нельзя автоматически переносить на программирование любого типа. Практический вывод скромнее: перед подключением субагентов полезно отдельно измерять качество, длительность и стоимость, а не считать параллельную работу гарантией улучшения.