Исследователь Anthropic Николас Карлини провёл эксперимент с так называемыми agent teams — группой автономных LLM-агентов, которые работают над одним проектом без постоянного участия человека.
В качестве стресс-теста он запустил 16 экземпляров Claude Opus 4.6 и поручил им написать компилятор С на Rust с нуля. Цель была следующей: компилятор должен уметь собирать Linux kernel. После почти 2000 сессий, двух недель работы и затрат около 20 000 долларов агенты выдали кодовую базу на ~100 000 строк, которая действительно собирает Linux 6.9 под x86, ARM и RISC-V.
Человек почти не вмешивался. Claude работал в бесконечном цикле: завершал задачу, брал следующую. Каждый агент запускался в отдельном контейнере, клонировал общий репозиторий, брал «лок» на конкретную подзадачу через файл в git, вносил изменения и пушил результат. Конфликты случались часто, но модель в большинстве случаев справлялась с их разрешением самостоятельно.
Ключевая часть эксперимента оказалась не в самом компиляторе, а в инфраструктуре вокруг него. Без хороших тестов агенты быстро начинали «чинить не то». В итоге основная работа исследователя свелась к проектированию тестовых harness’ов, CI и формату логов так, чтобы модель могла ориентироваться без подсказок. Например, вывод тестов специально делали коротким, с явными маркерами ошибок, а тяжёлые проверки запускались в случайной, но детерминированной подвыборке.
Параллельность работала хорошо, пока задачи были независимыми. Когда агенты дошли до сборки ядра Linux, все упёрлись в одни и те же баги. Решением стало использование GCC как «оракула»: часть файлов компилировалась эталонным компилятором, часть новым, что позволило локализовать ошибки и снова распараллелить работу.
В итоге компилятор собирает Linux, QEMU, FFmpeg, SQLite, Redis и даже Doom, но с оговорками. Нет собственного ассемблера и линкера, 16-битный x86 кодогенератор не реализован, производительность кода ниже GCC, а добавление новых фич часто ломает старые.
Русскоязычное сообщество про AI в разработке
Друзья! Эту новость подготовила команда ТГК «AI for Devs» — канала, где мы рассказываем про AI-ассистентов, плагины для IDE, делимся практическими кейсами и свежими новостями из мира ИИ. Подписывайтесь, чтобы быть в курсе и ничего не упустить!