SubQ: первая LLM с контекстом в 12 млн токенов

Компания Subquadratic выпустила модель SubQ 1M-Preview — первую, по их словам, LLM на полностью субквадратичной архитектуре. Речь про SSA (Subquadratic Sparse Attention): вместо того чтобы сравнивать каждый токен с каждым (O(n²)), механизм выбирает только релевантные позиции на основе содержимого. Вычислительная сложность растёт линейно.

На MRCR v2 SubQ уступает Opus 4.6 (65,9% против 78,3%) и GPT 5.5 (74,0%), но заметно опережает Opus 4.7 и Gemini. На SWE-Bench и RULER — паритет с Opus 4.6. Бенчмарки верифицированы третьей стороной; карточку модели обещали показать позже.

Исследовательская версия модели работает с контекстом до 12 млн токенов. Компания привлекла $29M seed. Команда — 11 PhD-исследователей из Meta, Google, Oxford, Cambridge, ByteDance, Adobe.

Early access через API и SubQ Code (CLI-агент для кодинга, который грузит весь репозиторий в один контекст) открыт с сегодняшнего дня. Паблик пока без paper — только блог с техническим описанием SSA.

Русскоязычное сообщество про AI в разработке

Друзья! Эту новость подготовила команда ТГК «AI for Devs» — канала, где мы рассказываем про AI-агентов, плагины для IDE, делимся практическими кейсами и свежими новостями из мира ИИ. Подписывайтесь, чтобы быть в курсе и ничего не упустить!

@python_leader
06.05.2026 13:21 UTC
Первоисточник

Комментарии

@achekalin
06.05.2026 08:32 UTC
0

Вот и пришло время, когда вместо "подумаем, что слать в LLM", берут и сразу всю репу в каждый запрос шлют.

Про токены не спрашиваю, но сам факт подхода.

Правда, тут можно, наверное, и плюс увидеть - может, хоть рассуждение будет с первого захода толковым.

@fkirill
11.05.2026 10:36 UTC
0

Да не, тут вопрос не в этом. Контекст никогда не был реальным ограничением. Реальное ограничение - это структура кода, даже не размер самой кодовой базы. Если у вас внутри кода все разбито на небольшие компоненты, нет никаких прямых зависимостей (только через интерфейсы), сделан нормальный DI, и так далее, то с таким кодом можно работать и с относительно скромными размерами контекста. Личный опыт работы с миллионом строк кода в одном репозитарии.

Другое дело, что если внутри кодовой базы бардак и все зависит от всего, то тут уже, как говорится, не помогут лучшие врачи... И большой контекст вам тут работу особо не упростит, поскольку вместо того, чтобы думать только о совместимости протокола одного компонента на уровне интерфейса, вам надо просчитывать все side-effect'ы любого изменения по всей кодовой базе. В общем, все как в жизни.

Опять же, как бы там ни было, все равно мы реально не можем себе позволить эксплуатировать код, который мы не понимаем, на проде. Точнее, это кажется, что так можно до первого инцидента с потерей данных.

06.06.2026 14:04 UTC
0

Вы так говорите как будто на проде с человекописанным кодом не происходит реальной потери данных. От того что у нас есть человеческий источник бага - уровень потери от бага не меняется. А LLM уже сейчас очень хорошо видит дыры, которые даже многие мидлы пропускают.