Какой прогресс? В размере моделей? Да каждое новое поколений гораздо больше, но на качестве ответов это почти не сказывается, чему доказательством и эта новость. LLM вышли на плато пару лет назад и никаких особых улучшений, кроме увеличившегося ценника с тех пор не было.

Есть, способы обучения, подкрепление и всякое такое. Тупо скормить больше данных и получить лучше не работает: старый опус "тупее" нового соннета

Сильно решает т.н. alighment, по сути цензурирование модели. Который по сути есть лоботомирование модели, после чего она становится услужливым дурачком, который никогда не спорит и не придумывает новых идей.

Если говорить про локальные модели, то очень сильно влияет наличие режима thinking и размер квантования модели.
Я на Mistral q4_k_m экспериментировал и её по сюжету рассказа при генерации текста надо было чуть ли не за руку вести, иногда буквально по одному предложению, вместо большого куска текста. И даже так она постоянно путалась и выдавала фигню.
Когда я её поменял на Magistral q4_k_m от того же разработчика, но уже с режимом думания - она стала проглатывать весь сюжет за один раз, даже сложный. Её всё равно периодически заклинивало, но разница в качестве была прям на порядки.
Ради эксперимента решил попробовать q6 квантование - так она перестала заклинивать там, где q4-версию стабильно клинило. Скорее всего, если использовать q8 или q16 - станет еще лучше. А там же еще и fp16 версии есть с уже совсем негуманными требованиями к ресурсам...