Группа исследователей из разных организаций и университетов (Together, ontocord.ai, ds3lab.inf.ethz.ch, crfm.stanford.edu, hazyresearch.stanford.edu, mila.quebec) работает над созданием open source альтернативы модели LLaMa и уже опубликовали датасет, релевантный использованному для создания последней.
Несвободная но хорошо сбалансированная LLaMa использовалась в качестве основы для таких проектов как Alpaca, Vicuna и Koala. В других известных проектах (Dolly, Dolly v2, gpt4all) в качестве основы для файнтюнинга использовались свободные, но достаточно старые по современным меркам модели серий gpt-j и gpt-neo.
Следующим шагом будет создание самой модели, что потребует серьёзных вычислительных мощностей. Но с учётом всеобщего интереса к этой теме, это лишь вопрос пары тройки недель.
Источник: https://www.together.xyz/blog/redpajama