12 июня 2017 года группой битломанов из Google была опубликована статья под названием "Attention Is All You Need", в которой миру впервые были представлены трансформеры — новый тип нейронных сетей, которые обрабатывали всё, везде и сразу.

Эту дату можно считать началом ИИ-революции, которую мы сейчас наблюдаем. Нам кажется, что все произошло практически мгновенно — однако девять лет уже пролетело!

Вся фишка была в механизме внимания. С математической точки зрения это матрица весов связности между элементами данных. Для каждого слова, пикселя или другого объекта модель вычисляет, насколько сильно он должен учитывать остальные объекты, и затем строит свое представление на основе этих весов. Именно поэтому трансформер способен выявлять сложные зависимости независимо от расстояния между элементами и даже от типа данных.

Иначе говоря, механизм внимания — это способ не хранить весь мир в памяти, а быстро находить в нем именно то, что нужно сейчас.

Авторы показали, что можно полностью отказаться от рекуррентных сетей (RNN) и использовать только внимание — и модель работает быстрее, лучше и параллелится намного эффективнее.

Attention Is All You Need, Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin

А дальше вы все сами знаете!

Кстати, если вы думаете, что трансформерами эти нейросети названы в честь Оптимуса Прайма и его друзей, то не факт — подтверждений этому не нашлось.

Подпишитесь на канал Agentic Enterprise — о жизни агентов в кровавом энтерпрайзе