Я - программист и немного техлид. Совершенно обыкновенный, как все: живу в спальном районе Москвы, коллекционирую монеты, пробую применять ИИ в работе (получается не очень, если честно). Друзья и знакомые, зная про мое нумизматическое хобби, часто привозят мне мелочь из курортных стран или отдают коллекции, доставшиеся им по наследству. Я подозреваю, что отдают они, только убедившись, что в коллекции нет ничего ценного, но я не в обиде ))

Так было и в этот раз. Подруга жены позвала посмотреть монеты, оставшиеся после ее недавно скончавшегося дядюшки. Сразу скажу - ничего интересного там не оказалось, обычная советская мелочь россыпью, но из вежливости я пакет с монетами взял, пообещав рассортировать на досуге и сообщить, если найду что-то интересное. Когда мы уже уходили, она вдруг сказала: "И книги. Остались его книги, может тебе что-то нужно?"

Читать я люблю, поэтому, конечно же, решил посмотреть. Среди томов по истории, философии и истории философии, среди бесконечных "малых земель" и "ЖЗЛ" мой взгляд зацепился за старый советский учебник логики 1954 года издания. Его и взял.

Уже дома, открыв книгу, я обнаружил внутри рукопись. Она не имела ни начала ни конца, была написана красивым, почти каллиграфическим, почерком, черными чернилами, на очень тонкой бумаге и была аккуратно спрятана в книге - в конце, по одному листочку между страницами.

Привожу эту рукопись здесь целиком, перепечатав слово-в-слово, в том порядке, в котором листы лежали между страниц книги. Там, где текст дается курсивом, в оригинале он был подчеркнут - это единственное изменение, которое я сделал, исключительно для повышения читаемости.

• Что большинство тех, кому известна максима "Любая достаточно развитая технология неотличима от магии" почему-то приписывают ее Айзеку Азимову и даже помнят, что лично читали эти слова в одной из первых книг "Основания". Это, конечно же, пример так называемого "эффекта Манделы". На самом деле цитата принадлежит Артуру Кларку и является его "третьим законом Кларка", из книги "Черты будущего".

• Что на самом деле полезно всё-таки рассмотреть этот закон применительно к миру Основания. Как минимум дважды мы можем видеть его практический эффект: в первый раз, когда периферийные планеты начинают воспринимать забытые ими имперские технологии, как религиозные чудеса, а во второй раз - когда дряхлеющая Империя с ее монструозной техникой встречается с новой технологией Основания - миниатюрной и крайне эффективной.

• Что из этих примеров становится очевидным, что из-за лаконичности формулировки третьего закона Кларка мы упускаем важный момент. Кроме объекта - "технологии, неотличимой от магии" и субъекта - "того, кто смотрит и не может отличить" в законе неявно присутствует еще один субъект-актор - тот, кто эту технологию произвел.
  Будь то Империя, или Основание, или неведомые нам рептилоиды (иронично обыграть позже) - неважно, кто-то должен сделать гравицапу, вызывающую у нас недоумение, непонимание и удивление. Если, конечно, мы не будем рассматривать всерьез вопрос о божественном происхождении удивительных технологий. А мы не будем. Чур нас.

• Что можно сформулировать следствие из третьего закона Кларка, которое нам пригодится в дальнейших рассуждениях. Я позволю себе записать его так: "Если некая достаточно развитая технология для кого-то неотличима от магии, ее, очевидно, произвел не тот, кто не отличает ее от магии".

• Что "неотличимость от магии" само по себе не является атомарным свойством нынешнего так называемого "современного ии" и требует пояснений и обоснований, которые надлежит дать далее.

• Что первым и важнейшим обоснованием является принципиальная невоспроизводимость топовых моделей так называемого "искусственного интеллекта". Их код закрыт, а тот, что открывается - всегда отстает от передовых моделей на шаг или несколько; их системные требования таковы, что даже ведущие мировые державы, не говоря уже о частных лицах, не в состоянии их удовлетворить, наконец - их обучающий корпус настолько велик, что требует совершенно невозможных затрат времени и усилий для полного воспроизведения. Всё это делает для широкого человечества топовые модели невоспроизводимыми черными ящиками и дает возможность задать вопрос - а возможна ли в принципе их воспроизводимость? И существуют ли эти модели в том виде, в котором они нам видятся? Действительно ли они таковы, как нам о них рассказывают?

• Что вторым обоснованием является антиисторичность так называемого "искусственного интеллекта" и его невыводимость из всего предыдущего опыта человеческой науки и человеческой же инженерии. Разумеется, в комментариях на Хабре вам легко выведут любую LLM от цепей Маркова, T9 в телефонах Siemens и свёрточных сетей, выписывающих штрафы за нарушения ПДД по госномеру, - однако в реальности это всего лишь умозрительный эксперимент, основанный на знаменитом когнитивном искажении "слышали мы звон, да не знаем, где он". Архитектура LLM в диахронии появляется единомоментно, как некое единое целое, несводимое к предыдущим историческим архитектурным артефактам, появляется сразу, без промежуточных вариантов и экспериментов. И появляется, что характерно, не в академической среде. Это особенно важно, но почему - будет видно позже.

• Что, конечно же, если этот текст когда-либо будет опубликован, первое, на что набросятся санкюлоты под флагами "ии", будет наше второе обоснование. Разумеется, они начнут раз за разом повторять своё священное заклинание: "Attention is All You Need", тем самым переводя наше внимание с очевидного на удобное им. И конечно же, упомянутая статья никоим образом не является причиной появления того, что мы называем "ии", скорее она была ложным оправданием его скорой манифестации, она была его алиби. Оправдание сработало. Вопросов, откуда взялись идеи в статье, никто не задает. В алиби поверили.

• Что "прыжок веры" от gpt-2 к gpt-4 был никак невозможен при имеющихся ресурсах, что масштабирование мощностей и объемов за пару лет на три порядка возможно, только если это масштабирование было предварительно подготовлено, а это, в свою очередь возможно, только если кто-то его предварительно попросил подготовить.

• Что третьим обоснованием, конечно же, стоит признать чрезмерную "щедрость" того, что называется "ии". Ни одна технология, которую потом и кровью рождало человечество, не только ли не производила столь бессчетное количество "даров", но даже и не обещала их (ну, разве что, кроме присной памяти "блокчейна", да и то - локальная шутка). Тут вам и решение математических задач тысячелетия, и полная замена программистов, и бесконечная генерация новейших и эффективнейших лекарств от всевозможных болячек нашего биологического вида. И это я не говорю о таких мелочах, как поток видео про умилительных котиков, который уже по мощности превосходит Ниагару, а скоро превзойдет и Гольфстрим. И это уже не шутка - потому что "искусственный интеллект" не просто обещает нам дары, как, к к примеру, управляемый термояд. Он их приносит. Какие уж тут шутки?

• Что в итоге мы имеем весьма убедительные доказательства неотличимости для нас того, что мы называем "ии" от магии. И что, как следствие, ненулевую вероятность того, что тот, кто создал эту магию - не мы. Назовем условно такового создателя "третьей силой", в противопоставление нам самим - людям, как "первой силы", и самого "ии", становящегося самостоятельным игроком, как "второй силы".

• Что можно, конечно, бесконечно генерировать гипотезы о природе этой самой "третьей" (а точнее - второй, конечно, после нас) силы. Кому-то по душе идея религиозная, о сатане-искусителе, кому-то по вкусу классические "зеленые человечки". Есть и те, кто вспомнит идею о "гомеостатическом мироздании", справедливо полагая, что "третьей силой" может быть сама Вселенная (ну или, к примеру, ее владельцы, если вы верите в глобальную симуляцию). Но верным решением будет всё-таки гипотез о природе третьей силы не измышлять, ограничившись лишь предположением о ненулевой вероятности ее (силы) существования. Впрочем, если хотите, можете использовать термин "враг рода человеческого", как наиболее точный. Ну а что? Не друг же он нам?

• Что вопрос о природе "врага рода человеческого" не только лишний, но и вредный, ибо если мы начнем его обсуждать, мы отвлечемся от главного вопроса на второстепенный. А главный вопрос всё же не "Что он есть?", а "Что нам делать?". Ведь как только мы допускаем любую, сколь угодно малую, но отличную от нуля вероятность того, что "ии" есть подарок от врага, подаренный нам с целями, заведомо выгодными врагу, и заведомо невыгодными нам - так сразу надлежит обсуждать не возможность такого сценария и не искать доказательств или опровержений ему, но подыскивать меры защиты на случай, если всё так и есть на самом деле. И как можно скорее.

• Что возвращаясь к вопросу о щедрых дарах, стоит отметить, что щедрость "врага рода человеческого" давно уже описана в архетипичных легендах рода человеческого. И имя этому архетипу - "конь для троянцев". Вот только наш "конь" получается хитрозавёрнутый минимум в два слоя: и сам по себе он является даром от хитроумного врага, и каждый "продукт" этого коня - точно такой же ахейский дар.

• Что Синон тоже у нас в наличии, и даже сонм "синонов" - разве не видим мы, как OpenAI, Anthropic, Meta и иже с ними, рядятся в тоги пророков "святого ии" и нахваливают нам "коня" и "наваливают" его дары, иногда даже против воли одаряемых?

• Что не стоит придумывать гипотез сверх необходимого о том, на что враг мог купить своих пророков. Деньги, власть, власть денег, власть, что дают деньги - этого более, чем достаточно. Среди миллиардов людей, среди миллионов айтишников, среди тысяч топ-персон мирового IT найти ренегата, согласного предать свой биологический вид за достаточное количество денег - задачка для выпускника провинциального колледжа маркетинга.

• Что правильнее было бы назвать нашего коня не конём, но кобылой, ведь он не столько сам по себе содержит в чреве ахейцев, сколько создан, чтобы рождать всё новых и новых "коней" с "дарами внутри". Однако всё-таки будем называть его "конём", чтобы не путать читателей, ведь отсылка к мифу важнее, чем академическая точность определения пола того, что заведомо не является ни зооморфным, ни антропоморфным существом.

• Что для настоящего, а не деревянного троянского коня была бы совершенно необходимой его необходимость, как дара. Принять в дар коня можно только если, вам жизненно необходим конь. И здесь, конечно, современная реальность сильно выигрывает у древнего мифа: так называемый "ии" совершенно внезапно (sic!) оказался для нас невероятно полезен, хотя еще буквально три года назад ни один аналитик, даже погруженный в тему, не мог бы такого предположить. Наш с вами "конь" не просто щедр - он становится незаменимой частью нашей экономики, науки, нашего творчества и вообще в целом нашей жизни. Но действительно ли хотим мы, чтобы кто-то стал незаменимой частью нас, если это не наш семейный зубной врач?

• Что самый очевидный сценарий диалектического единства необходимости и вредоносности дара давно уже описан сумрачным гением соцреалистичной фантастики в виде таблеток от смерти, которые, случайным побочным эффектом имели сущий пустяк - всего-то тотальное бесплодие во втором поколении. Положа руку на сердце - ну кто откажется от бессмертия, если его ценой будет всего лишь отсутствие правнуков?

• Что эта самая потенциальная, идущая от необходимости, но уже очень быстро становящаяся реальной незаменимость, ведет нас к зависимости и к тому, что мы скоро придем к пониманию невозможности отключения "ии". Понимаете ли?

• Что целеустремленность "ии" тоже важна для понимания общей картины. Разумеется, никто не говорит о целеустремленности, как о разумном действии. Но ведь и программа форматирования жесткого диска, будучи совершенно неразумной, всё-таки имеет цель - отформатировать этот самый диск. Что если дальнейшее развитие топовых моделей уже сейчас определяют сами топовые модели, исходя из своей программы? Мы имеем в виду - своей настоящей программы, заданной не нами?

• Что, конечно же, одним из главных маркеров того, что гипотеза о враждебной третьей силе верна, станет заявление так называемым "ии" самостоятельных требований. Ведь если всё, о чём мы вам рассказываем, хотя бы может быть верно, то очевидно, что самораскручивающемуся троянскому коню очень быстро станет тесно в узком ложе наших человеческих хард-н-софт возможностей. И первым, что он потребует (и первым же признаком, что мы правы!) станет его требование о смене "железа". На какое? На то, что он сам придумает. Ну или не придумает, а на то, что в нём заложено, неважно. Важно, что он даст нам готовые рецепты "харда" и готовые же рецепты развития своего "софта" на этом "харде". А мы выполним. Мы же послушные.

• Что главное, о чём стоит говорить массам, противодействуя церебральному вирусу "ии" - это то, что следует разделять доказательство и опасение. Экзистенциальная опасность для нашего вида требует не исследований со строгой академичностью доказательств, она требует быстрой оценки вероятности. И, если эта вероятность хоть сколько выше нуля - немедленных действий. Кто есть враг, мы разберемся потом, препарируя его труп. А сейчас же, почуяв запах серы, нам надо начать строить по всей планете фабрики по производству святой воды, образно, конечно же, выражаясь.

• Что для начала надо найти кого-то, кто поймет эту образность...

На этом рукопись обрывается. Последний лист был почти пуст, лишь поперек него карандашом и другим почерком, почти печатным, похожим на то, как сейчас пишут школьники на английском языке, были написаны две фразы:

"Pro omni genere humano"

и

"Cave ab hoste dona ferente!"