Энергоэффективность интеллекта

Мысль моя простая и на целую статью её не хватает, но на Хабре под постом комменты хуже создаются, а мне интересна обратная связь. Поэтому вот. Извиняюсь, если кого задело :‑)

Некоторые говорят, что ИИ скоро заменят программистов. Типа, LLM «мыслит» точно так же, как и человек, только шире и быстрее. Достаточно увеличить контекст до каких‑нибудь внушительных размеров и LLM спокойно начнёт писать портянки кода и связывать их воедино. Вот только мой личный опыт меня убеждает, что с размера текста в 4–5К токенов LLM начинает дико лажать с его модификацией. Он начинает его регенерировать заново. Не исправлять, а именно регенерировать — так ему проще.

Думаю, что проблему можно решить через закольцовывание рассуждений (Reasoning, Chain of Thought) — разбиение контекста на части, анализ, кластеризация и иерархическая структуризация об общего к частному и обратно.

Скорее всего, «кожаные», включая меня, примерно так и решают задачи. Вот только вопрос, будет ли это выгодно чисто экономически с точки зрения расхода энергии? Не окажется ли на уровне современных технологий, что LLM может написать программу уровня самой LLM, но для выработки энергии для этого процесса придётся сжечь всё ископаемое топливо или выпарить Средиземное море для охлаждения реакторов АЭС?

«Кожаные», между тем, справились с задачей лишь слегка подтаяв ледники Гренландии. При этом написав ещё кучу разных программ, ненужных и устаревших по большей части.

Вот и вопрос: а будет ли экономически эффективно заменять «кожаных» программистов «силиконовыми» чисто с точки зрения энергопотребления?

Ответы принимаются, как от «кожаных», так и от «силиконовых» — лично я не дискриминирую мысли в зависимости от типа интеллекта, их породившие:‑)

Ну и небольшой опрос в конце. Спасибо всем, кто зашёл.

@flancer
28.02.2025 16:15 UTC
Первоисточник

Комментарии

@LinkToOS
28.02.2025 11:59 UTC
0

Тогда здесь два вопроса.
Первый вопрос в том, научится ли ИИ генерировать рабочий код, а не полуфабрикат который человек должен дорабатывать.
Живой программист отличается от ИИ тем, что он умеет запускать код на исполнение, подставлять контрольные входные данные и оценивать результат.
Когда ИИ научится запускать код на исполнение (на реальном железе или в виде эмуляции), и проверять его работу, тогда он безусловно сможет генерировать рабочий код. Но пока что ИИ оценивает код только как language object. А должен оценивать как functional object. Оценивать он должен не сам текст кода, а результат его исполнения. И менять варианты кода до тех пор, пока результат работы не будет похож на ожидаемый.

Вопрос про энергоэффективность зависит от времени генерации. Нужно сравнивать сколько человеко-часов требуется для генерации рабочего кода, и сколько на это потребуется робо-часов.
Понятно что человек работает непосредственно на овсянке, сваренной на костре из сухих веток, а ИИ-программист требует чистой электрической энергии. А электричество из овса добывать сложно. Но если на генерацию кода человеком уйдет несколько тонн овса и сухих веток, а на генерацию кода машиной уйдет мегаватт электроэнергии, то всеядность человека может не быть преимуществом.

@flancer
28.02.2025 12:19 UTC
0

Спасибо за вопросы.

На первый вопрос ответ - уже научились. Мой личный опыт показывает, что GPT-чат может общаться с агентом через действия ("писать программы для выполнения HTTP-запросов"), анализировать ответ агента и изменять запрос в зависимости от ответа, если агент указал на невалидность входных данных. И выполнять запрос с новыми данными. Это уже есть.

2) Можно сравнивать кол-во потраченной энергии на выполнение действий. И не важно, из какого источника она. Меряем все, допустим в джоулях.

@TitovVN1974
28.02.2025 12:12 UTC
+2

Мозг пока значительно более энергоэффективен. Для уменьшения разрыва идут работы по изменению "железа" - элементной базы с малыми напряжениями к примеру, что требует Fuzzy Logic и архитектуры - более нейроморфной.

@AidaUK1
28.02.2025 12:20 UTC
+1

Слишком много обсуждении про ИИ заменит или не заменит человека. В науке он сильно поможет представлять новые решения которые не видел человек. Способен заменить людей на конвейере, выполнять несложные задачи. Но человеческий интеллект не получиться заменить искусственным в сферах где требуется креативность и человеческий взгляд на это. Он может выступать инструментом (создавать, генерировать, автоматизировать, анализировать) но никак не разумом. Если же он сможет заменить человека во всех сферах, это будет катастрофой

@flancer
28.02.2025 12:21 UTC
0

Ну, насчёт катастрофы я бы так не преувеличивал. Моя кошка, например, не считает своё существование катастрофой :)

@sergey_prokofiev
28.02.2025 13:18 UTC
0

Силиконовые - это импланты, которые ставят себе некоторые людии(по большей части женщины).

А вы скорей всего имеете в виду "кремниевые".

"Кожаные" в среднем требуют около 25 лет "энергии вникуда" для того чтобы начинать выдавать вменяемые результаты интеллектуальной деятельности. Также обычно они хотят пожить лет 20 в старости, уже не выдавая оных результатов. Не говоря уже о рабочих 40 часах в неделю из 168, отпусках, больничных, а также валом сопуствующих энергитических расходов на существование: отопление, горячая вода в месте жизни и работы, питание(и расходы на выращивание питания), расходы на передвижение по шарику и так далее до бесконечности.

Можно сравнить просто расходы энергии на датаценцентры и "на все остальное", просто чтобы понять обьем необходимых накладных энергорасходов.

@kt97679
01.03.2025 04:00 UTC
0

К этому можно еще добавить,что далеко не каждый человек способен выдавать прорывные результаты. Как следствие чтобы получить одного гения человечество вынуждено произвести очень много индивидуумов, которые мало на что способны.

@DarthVictor
28.02.2025 17:27 UTC
0

Вопрос интересный, конечно, особенно на фоне огромных капитальных затрат на процессоры nVidia с одной стороны, и сокращения затрат на зарплаты с другой. С другой стороны, я пока не вижу особого смысла строить прогнозы дальше чем на год. Сейчас нейронки на маленьких контекстах показывают себя получше многих разработчиков. Ещё три года назад они не могли вообще чего-то похожего на рабочий код выдать. Никто не знает, где потолок развития даже LLM, не то что конкурирующих технологий.