Впервые я столкнулся с Лабораторией нейронаук и поведения человека буквально на этой неделе, прочитав статью на Хабре «ИИ может менять мнение человека. Мы проверили это на моральных дилеммах». Учитывая авторитет Сбера как разработчика лучшего в России ИИ, я отнесся к статье достаточно серьезно. Тем удивительнее было для меня то, что авторы (коллектив сотрудников Лаборатории нейронаук) отнеслись к своей статье менее серьезно.
Ошибки, которые я оптимистично классифицировал как опечатки, и крайне спорная интерпретация собственных экспериментов — всё это заставило меня попытаться проанализировать, что это за Лаборатория и какие цели она перед собой ставит.
Лаборатория нейронаук в науке
К сожалению, поиск в интернете не позволил мне найти ни одной научной публикации, кроме той, анонс которой был опубликован на Хабре и привлек моё внимание. То есть научное подразделение Сбера (я надеюсь, что само название «Лаборатория» подразумевает науку), созданное в 2019 году, за шесть лет не создало научного бэкграунда. И к этой статье у меня сразу возникли вопросы.
В первую очередь, это ошибки в описании методики проведения эксперимента. Авторы путаются в определении контрольной группы и расчете отклонений. Во вторую очередь, ошибки в применении философских терминов — например, искажение сути «деонтологии» (подробнее в комментариях к статье). С одной стороны, это похоже на опечатки, но с другой — демонстрирует легкость использования инструментов, когда во главу угла ставится заранее заданный результат.
В целом, статья пыталась доказать оригинальную концепцию руководителя Лаборатории Андрея Курпатова, предполагающую, что человек в своей основе является детерминированным биологическим автоматом, лишенным свободы воли, глубоко конформным и легко управляемым внешними стимулами или алгоритмами, в то время как его сознание лишь постфактум оправдывает уже принятые мозгом решения.
Но некорректная постановка эксперимента, скорее, доказывает обратное: участники успешно сохраняли свое первоначальное мнение, а «высокая конформность» авторами была получена лишь из-за перевернутой математической логики в расчете метрик (когда близость к ответам контроля почему-то была названа конформностью, а не независимостью). Впрочем, из-за путаницы в статье я не могу с уверенностью утверждать, что именно имели в виду авторы.
Более того, эксперимент, в котором в первой части шесть человек повторяют неверное суждение (без аргументов и обоснования), а во второй роботизированный голос приводит аргументы и объясняет, некорректен. Производить какое-то обоснованное сравнение здесь невозможно.
Человек — существо социальное. В первом случае ему проще согласиться публично, но в голове держать, что собеседники несут какую-то дичь и это как-то глупо, что и отражается в окончательной анкете. Во втором случае человек размышляет и соглашается. То есть фактически измеряется сила убеждения философского аргумента, а не субъекта давления.
Сам факт того, что в процессе общения с людьми отклонение между явно озвученным мнением и фактически указанным в анкете огромное по сравнению со случаем, где беседа шла с ИИ (56% и 2.6%), говорит об отсутствии давления со стороны ИИ и ставит под вопрос выводы препринта.
По сути, всё исследование Лаборатории доказало известный со времен Аристотеля факт: если человеку аргументированно объяснять, он может изменить свою точку зрения.
Что ж, возможно, цель у Лаборатории не наука, а что-то другое. Или, что хуже, заранее заданный вывод выстраивает исследование и результаты. Давайте оценим, над чем трудится Лаборатория.
Лаборатория нейронаук в бизнесе
Если учесть подход к человеку как к глубоко конформному биоавтомату, лишенному свободы воли, то направление исследований вполне последовательно и логично:
Детекция эмоций: Разрабатываются методы анализа голоса, чтобы в реальном времени определять эмоциональное состояние Человек здесь рассматривается не как субъект, а как источник биометрических сигналов, которые нужно расшифровать без его ведома.
Повышение лояльности: Серия методологий и фреймворков создания эмоционально клейкого клиентского опыта, в основе которых – знания о потребностях, эмоциях и психологии людей.
Психопрофилирование от колл-центров до топ-менеджеров: Разрабатываются системы формирования профилей, которые собирают ваши цифровые следы и классифицируют вас. Интересен алгоритмический подбор в колл-центрах: система определяет нейропрофиль звонящего клиента и соединяет его с оператором, чей психотип лучше всего подходит для эффективного урегулирования. Схожие алгоритмы применяются и для профилирования самих сотрудников, отсеивая тех, кто не вписывается в математическую модель успеха.
Не факт, что всем этим занимается Лаборатория, но эти направления соответствуют задачам, поставленным перед ней. Первый зампред правления Сбербанка Лев Хасис прямо заявил: «Мы хотим благодаря разработкам лаборатории сформировать эмоциональную связь с каждым, кто соприкасается с продуктами нашей экосистемы, и расцениваем эту связь как основу нашей конкурентоспособности».
А издание CNews сообщило о загадочном направлении исследований Сбера — «ИИ-модель психической реальности человека», что вполне укладывается в логику задач Лаборатории.
То есть задач — подобрать инструменты для влияния на человека. Впрочем, желание компании быть конкурентоспособной вполне понятно, и я его поддерживаю. Другой вопрос, что основа, которая воспринята как база для выстраивания работы с клиентом, неверна.
Человек — это манипуляционный автомат, или субъект?
У Курпатова прослеживается простой тезис: человек вторичен, автоматичен и управляем. Как и любой простой тезис, его легко воспринимать и легко с ним соглашаться.
Проблема в том, что простота этого тезиса оборачивается его практической несостоятельностью.
Свести человека к автомату без свободы воли — значит проигнорировать фундаментальное свойство человеческой субъектности: способность к рефлексии и пересмотру собственных установок. И это свойство, как ни странно, подтвердили данные их собственного эксперимента. Отсутствие разрыва между публичным и приватным ответом в группе «ИИ с обоснованием» (всего 2,6%) — это не проявление конформности. Это проявление критического мышления: человек прочитал аргумент, согласился или не согласился, и публично заявил ровно то, что думает, в отличие от эпизода, где шесть человек навязывали своё мнение.
Попытка построить манипуляционные алгоритмы, опираясь на ложную механистическую парадигму, обречена на провал. Какой смысл во фреймворках и психопрофилировании, если сам объект управления (человек) вступает с системой в диалог, а не в одностороннее подчинение? Если подмена понятий «конформность» и «убеждение» видна каждому, читающему препринт, то насколько эти алгоритмы будут эффективны в реальной борьбе за клиента? Скорее всего, они будут давать ровно такой же шум, как и бесполезные опросники NASA-TLX в их же эксперименте.
В итоге мы получаем лабораторию, которая шесть лет работает над созданием «кнопки управления человеком», публикует статью, полную логических и математических ляпов, и в этой статье невольно доказывает лишь то, что люди — это не кнопки.
Успокаивает то, что человечность, продемонстрированная в научной статье с кучей авторов, наверняка сохранится и в остальных проектах Лаборатории.