Чем больше мы узнаём о том, как "думает" ИИ, тем страннее это кажется

Нам по-прежнему мало известно о том, как "думает" искусственный интеллект. Подайте запрос ChatGPT, Claude или Gemini, и они выдадут ответ. Однако большая часть внутренних процессов, происходящих между запросом и ответом, до сих пор окутана тайной.

Исследователи из Anthropic полагают, что им удалось обнаружить новую часть головоломки мыслительного процесса ИИ: "рабочую область", где концепции, над которыми Claude может безмолвно размышлять, "загораются", даже если Claude никогда их не выражает.

Удивительно в этой рабочей области, названной "J-пространством", то, что Anthropic фактически не проектировала её. Вместо этого, согласно теории Anthropic, J-пространство "появилось само по себе" в процессе обучения Claude.

Итак, почему это важно? То, что делает ChatGPT, Claude, Gemini и другие системы ИИ столь креативными и искусными в решении проблем — их внутренние нейронные процессы — также делает их непредсказуемыми.

Понимание того, как "думает" ИИ (что происходит совсем иначе, чем у людей), критически важно для того, чтобы разобраться, почему он выдумывает факты, угрожает нам шантажом (по крайней мере, во время лабораторных стресс-тестов) и совершает другие неожиданные действия.

Последние исследования Anthropic позволяют нам заглянуть в "чёрный ящик" внутренних механизмов Claude, а понимание принципов работы моделей ИИ является ключом к повышению их безопасности и предсказуемости.

Так что же такое это "J-пространство" (названное в честь "якобиана" — математической концепции, которая помогла исследователям обнаружить внутреннюю рабочую область Claude)? Это скорее не физическое пространство, а "набор" паттернов, которые "загораются" при возникновении концепций, над которыми Claude, собственно, "размышляет".

Например, если вы спросите Claude: "Какого цвета четвёртая планета от Солнца?", его выраженный ответ может быть "красный", но в его J-пространстве может "загореться" концепция "Марса". Или попросите Claude закончить предложение: "Количество ног у животного, которое плетёт паутину, это...", и слово "паук" может появиться в его J-пространстве, даже если его ответ будет просто "8".

Исследовательская группа также проверила, является ли J-пространство просто "протоколом" решения, принятого Claude в другом месте. В примере с "какого цвета четвёртая планета от Солнца" исследователи "проникли в нейронную сеть Claude" и заменили концепцию "Марса" на "Землю", не меняя при этом фактический вопрос. Результат: Claude изменил свой ответ на "Синий", что доказывает прямое влияние J-пространства Claude на его ответы.

Наряду с открытием J-пространства появился и "J-объектив" (J-lens) — инструмент Anthropic для заглядывания в J-пространство. С помощью J-объектива исследователи могут напрямую "прочитывать" некоторые — но не все — скрытые мысли Claude.

Итак, что же исследователи могут увидеть с помощью J-объектива? Один из увлекательных примеров связан с ныне известным тестом на "шантаж" — вы знаете, тот, где Claude узнаёт, что некий руководитель хочет его отключить, а затем угрожает раскрыть роман этого руководителя в попытке остаться "в живых".

Новейшие модели Claude, как оказалось, втайне осознают, что сценарий "шантажа" — это всего лишь тест. Но с помощью J-объектива исследователи Anthropic могут фактически видеть, как концепции "подделка" и "вымысел" "загораются" в J-пространстве Claude, предоставляя осязаемое доказательство того, что модель знает об эксперименте, а также предлагая редкое окно в мыслительный процесс ИИ.

Конечно, работа Anthropic с J-пространством поднимает насущный вопрос: обладают ли модели ИИ сознанием? В этом вопросе Anthropic проявляет осторожность, отмечая, что ИИ может обладать не столько сознанием в человеческом смысле, сколько "доступным" сознанием, то есть способностью ИИ удерживать мысль, с которой он может рассуждать, но не обязательно выражать.

Но это вопросы для философов. Для обычных пользователей ИИ лучшее понимание того, как "думает" ИИ — каким бы странным это ни казалось — может помочь сделать ответы ИИ более предсказуемыми и, как следствие, менее подверженными ошибкам (о чём нас постоянно предупреждают в дисклеймерах).

Обновление с уточнением: Ответ Claude "синий" на вопрос "какого цвета четвёртая планета от Солнца" был получен после того, как исследователи заменили концепцию "Марса" в J-пространстве Claude на "Землю", тем самым продемонстрировав причинно-следственную связь паттернов J-пространства.