«Свідомість» Claude: у нейромереж знайшли аналог людського мислення

Дослідники з Anthropic оприлюднили результати цікавого дослідження – у мовних моделях вони виявили структуру, яка за своєю функціональністю нагадує «глобальний робочий простір» з нейронауки свідомості.

Велика частина обчислень моделі – це автоматика, недоступна для звіту. Але всередині нейронних мереж Claude існує невелика група патернів активації, яка виконує роль, аналогічну «свідомо доступному» мисленню у людей. Це область, де модель утримує думки, які вона «обмірковує», але не обов’язково озвучує. J-Space не був запрограмований розробниками, він з’явився самовільно в процесі навчання моделі.

Є цілком людські аналогії – недарма дослідники проводять паралелі з нейронаукою.

Досвідчений водій перемикає передачі, не усвідомлюючи цього. Але якщо його запитати, яка зараз передача, інформація про це потрапляє у свідомість. З моделлю так само: лічильник довжини рядка справно керує переносами, взагалі не з’являючись у робочому просторі, але варто задачі вимагати назвати довжину – та сама інформація спливає й стає доступною для міркування.

Ефект білого ведмедя: інструкція «не думай про X» пригнічує концепт лише частково, він проривається. А в постнавченої моделі поруч із думкою, що прорвалася, з’являється ще й «damn» – вона помічає власний провал, як той, хто медитує, і виявляє, що розум знову втік.

J-space містить лише кілька десятків концептів одночасно і відповідає за менше ніж 1/10 (10%) загальної активності внутрішніх процесів моделі. Нейрони в J-space пов’язані з рештою мережі значно щільніше – у деяких частинах мережі щільність зв’язків вища приблизно у 100 разів порівняно зі звичайними патернами.

Робота не доводить, що Claude володіє «феноменальною свідомістю» (здатністю відчувати). Однак дослідження демонструє наявність «доступної свідомості» (access consciousness) – здатності оперувати інформацією, міркувати та використовувати її для керування поведінкою. Практичне її застосування вже зрозуміле – можна використовувати для контролю моделі та виявлення спроб обману. Крім того, це дає несподіваний метод навчання: якщо навчити модель формулювати етичні принципи у відповідь на гіпотетичне «зупинись і подумай», поведінка поліпшується й там, де ніхто не запитує – принципи заповнюють робочий простір. Тренуючи, що модель сказала б, змінюєш те, що вона думає.

«Свідомість» Claude: Anthropic знайшли у нейромереж аналог людського мислення