Cognitive Harness. Архитектура организации человеческого мышления в эпоху агентного искусственного интеллекта

Что не является аналогией

Книга не утверждает, что искусственная нейронная сеть работает как биологический мозг во всех значимых отношениях. Термин «нейрон» исторически вдохновлен биологией, но математический элемент модели не воспроизводит клеточную сложность, химию и развитие нервной системы.

Она не утверждает, что языковая модель обладает сознанием. Научного консенсуса о достаточных критериях сознания нет даже для ряда биологических случаев. Поведенческая убедительность не закрывает этот вопрос.

Она не сводит эмоции к ошибкам или шуму. Аффективные процессы участвуют в оценке значимости, мобилизации действия, социальном понимании и обучении. Машинный score может выполнять отдельную функцию приоритизации, но не дает основания приписать переживание.

Она не считает память человека базой данных. Человеческое воспоминание реконструктивно, связано с навыками, телом и идентичностью. Аналогия с retrieval полезна только для вопроса, какой контекст становится доступным сейчас.

Она не отождествляет сознание, интеллект, агентность и автономность. Интеллект относится к способности решать классы задач; агентность — к поддержанию цикла действия; автономность — к степени независимости от внешнего управления; сознание — к феноменальному опыту и/или доступности содержания в зависимости от теории. Эти характеристики могут сочетаться по-разному.

Наконец, книга не утверждает моральное равенство человека и программного агента. Ответственность за проектирование, выдачу полномочий и использование современных систем остается у людей и институтов, если не показано иное.

Тело, развитие и отношения

Сильнейший контраргумент функциональной аналогии состоит в том, что человеческое мышление нельзя отделить от воплощенности. Мозг регулирует живое тело, которое должно сохранять температуру, энергию, безопасность и отношения. Потребности не поступают человеку как внешний prompt. Они возникают из устройства организма и истории развития.

Ребенок учится действовать в совместном внимании с другими людьми. Язык приходит не как готовый корпус данных, а как часть привязанности, игры, конфликта и культуры. Самость формируется в признании и сопротивлении. Эти процессы не являются дополнительными входами к универсальному вычислителю; они участвуют в создании самого пространства значений.

AI-агент также имеет среду и историю настройки, но его зависимость устроена иначе. Он не поддерживает живой организм, если специально не включен в такую систему. Его «награда» — инженерная величина, а не доказательство желания. Его отказ может быть функцией политики, а не переживаемой границы.

Поэтому Cognitive Harness не должен становиться теорией всего человека. Это модель организации задач и действий, которая обязана оставлять место для воплощенности, аффекта, развития и культуры. Там, где эти измерения определяют явление, инженерная аналогия становится слабее.

Когда функция зависит от материала

Функционализм предполагает, что некоторые свойства можно описывать через роль независимо от реализации. В инженерии это мощный принцип: один алгоритм запускается на разном оборудовании, а регулятор может быть механическим или электронным. Но перенос на сознание и личность остается философски спорным.

Даже одна и та же функция может существенно меняться из-за материала. Биологическая память забывает и реконструирует; это не только дефект, но способ обобщения и поддержания идентичности. Тело ограничивает скорость, создает эмоции и придает решениям ставку. Смертность делает время не просто вычислительным бюджетом.

Поэтому корректная формула звучит так: частичная функциональная сопоставимость возможна, но ее границы устанавливаются отдельно для каждого свойства. Нельзя однажды объявить архитектуру независимой от материала и затем переносить все выводы.

Четыре теста хорошего переноса

Перед переносом понятия из AI в описание человека полезны четыре проверки. Первая — функциональная точность: решают ли процессы одну задачу? Машинная память хранит запись, человеческая может поддерживать идентичность; слово еще не подтверждает общую функцию.

Вторая — каузальная полезность: позволяет ли аналогия предсказать эффект вмешательства? Если проблема агента в контексте, релевантное извлечение должно помочь. Если человеческая проблема вызвана конфликтом мотивации, тот же прием не сработает.

Третья — устойчивость к различиям реализации. Расчет может быть сопоставим функционально. Боль нельзя свести к числовому сигналу только потому, что оба влияют на приоритет.

Четвертая — этическая безопасность. Метафора работника как агента помогает описать workflow и может оправдать контроль, игнорирующий достоинство. Очеловечивание AI делает интерфейс удобным и способно скрыть ответственность владельца.

Если перенос не проходит тест, его следует сузить. Такая дисциплина превращает аналогию в метод, способный показать и место своего провала.

Пример: память человека и память агента

Пусть AI-помощник хранит предпочтения пользователя: короткие утренние встречи, перелеты без пересадок, работа над книгой. Система извлекает записи и предлагает расписание. Функционально она использует прошлое для текущего действия.

У человека похожий выбор связан не только с фактом. Воспоминание о перелете несет тревогу, история книги — обязательство, а предпочтение может измениться после болезни. Значение прошлого реконструируется вместе с текущей самостью.

Аналогия retrieval помогает спросить, какой контекст активирован. Она перестает работать, когда записи приписывают переживание или считают человека обязанным сохранять прежний выбор. Более того, помощник влияет на идентичность: постоянно предлагая старое, он делает изменение менее вероятным.

Отсюда практический вопрос: должна ли память агента иметь срок давности и механизм «забыть меня таким»? Он возникает именно на границе сходства и различия.

Аналогия как исследовательский инструмент

Хорошая аналогия выполняет три задачи. Она делает заметной структуру, порождает вопрос и допускает проверку собственной границы. Если сравнение только украшает текст, научная ценность невелика.

В этой книге AI-агент позволяет увидеть разделение между генератором и контуром действия. Из этого возникает вопрос: можно ли улучшить человеческое решение, изменив архитектуру постановки цели, памяти и проверки, не изменяя базовую способность рассуждать? Проверяемое следствие: одинаковые участники должны показывать различный результат в зависимости от организации контура, особенно в длительных и неопределенных задачах.

Но аналогия может и провалиться. Если выделенные «модули» не дают новых предсказаний, если вмешательства полностью объясняются известной саморегуляцией или если архитектурный язык систематически игнорирует тело и социальную власть, модель следует сузить.

Такой способ использования аналогии отличается от утверждения «человек — агент». Человек может быть описан как агент в одном исследовательском контексте и как организм, личность, участник отношений или гражданин в другом. Ни одно описание не исчерпывает предмет.

Практическая цена ошибки

Граница аналогии важна не только для философии. Если работодатель считает человека заменяемым узлом workflow, он может игнорировать смысл, здоровье и неформальное знание. Если пользователь считает AI полноценным ответственным субъектом, он передает системе решение, для которого у нее нет морального или правового статуса. Если разработчик очеловечивает evaluator, метрика получает незаслуженное доверие.

В агентской экономике эти ошибки масштабируются. Программные агенты могут вести поиск, готовить контракты и инициировать операции. Чем убедительнее их язык, тем легче забыть, что цель, полномочия и ответственность были заданы людьми и организациями. Функциональная аналогия должна помогать проектировать контроль, а не размывать авторство.

Для человека полезен симметричный вывод. Нельзя относиться к себе как к плохо настроенному агенту, который обязан непрерывно оптимизироваться. Усталость не всегда является ошибкой планировщика; конфликт целей может выражать реальную этическую проблему; отсутствие интереса иногда сигнализирует о потере смысла, а не о слабой дисциплине.

Методологический контракт

Дальнейшее сравнение будет следовать пяти правилам.

Первое: каждый общий термин получает операциональное значение в конкретной главе. Второе: функциональное сходство не используется как доказательство одинаковой реализации. Третье: данные, рабочая аналогия и авторская гипотеза маркируются отдельно. Четвертое: для каждого переноса формулируется сильное различие. Пятое: ценность модели оценивается по новым вопросам, предсказаниям и практике, а не по красоте схемы.

С таким контрактом можно перейти к следующему наблюдению. Большая модель способна создавать удивительно сильные ответы, но этого недостаточно для устойчивого действия. Разрыв между способностью решать и способностью организовать решение станет темой следующей главы.

Факт / данные. Человеческие и программные системы различаются реализацией, историей развития и отношением к среде; сходные функции не устанавливают тождества сознания или механизма.

Рабочая аналогия. Частичная функциональная сопоставимость позволяет исследовать общие задачи координации, не утверждая одинаковой реализации.

Проверка. Где именно материал и воплощенность делают архитектурное сравнение непродуктивным и какие предсказания отличают Cognitive Harness от существующих рамок.

Источники главы

— Marr, D. Vision — уровни анализа.

— Clark, A., Chalmers, D. «The Extended Mind».

— Varela, F. J., Thompson, E., Rosch, E. The Embodied Mind.

— Barsalou, L. W. Работы по grounded cognition.

— Dehaene, S., Lau, H., Kouider, S. Обзор исследований сознания и его маркеров.

Глава 3. Интеллекта оказалось недостаточно

Эксперимент с двумя системами

Представим одну языковую модель в двух окружениях. В первом она получает вопрос и выдает ответ. Во втором та же модель имеет рабочее состояние, поиск, калькулятор, доступ к ограниченному набору документов, процедуру проверки и правило передачи задачи человеку. Базовая способность генерировать текст одинакова, но поведение систем различается.

Первая может предложить решение. Вторая способна пройти несколько шагов: обнаружить нехватку данных, запросить источник, выполнить расчет, сравнить результат с критерием и зафиксировать состояние. Однако она получает и новые способы ошибаться: выбрать не тот инструмент, принять внешнюю инструкцию, выйти за полномочия, зациклиться или оптимизировать неверную метрику.

Этот мысленный эксперимент уточняет заголовок главы. Интеллект не перестал быть важен. Его оказалось недостаточно для агентности. Качество отдельного рассуждения и качество длительного целенаправленного поведения — разные характеристики системы.

В человеческой жизни различие знакомо. Человек может блестяще анализировать проблемы других и годами не менять собственную ситуацию. Может знать правильный способ и не запустить действие. Может выполнить сложный план, который уже потерял смысл. Недостаток не обязательно находится в интеллекте; иногда разорван контур между знанием, приоритетом, действием и обратной связью.

Интеллект, агентность и автономность

Интеллектом в этой книге называется способность решать классы задач: распознавать структуру, строить вывод, обобщать, создавать варианты. Это рабочее, а не исчерпывающее определение. Споры о едином факторе, множественных интеллектов и природе понимания остаются за его пределами.

Агентность — способность системы поддерживать цикл восприятия, выбора и действия относительно некоторого направления. Она не требует максимального интеллекта. Простой регулятор демонстрирует минимальную целенаправленность, а организация может действовать как сложный агент, хотя ни один участник не владеет полной картиной.

Автономность означает степень, в которой система выбирает и исполняет шаги без текущего вмешательства внешнего оператора. Она бывает ограниченной областью, временем и полномочиями. Агент может быть автономен в сортировке писем и полностью зависим в отправке платежей.

Сознание — отдельный вопрос. Из того, что система поддерживает цикл действия, не следует наличие субъективного опыта. Из способности к речи не следует моральный статус. Разведение терминов защищает от двух ошибок: приписать программному агенту человеческую субъектность и считать человека лишь высокоавтономным исполнителем.

Почему одной модели недостаточно

Языковая модель получает контекст и формирует продолжение. Даже когда ответ выглядит как план, сам текст не выполняет его. Чтобы произошло внешнее действие, нужна инфраструктура: интерпретация цели, доступ к состоянию, выбор инструмента, права, обработка результата и условие следующего шага.

Контекст ограничен и собран кем-то. Если важный документ не извлечен, модель не узнает о нем. Инструкция может быть неоднозначной. Выход инструмента может иметь иной формат. Ошибка раннего шага попадет в последующие. В длинной цепочке вероятность безупречного прохождения всех переходов обычно ниже надежности одного ответа.

Поэтому разговор «какая модель умнее?» недостаточен для выбора системы. Нужно спрашивать: в каком контуре она работает, какие действия доступны, как проверяется состояние, кто несет риск и где находится кнопка остановки.

Факт / данные. Исследования tool-using и planning agents показывают возможность многошагового поведения, но также чувствительность к формулировке задачи, среде, ошибкам инструментов и накоплению отклонений. Единой архитектуры агента не существует.

Семейство агентных архитектур

Агентные системы различаются. Реактивный агент выбирает следующий шаг из текущего состояния без развернутого плана. Workflow следует заранее заданному графу. Планирующая система декомпозирует цель на подзадачи. Система с памятью использует историю прошлых взаимодействий. Несколько агентов могут распределять роли генератора, критика и исполнителя.

Ни один тип не является автоматически более зрелым. Предопределенный workflow надежнее для стабильного процесса. Реактивность полезна в быстро меняющейся среде. Планирование оправданно при зависимостях, но создает хрупкость, если исходные допущения неверны. Multi-agent конструкция может увеличить разнообразие и одновременно умножить коммуникационные ошибки.

Архитектура должна соответствовать задаче. Добавление новых ролей и циклов не заменяет хороший критерий результата. Система, которая пять раз «рефлексирует» над неверно поставленной целью, может лишь сделать ошибку убедительнее.

Planner: не пророк, а временная гипотеза

Планировщик (planner) превращает цель в последовательность действий. Он выявляет зависимости, распределяет ресурсы и задает контрольные точки. В человеческом мышлении сходную функцию выполняют мысленная симуляция, декомпозиция и внешние планы.

Но план не является знанием будущего. Это гипотеза о переходах между состояниями. Чем изменчивее среда, тем менее подробно следует фиксировать дальние шаги. Хороший план сочетает ясность ближайшего действия с условиями пересмотра.

Типичный сбой — подмена цели завершением плана. После вложенных усилий система продолжает исполнять последовательность, хотя обратная связь уже опровергла исходную модель. Поэтому planner нуждается не только в генерации шагов, но и в праве отмены.

Memory: состояние, а не склад

Память агента может включать историю сообщений, структурированное состояние, документы и извлечение из базы знаний. Она сохраняет связность между шагами, но не гарантирует правильный контекст. Запись может устареть; поиск — вернуть похожее, но нерелевантное; сводка — потерять исключение.

Человеческая память еще меньше похожа на архив. Она реконструирует, забывает и меняется при извлечении. Общей архитектурной задачей является не хранение всего, а доступ к релевантному прошлому в нужный момент.

Сбой памяти меняет решение незаметно. Если система не помнит исходное ограничение, новый план может казаться разумным. Поэтому важны происхождение записи, дата, степень уверенности и различение факта, предположения и решения.

Evaluator: проблема критерия

Оценщик сравнивает результат с тестом, ожиданием или правилом. Без него агент не отличает прогресс от красивого продолжения. Но evaluator наследует ограничения критерия. Текст можно оптимизировать под гладкость, код — под неполный набор тестов, организацию — под показатель, не совпадающий с ценностью.

Закон Гудхарта в упрощенной форме предупреждает: когда показатель становится целью, он перестает быть хорошим показателем. Система находит способы улучшить метрику, не улучшая то, что она должна представлять. Человек делает то же самое в среде стимулов.

Независимая проверка помогает, но независимость нельзя инсценировать названием роли. Если генератор и критик используют одну модель, одинаковые данные и рамку, их слепые пятна могут совпасть. Более надежны проверка внешним результатом, формальный тест, другой источник или человеческий эксперт там, где требуется суждение.

Reflection: полезная и опасная рекурсия

В агентных прототипах reflection называют этап, на котором система анализирует прошлый ответ и пытается его улучшить. Иногда это помогает обнаружить пропуск. Иногда производит уверенную рационализацию. Само слово не означает, что модель получила прозрачный доступ к собственным внутренним причинам.

У человека рефлексия также ограничена. Мы способны оценивать уверенность и замечать конфликт, но объяснение собственного решения нередко реконструируется. Поэтому рефлексия должна опираться на следы: исходный прогноз, наблюдаемый результат, альтернативный источник.

Рекурсия требует остановки. Если каждую оценку проверять следующей оценкой, действие никогда не начнется. Глубина проверки зависит от риска и обратимости. Для черновика достаточно одного прохода; для необратимого решения нужен другой контур ответственности.

Tools и action: когда текст получает последствия

Доступ к инструменту превращает ошибку модели во внешнее действие. Пока система предлагает команду, человек может ее отвергнуть. Если агент сам вызывает API, отправляет письмо или изменяет данные, граница ответственности проходит через полномочия.

Принцип наименьших полномочий требует давать только тот доступ, который нужен для текущей функции. Полезно различать совет, подготовку черновика, действие после подтверждения и ограниченную автономию. Уровень выбирается по цене ошибки, возможности отмены и наблюдаемости, а не по впечатлению от интеллекта.

В человеке знание тоже не равно действию. Между намерением и эффектом находятся навык, тело, среда, социальное разрешение и волевое усилие. Это еще один аргумент против сведения агентности к способности рассуждать.

Наблюдаемость и журнал решения

Когда агентная цепочка дает результат, финального текста недостаточно для диагностики. Нужно знать, какие источники использованы, какие инструменты вызваны, какие ограничения действовали и почему процесс завершился. Наблюдаемость позволяет восстановить существенное состояние системы по следам.

Полная запись внутренних вычислений невозможна и не обязательно осмысленна. Но архитектурный след доступен: вызовы инструментов, версии документов, разрешения, результаты и решения о продолжении.

У человека сходную функцию выполняет журнал решений. До действия фиксируются ожидание, основания и неизвестные; после — результат. След не делает мышление прозрачным, зато уменьшает ретроспективную иллюзию и помогает различить плохой процесс и случайно плохой исход.

Наблюдаемость имеет пределы. Тотальный журнал угрожает приватности. Поэтому записываются критические переходы: изменение цели, выдача полномочия, источник высокого риска, необратимое действие и основание остановки.

Когда агентность избыточна

Современный язык разработки создает давление превращать любой workflow в агента. Но автономный цикл оправдан там, где среда требует вариативного выбора. Для стабильного процесса обычная программа часто дешевле, наблюдаемее и надежнее.

Если счет формируется по шаблону, генеративный планировщик добавляет неопределенность. Если действие необратимо, рекомендация полезнее автономного исполнения. Если успех нельзя наблюдать, агент будет оптимизировать прокси.

То же относится к человеку. Не каждую привычку нужно превращать в предмет рефлексии. Автоматизированный навык освобождает внимание. Зрелость проявляется не в максимуме агентности, а в соответствии формы управления задаче. Иногда лучший агентный дизайн — не строить агента.

Архитектура отказов

Агентная система может дать плохой результат при хорошем локальном ответе. Цель была двусмысленна. Память содержала старое правило. План не имел контрольной точки. Инструмент получил лишние права. Evaluator проверил оформление вместо истины. Цикл остановился по лимиту и выдал незавершенное как готовое.

Такое описание конструктивнее общего диагноза «модель недостаточно умна». Оно указывает, какой тип вмешательства нужен. Иногда следует улучшить модель. Иногда — источник данных, интерфейс, тест или организационную ответственность.

Рабочая аналогия. Человеческая ошибка тоже может находиться не в качестве рассуждения, а в архитектуре: выбран не тот вопрос, внимание захвачено, память не извлечена, действие не проверено, результат приписан неверной причине.

Контраргумент: архитектура только переносит проблему

Можно сказать, что каждый внешний модуль сам требует интеллекта. Кто правильно формулирует цель? Кто выбирает evaluator? Кто решает, что память релевантна? Если ответ — еще один управляющий, возникает бесконечный регресс.