AIO-архитектура и машинно-нативный контент

Глава 1. Революция машинных читателей

Введение. Эволюция субъектности в цифровых информационных системах

Традиционная история интернета и веба описывается как история интерфейсов, стандартов и пользовательского опыта. В такой перспективе базовое предположение долгое время оставалось неизменным: конечным интерпретатором информации является человек. Веб-документ проектировался так, чтобы его можно было увидеть, просмотреть, понять и использовать биологическим агентом с ограниченной рабочей памятью, неустойчивым вниманием и визуально-ориентированным восприятием. Эта предпосылка определяла и выбор технических средств, и практики производства контента, и экономические стимулы экосистемы. В результате сформировалась доминирующая парадигма антропоцентричной архитектуры, в которой смысл практически всегда упакован в оболочку визуальной презентации, навигации и интерактивности.

В последние годы возникла новая ситуация: важнейшим и массовым потребителем контента стал не человек, а вычислительная система, способная извлекать и обобщать смысл, а затем генерировать новые тексты, решения и действия. К таким системам относятся большие языковые модели, инструменты поиска с генеративными ответами, корпоративные системы генерации с дополненным поиском, а также автономные агенты, выполняющие задачи в веб-среде. Эти субъекты не просто индексируют страницы и не просто ищут ключевые слова. Они читают материалы как источники знаний, пытаясь извлечь факты, связи, определения, аргументы и инструкции, затем объединить их с другими источниками и выдать результат в виде ответа или действия.

Таким образом, произошла смена субъектности информационного потребления. Веб перестал быть исключительно человеческой библиотекой и стал инфраструктурой, которую ежедневно и систематически читают алгоритмы, обладающие статистической семантической компетенцией, но сталкивающиеся с фундаментальными ограничениями. Главным из таких ограничений является зависимость качества вывода от структуры входного сигнала. Если вход организован так, что полезная семантическая нагрузка растворена в большом количестве нерелевантных токенов, эффективность внимания модели падает, вероятность ошибок растет, а стоимость обработки увеличивается.

Цель данной главы состоит в том, чтобы обозначить исторический и технологический контекст перехода к эпохе машинных читателей, сформулировать, почему существующая информационная архитектура плохо соответствует их потребностям, и показать, почему этот разрыв нельзя устранить только путем наращивания мощности моделей. Глава задает проблематику и терминологический каркас, который будет развернут в последующих главах: понятие информационного шума, различие между архитектурой для людей и архитектурой для машин, а также необходимость выделения специальных каналов доставки знаний для автоматизированных потребителей.

Ключевой тезис, который проводится через всю монографию, можно выразить в следующей форме: качество рассуждения синтетической системы в значительной степени определяется не только ее внутренними параметрами, но и внешней средой, в которой она читает. Если среда имеет высокую энтропию, то даже сильная модель системно деградирует, поскольку вынуждена расходовать внимание на фильтрацию и реконструкцию смысла. Следовательно, улучшение среды чтения является столь же важной задачей, как и развитие моделей.

Историческое развитие веба и антропоцентричная архитектура

Ранний веб формировался как система гипертекстовых документов. В исходной модели документ имел относительно простую структуру: заголовки, абзацы, списки, ссылки. Семантика документа в существенной степени совпадала с его текстовой формой: содержание было написано для чтения, а разметка фиксировала структуру документа. По мере коммерциализации веба и появления масштабных рекламных моделей приоритет сместился от структурирования знания к удержанию внимания. Возникла конкуренция за клики, время на странице, глубину просмотра, коэффициент конверсии. Эти метрики стимулировали рост функционального и визуального слоя вокруг собственно содержания. Появились сложные системы навигации, блоки рекомендаций, персонализация, A/B-тестирование интерфейсов, агрессивные формы рекламных вставок, динамические баннеры, интерактивные формы и уведомления.

Параллельно происходила технологическая эволюция: страницы стали приложениями. JavaScript превратился из вспомогательного инструмента в доминирующий механизм построения интерфейса. Системы сборки, клиентская маршрутизация, гидратация, состояние приложения и асинхронные запросы к API стали стандартом. Для человека эти изменения часто означали более плавный и интерактивный опыт. Для машинного читателя это означало рост объема кода, усложнение извлечения текста и размывание границ между содержанием и обслуживающими компонентами.

Важная особенность антропоцентричного веба состоит в том, что многие элементы смысла представлены визуально и контекстно. Человек легко понимает, что перечеркнутая цена относится к старому тарифу, а выделенная цветом цена относится к новой. Человек понимает, что блок справа является рекламой или рекомендациями, потому что он расположен в колонке и визуально отделен. Человек понимает, что кнопка относится к конкретной карточке товара, потому что она находится рядом и визуально группируется. В машинном представлении такой визуальный контекст отсутствует или доступен только через дорогостоящую процедуру рендеринга и анализа стилей. Следовательно, сама форма организации веба создает информационный шум для алгоритмов, пытающихся извлечь факты и связи.

С середины 2010-х начались попытки частично компенсировать проблему за счет внедрения структурированных данных: Microdata, RDFa, JSON-LD и словарей вроде Schema.org. Однако эти попытки носили инструментальный характер, ориентированный прежде всего на поисковую оптимизацию. Структурированные данные внедрялись не как стандартный слой истины для всех потребителей, а как вспомогательный сигнал для ранжирования. Кроме того, практика внедрения оказалась фрагментированной: одни домены (например, рецепты, вакансии, мероприятия) получили достаточно подробную разметку, другие почти не используют ее или используют с ошибками. В результате этот слой не стал универсальным интерфейсом знания для машинных читателей.

Типология машинных читателей и режимы их чтения

Для последующей архитектурной дискуссии важно различать классы машинных потребителей, поскольку у них разные требования к скорости, полноте, точности, а также к форме представления информации. Несмотря на различия, все классы объединяет общая характеристика: они потребляют содержимое не как визуальный опыт, а как источник семантической полезной нагрузки, которая должна быть извлечена и представлена в пригодном для вычислений виде.

Первый класс составляют системы поиска с генеративной суммаризацией. Они заменяют классическую модель выдачи ссылок моделью прямого ответа. В такой системе чтение веба является транзитной операцией: источники читаются быстро, частично и подчиняются задаче ответа на конкретный запрос пользователя. Главные ограничения здесь связаны с латентностью и надежностью: система должна успеть извлечь релевантные фрагменты и сформировать ответ в ограниченное время, не превысив допустимый бюджет токенов и вычислений. Это означает, что источники с высоким шумом становятся невыгодными: они требуют много времени на очистку и создают риск ошибок. В таких условиях преимущество получают источники, предоставляющие краткий и структурированный слой сведений, доступный без рендеринга и сложных эвристик.

Второй класс составляют корпоративные системы генерации с дополненным поиском, используемые для доступа к внутренним базам знаний. Они работают с документами, созданными не для публикации в вебе, а для внутреннего оборота: регламенты, политики, технические инструкции, отчеты, письма, презентации. В этой среде распространены форматы, плохо приспособленные для семантического извлечения, прежде всего PDF. Кроме того, корпоративные документы часто содержат повторяющиеся шаблоны, колонтитулы, версии, комментарии и юридические блоки, что увеличивает шум. RAG-системы, как правило, решают задачу через индексирование фрагментов текста и последующее извлечение наиболее похожих фрагментов по векторному поиску. Однако стандартная практика разбиения на фрагменты фиксированного размера порождает сбой на границах смысловых единиц: определения отделяются от терминов, условия от следствий, исключения от правил. Далее этот отказ будет рассмотрен как эффект конфетти и как аргумент в пользу семантической сегментации на стороне источника.

Третий класс составляют автономные агенты. Это системы, которые не ограничиваются чтением ради ответа, а используют чтение как часть цепочки действий. Агент должен извлечь параметры, сравнить варианты, заполнить формы, нажать кнопки, инициировать транзакции, проверять условия. Такой режим требует значительно более строгого понимания структуры и контекста, чем генеративный ответ. Ошибка ассоциации сущности и атрибута может привести к неверному действию. Например, неверная идентификация цены или условий доставки может привести к экономическим потерям. Следовательно, для агентов критически важны детерминированные, машиночитаемые представления: четкие идентификаторы элементов, устойчивые якоря для цитирования, однозначные типы сущностей и верифицируемая целостность данных.

Архитектурный разрыв: почему веб трудно читать машинам

Архитектурный разрыв между человеческими и машинными потребителями проявляется в нескольких взаимосвязанных механизмах.

Во-первых, современный контент упакован в многослойную оболочку презентации. Даже если текстовая информация присутствует, она окружена большим количеством элементов, не относящихся к смыслу. Это навигация, повторяющиеся блоки, рекомендации, элементы персонализации, юридические уведомления, формы подписки, сообщения о cookies и так далее. Для человека такие элементы могут быть фоновыми и легко игнорируются благодаря зрительному вниманию и привычкам. Для машинной системы эти элементы часто неотличимы от основного содержания на уровне токенов, если отсутствует надежная семантическая маркировка.

Во-вторых, существенная часть содержимого генерируется динамически. В одностраничных приложениях текст может появляться только после исполнения JavaScript. Простое скачивание HTML может не дать текста. Машине приходится либо эмулировать браузер и выполнять скрипты, либо обращаться к внутренним API, которые не документированы и часто защищены. Это увеличивает стоимость извлечения и делает процесс хрупким.

В-третьих, сама структура HTML и DOM часто не отражает логической структуры документа. Переиспользуемые компоненты, системные классы, абстрактные контейнеры, автоматическая генерация атрибутов делают дерево элементов скорее артефактом фронтенд-стека, чем семантической моделью. Визуальная группировка может не совпадать с вложенностью в DOM. В результате машинная система может ошибочно связать цену с неправильным товаром или перепутать подписи в таблице.

В-четвертых, информационный шум создается повторяемостью и шаблонностью. Один и тот же текст может присутствовать на сотнях страниц: политики, дисклеймеры, баннеры. В корпоративных документах повторяются колонтитулы, названия подразделений, даты версий. Векторный поиск и модели внимания воспринимают повторяющийся текст как релевантный сигнал, если он статистически встречается часто. Это приводит к загрязнению контекста и уменьшает вероятность извлечения действительно уникальной полезной информации.

В-пятых, проблемой является отсутствие стабильных якорей и однозначных ссылок на фрагменты. Человек может сослаться на абзац, цитату, страницу. Машинной системе нужны стабильные идентификаторы смысловых единиц, чтобы обеспечивать воспроизводимость, цитирование и привязку структурированных фактов к их источникам. В текущей архитектуре веба даже если присутствуют заголовки и якоря, они нестабильны при редизайне и не соответствуют внутренним структурам извлечения.

Ограничения моделей и связь качества вывода со средой чтения

На уровне популярного дискурса распространено представление, что любые проблемы извлечения будут решены следующим поколением моделей: больше параметров, больше контекстное окно, лучше мультимодальность. Однако эмпирические исследования и практический опыт внедрения систем на базе LLM показывают, что связь между масштабом модели и устойчивостью к шуму не линейна. С ростом контекстного окна растет и объем мусорных токенов, которые можно поместить внутрь. Если вход не очищен, модель тратит дополнительные вычисления на обработку нерелевантного материала. Более того, существуют эффекты позиционного смещения: информация, находящаяся в середине длинного контекста, извлекается хуже. Этот феномен описан в работе Liu et al., 2023, и имеет прямое отношение к ситуации веб-скрейпинга, когда полезные факты часто находятся не в начале и не в конце страницы, а в середине, окруженной шаблонными блоками.

Для понимания масштабов проблемы полезно рассмотреть простую модель: любой вход можно представить как смесь полезного сигнала и шума. Если доля шума велика, то эффективная полезная нагрузка становится малой. В таком режиме любая ошибка внимания приводит к потере факта. Вероятность ошибки увеличивается, поскольку модель должна распределять внимание между множеством токенов, из которых большинство не несет ответа. В последующих главах эта интуиция будет формализована через понятие налога на внимание и через G-модель, связывающую вероятность когнитивного сбоя с уровнем шума и эффективностью контроля внимания.

Практическая иллюстрация: типичная задача извлечения факта, например, цена тарифа или дата основания компании. На реальной странице эти данные могут присутствовать, но будут окружены навигацией, блоками рекомендаций, повторяющимся футером, юридическими текстами, комментариями, а также обрамлением дизайнерских и технических конструкций. Если система очистки ошибочно удалит нужный блок или если модель отвлечется на похожие числа в другом контексте (например, год в футере), результат будет неверным. Важно подчеркнуть, что здесь ошибка не является сугубо «ошибкой интеллекта» модели. Она вызвана тем, что сам источник не предоставляет детерминированного канала для передачи факта машине. Машина вынуждена реконструировать смысл из артефактов интерфейса.