Искусственный общий интеллект: насколько он близок и чем это грозит

Но здесь важно не сделать обратную ошибку. Закрытый тест – это лучше, чем полностью публичный тест. Но и он не панацея.

Механизм второй: даже скрытый тест можно "обойти" не напрямую, а структурно

В декабре 2025 года ARC Prize опубликовал один из самых полезных текстов для понимания этой проблемы. Их вывод по ARC-AGI-1 и ARC-AGI-2 звучит неприятно, но честно: даже бенчмарк, специально спроектированный как устойчивый к прямому заучиванию, может начать частично переоценивать прогресс, если публичная и скрытая части слишком похожи, а модель обучалась на массиве публичных данных, где хорошо представлены нужные паттерны.

Если свести, переобучение может происходить не только как буквальное запоминание ответа, но и как более тонкая структурная адаптация к формату задач. ARC Prize даже привел пример, где верификационная обвязка показывала, что модель уверенно использует правильное соответствие цветов в формате ARC, хотя сама проверка напрямую не упоминала бенчмарк. Для создателей ARC это стало сильным сигналом: бенчмарк уже настолько "врос" в модельную экосистему, что одной приватности тестового набора недостаточно.

Ответом на это стала не капитуляция, а ужесточение дизайна. Сначала появился ARC Prize Verified с внешней академической панелью и сертификацией результатов на скрытых наборах. Затем команда ушла еще дальше и начала готовить ARC-AGI-3 как интерактивный бенчмарк нового формата, ориентированный уже не просто на статичное решение головоломок, а на исследование, планирование, память, приобретение целей и эффективность обучения.

Это полезный урок: как только бенчмарк становится культурным объектом, его приходится постоянно пересоздавать. Иначе он начинает измерять не "расстояние до AGI", а "расстояние до хорошей инженерии бенчмарка".

Механизм третий: таблица результатов часто измеряет не модель, а систему вокруг модели

Это, возможно, самый недооцененный источник искажения.

Когда широкая аудитория смотрит на таблицу результатов, она обычно думает, что видит прямое сравнение моделей. Но на практике многие современные таблицы результатов сравнивают не "голый интеллект модели", а целые агентные системы, в которых смешаны:

базовая модель;

системный запрос;

извлечение контекста;

цикл планирования;

повторные попытки;

голосование между вариантами;

внешние инструменты;

исполнение кода;

проверяющий модуль;

этап проверки;

вручную настроенная обвязка.

Это не жульничество, а реальный путь развития полезных систем. Проблема в другом: такую таблицу результатов легко перепутать с показателем общей способности самой модели.

SWE-bench Verified честно показывает эту проблему на собственной странице. Там прямо сказано, что полная таблица результатов сравнивает очень разные типы систем: от простых агентных циклов на базе языковых моделей до RAG-систем, решений с несколькими прогонами и многоэтапных конвейеров проверки. Поэтому авторы отдельно держат режим Bash Only, где модели оцениваются через минимального программного агента для SWE-bench и простую ReAct-петлю без специальных инструментов и сложной архитектуры обвязки.

Это очень важная интеллектуальная честность. Она фактически говорит читателю: если вы хотите сравнить именно языковые модели, а не все инженерное сооружение вокруг них, вам нужен другой режим оценки.

Тот же урок следует из o1 System Card OpenAI. При тестировании на SWE-bench Verified компания прямо пишет, что сама модель o1 не поддерживает исполнение кода и редактирование файлов, поэтому для оценки использовалась внешняя обвязка с открытым кодом Agentless. Это абсолютно нормальное инженерное решение. Но его аналитическое значение такое: результат на бенчмарке здесь уже не является "чистым" результатом модели. Это результат модели плюс выбранной обвязки плюс процедуры оценки.

ARC Prize формулирует ту же проблему с другой стороны. В декабрьском анализе 2025 года они показывают, что лучший верифицированный коммерческий результат модели переднего края на ARC-AGI-2 был 37.6%, тогда как лучший refinement solution, построенный поверх Gemini 3 Pro, доходил до 54%, но уже при гораздо большей стоимости на задачу. Это почти идеальный пример того, почему таблицу результатов надо читать осторожно: она может демонстрировать реальный прогресс, но одновременно скрывать вопрос, какая часть прироста пришла из модели, а какая – из дорогой и умной обвязки вокруг нее.

Для разговора об AGI это критично. Если прогресс обеспечивается в основном все более сложной внешней оркестрацией, это не обязательно приближает нас к общему интеллекту так быстро, как кажется по красивой цифре.

Демо системно завышают впечатление по другой причине: они показывают выбранную траекторию

С бенчмарками все относительно понятно: там хотя бы есть формализованная процедура. С демо ситуация сложнее.

Хорошее демо почти по определению показывает удачную траекторию. Это не значит, что его авторы обязательно что-то скрывают. Просто демо – жанр, в котором нельзя показать все пространство состояний. Если система способна пройти задачу в одной из десяти траекторий, на сцене вы увидите именно эту одну.

Отсюда возникает повторяющаяся ошибка интерпретации. Зритель видит:

браузер, которым пользуется модель;

код, который она пишет;

форму, которую она заполняет;

график, который она строит;

окно терминала, где она "как будто работает".

И делает естественный, но часто неверный вывод: раз система может сделать это один раз, значит, она умеет это делать как устойчивую практику.

Реальная проверка начинается там, где демо заканчивается:

что происходит на сотой задаче;

как система ведет себя при неожиданном состоянии интерфейса;

сколько нужно повторных попыток;

сколько ручных ограничений вшито в обвязку;

как быстро она теряет цель;

как часто она уверенно ошибается.

Официальные документы компаний сами по себе часто намного осторожнее публичных впечатлений. OpenAI в документации по работе за компьютером прямо советует сравнивать не красивые примеры, а реальные метрики продукта: время завершения, поведение при неожиданном состоянии интерфейса, способность оставаться в рамках правил и необходимость держать человека в контуре для высокоставочных действий. Там же компания прямо рекомендует изолированную среду и человека в контуре для чувствительных действий. Это язык не победного пресс-релиза, а инженерной осторожности. И его надо читать буквально: даже когда демонстрация выглядит впечатляюще, система может оставаться недостаточно надежной для самостоятельной работы без надзора.

Здесь полезно держать в голове простое правило:

демонстрация показывает существование способности; бенчмарк пытается измерить ее частоту; реальный мир выясняет ее надежность.

И почти всегда эти три вещи сильно различаются.

Реальная среда ломает иллюзию быстрее всего

Поэтому так важны бенчмарки вроде OSWorld.

Его авторы начали с очень простой претензии к существующим оценкам: многие из них либо вообще не дают интерактивной среды, либо ограничены слишком узким типом приложений и поэтому плохо отражают настоящую сложность компьютерного использования. В ответ они собрали масштабируемую реальную среду с задачами на Ubuntu, Windows и macOS, с веб-приложениями, файловыми операциями и многошаговыми рабочими процессами между разными приложениями.

Главный результат из абстракта OSWorld должен отрезвлять любого, кто делает выводы по отдельным демонстрациям: люди выполняют больше 72% задач, а лучшая модель – только 12.24%. Это не значит, что модели для работы за компьютером слабы в абсолютном смысле. Это значит, что как только мы переносим их из красивой демонстрации в широкую, грязную, разнообразную среду, реальная способность оказывается намного уже, чем кажется по роликам.

И это, пожалуй, главный структурный вывод всей главы: чем ближе бенчмарк к реальному миру, тем обычно ниже и честнее оказываются результаты.

Это касается не только агентов пользовательского интерфейса. Похожая логика работает и в научных, и в кибер-, и в инженерных задачах. Даже OpenAI в o1 System Card специально оговаривает, что хорошее прохождение коротких интервью по машинному обучению не равнозначно реальному машинному исследованию длительностью в месяцы и годы. Такая оговорка кажется очевидной, но именно ее почти всегда игнорируют в медиа. Переход от короткой формализованной задачи к длинной неформализованной работе – это не прибавка на десять процентов. Это другой режим сложности.

Еще одно искажение: бенчмарк может скрывать не только слабость, но и опасную уверенность

Есть и более тонкая проблема. Даже если бенчмарк не протек, не насыщен и измеряет что-то полезное, он все равно может скрывать, как именно система ошибается.

Humanity's Last Exam поэтому важен не только как сложный экзамен, но и как бенчмарк, который делает видимой калибровку. На странице лидерборда прямо подчеркивается: одних точных ответов мало, нужно смотреть и на ошибку калибровки. Авторы отмечают систематическую картину: многие модели показывают низкую точность в сочетании с высокой уверенностью, то есть склонны к уверенной конфабуляции. В полной статье об HLE та же мысль сформулирована еще яснее: передовые языковые модели демонстрируют низкую точность и низкую калибровку на задачах у границы человеческого знания.

Это имеет прямое отношение к AGI. Общий интеллект, если он действительно приближается, нельзя оценивать только по среднему баллу. Не менее важно понимать:

знает ли система, когда она не знает;

умеет ли она останавливаться;

различает ли уверенность и догадку.

Бенчмарк, который показывает только "процент решенных задач", но ничего не говорит о профиле ошибок, слишком легко превращается в инструмент самообмана.

Почему это особенно важно именно сейчас

Во времена более слабых моделей проблема была проще: почти все видели, что системы ограничены. Сегодня ограничения хуже заметны именно потому, что лучшие модели уже умеют слишком много.

Они:

пишут код;

решают сложные экзамены;

пользуются инструментами;

работают с длинным контекстом;

иногда выглядят почти автономно.

Из-за этого даже небольшое переоценивание на бенчмарке начинает иметь большой риторический эффект. Достаточно еще одного лидерства, еще одной демонстрации, еще одного слова человеческий уровень, чтобы публичное воображение сделало скачок от "сильная модель" к "почти AGI".

Но именно в такой момент и нужна дисциплина чтения результатов.

Если бенчмарк:

публичный и давно известный,

не защищен от утечки тестовых данных,

легко хакнуть через обвязка,

оценивает короткие задачи,

не измеряет калибровку,

плохо переносится в реальный мир,

то высокий результат на нем может быть важным инженерным фактом, но он не должен считаться сильным доказательством близости AGI.

Как читать новое демо или таблицу результатов, чтобы не обмануться

Для этой книги я бы предложил очень простую проверочную сетку. Каждый раз, когда появляется новый громкий результат, надо задать семь вопросов.

1. Что именно измеряется?

Знание? Рассуждение? Работа с инструментами? Длина задач? Работа в среде? Калибровка?

Если ответа нет, бенчмарк почти наверняка переинтерпретируют.

2. Насколько свеж тест?

Если это старый популярный бенчмарк, его надо читать с заведомой скидкой на saturation.

3. Есть ли риск загрязнения?

Публичен ли датасет? Есть ли скрытый тест? Есть ли признаки того, что авторы очистили тест от утечек?

Если нет, результат нужно считать менее надежным.

4. Что в этом результате принадлежит модели, а что обвязке?

Это один из самых важных вопросов в эпоху агентных систем.

Если лидерборд сравнивает целые pipelines, он уже не является чистым сравнением моделей.

5. Насколько задача похожа на реальную среду?

Экзаменационная задача, IDE, браузер, офисный рабочий процесс, физический мир – это разные уровни приближения к реальности.

6. Что происходит на длинном горизонте?

Минуты, часы, дни и недели – это разные миры.

Почти все системные преувеличения рождаются именно на переходе между ними.

7. Что известно о профиле ошибок?

Система просто иногда ошибается или системно уверена в ложных ответах?

Для областей с высокой ценой ошибки это принципиально разный режим.

Итог главы

Демонстрации и бенчмарки нужны. Без них разговор об AGI быстро распадается на чистую философию и маркетинг. Но почти каждый бенчмарк и почти каждая демонстрация имеют встроенное смещение в сторону переоценки близости. Причины повторяются:

тесты насыщаются;

данные протекают;

скрытые наборы устаревают;

лидерборды начинают сравнивать обвязки, а не модели;

демонстрации показывают лучшие траектории;

реальная среда оказывается сложнее лаборатории;

точность маскирует плохую калибровку.

Поэтому главный принцип этой главы можно сформулировать жестко:

чем легче результат переслать в соцсети, тем осторожнее его надо читать как сигнал приближения к AGI.

Сильным сигналом является не один рекорд. Сильным сигналом является ситуация, когда:

новый бенчмарк остается трудным после публичности;

результаты подтверждаются на скрытых и обновляемых тестах;

прогресс сохраняется в реальной среде;

длинный горизонт не ломает систему;

высокая точность сопровождается хорошей калибровкой;

прирост не сводится к новой дорогой обвязкирхитектуре.

Пока этого нет, бенчмарк-ы лучше понимать не как "доказательство почти AGI", а как карту локальных прорывов и локальных иллюзий. Они очень полезны. Но только если читать их с инженерной подозрительностью.

Что важно запомнить

Хороший бенчмарк со временем стареет и теряет диагностическую силу.

Публичная таблица результатов часто измеряет не только модель, но и всю агентную систему вокруг нее.

Скрытый тестовый набор помогает, но не гарантирует защиту от структурного переобучения.

Демонстрация почти всегда показывает удачную траекторию, а не типичную надежность.

Чем ближе оценка к реальной среде, тем обычно честнее и ниже результат.

Точность без калибровки легко создает иллюзию прогресса.

Для оценки близости AGI важны не отдельные рекорды, а сходимость устойчивых сигналов на разных типах тестов.