Physical AI: От нейросетей к гуманоидным роботам

8. Ограничения реального мира

Симулятор прощает. Презентация прощает. Реальный мир выставляет счёт за трение, люфт, пыль, людей в кадре, мокрый пол, смену освещения после 18:00 и кабель, который уборщик задел в третий раз. Physical AI как дисциплина начинается не с восторга перед политикой, а с уважения к этим ограничениям — и с привычки вписывать их в архитектуру до закупки «ещё одной модели».

Глава — карта ограничений, которые ломают наивные планы. Не полный физический трактат. Практический перечень: что измерять, что закладывать в протокол пилота, что нельзя «закрыть нейросетью».

Контактная физика врёт гладко

Трение зависит от загрязнения, износа, температуры, ориентации. Коэффициент из datasheet — отправная точка, не истина смены. Сим с постоянным μ научит политику, которая на масляном металле скользит, а на сухом резиновом коврике залипает.

Люфт редуктора и податливость пальца превращают «точный» pose в пятно. Если политика требует миллиметровой повторяемости без силовой петли, вы просите мир быть станком ЧПУ. Иногда нужно сделать станок (оснастка). Иногда — импеданс и поиск контакта. Редко — просто больше эпох.

Удар и отскок: хрупкая деталь, пружинящий блистер. Зрение говорит «можно жать»; сила должна сказать «стоп». Без силового канала ограничение мира становится сюрпризом на браке.

Восприятие: среда враждебна к датасету

Блики, прозрачности, туманы от сварки, конденсат, пыль на объективе, автоэкспозиция, мерцание ламп, ИК от лидара на чужих роботах. Ночной тариф на success.

Ограничение: нельзя считать, что покрытие датасета «как в Open Images» переносится. Нужны ваши ночи и ваши блики в протоколе. Health камеры — не nice-to-have; это признание враждебности среды.

Динамика сцены: люди, вилочные, детали, которые уехали, пока VLM думал. Observation age из прошлой главы — прямой ответ на это ограничение. Игнорирование age = отрицание динамики.

Время и вычислительный потолок

Батарея, тепло, shared GPU, очередь CUDA, троттлинг к концу смены. Ограничение: инференс, который влез утром, ночью не влезает. Профилируйте по сменам, не по одному бенчмарку на холодном стенде.

Сеть: Wi-Fi дыры, WAN до облака, чужой трафик на коммутаторе. Ограничение: облачный мозг не является физическим законом; обрыв — закон. Деградация обязана быть спроектирована.

Механика и энергия

Ресурс пальцев, перегрев драйверов, просадка напряжения при одновременном рывке ног и рук на гуманоиде. Ограничение: политика не отменяет паспорт мотора. Watchdog тока — часть уважения к миру, не паранойя.

Энергобюджет мобильной базы режет длину плана агента. Игнорировать cost энергии — получать эскалации battery_low посреди заказа.

Люди как часть среды

Люди непредсказуемы относительно CAD. Торчат локти, оставляют инструмент, обходят процедуры. Ограничение: collaborative сценарий требует оценки риска и скорости, а не только «модель аккуратная». Shared workspace — отдельный режим контура, не галочка в КП.

Социальное ограничение: антропоморфный корпус повышает ожидания и репутационный ущерб при инциденте. Это тоже «реальный мир», хотя и не ньютоновский.

Данные конечны и дороги

Телеоп-час стоит денег и внимания. Редкие edge-cases не приедут сами. Ограничение: sample inefficiency — экономическое, не только академическое. Сим помогает, но sim-to-real gap — отдельное ограничение (трение, задержка, контакт, износ).

Нельзя закрыть дыру данных пресс-релизом foundation model без протокола на вашей номенклатуре. Перенос — гипотеза до измерения.

Информация о мире неполная

Карта устарела. WMS соврал. Этикетка не та. Скрытая полость в детали. Ограничение: агент обязан уметь сомневаться и эскалировать. Политика «всегда действуй» в неполном мире бьёт по имуществу.

Grounding без права disambiguation — отрицание неоднозначности языка смены.

Нормы, договоры, страховка

Даже если физика позволяет, норма и страховщик ограничивают скорость, силу, зону, логирование. Ограничение продукта: архитектура должна позволять вынуть обучаемый слой из защитных функций. Иначе пилот не выйдет из лаборатории.

Это не «бюрократия против прогресса». Это граница, на которой прогресс вообще допускается к людям.

Экономика как физика продукта

Success 85% при зарплате оператора, который всё ещё нужен, может быть хуже ручного процесса. Ограничение: unit economics с человеком в контуре. Считайте до масштабирования парка.

Сервис и простой — тоже силы мира. Робот, который гениально хватает и недели ждёт запчасть, проиграл роботу грубее, но с локальным складом пальцев.

Что нейросеть не отменяет

Калибровку крепежа.

Износ.

Энергобаланс.

Safety PLC.

Время распространения сигнала.

Неполноту спецификации задачи.

Нежелание смены доверять мигающему AUTO.

Список можно расширять. Полезнее повесить его у стенда и не стирать пункты маркером «решит следующая модель».

Как вписывать ограничения в проект

1. На discovery площадки: ночь, уборка, редкие SKU, история поломок.

2. В карточке SKU: блеск, податливость, свисающие части.

3. В сим: рандомизация того, что реально плывёт.

4. В runtime: мониторы age/force/mode.

5. В договоре: деградация offline, SLA запчастей.

6. В KPI: чувствительность к success < мечты.

Пропуск шага = скрытый долг.

Чеклист «мир против демо»

Демо при идеальном свете?

Оператор за кадром подталкивал?

Тот же SKU, что в договоре?

Длительность > 30 минут без рестарта?

Потеря сети испытана?

Пол/температура как в цеху?

Три «нет» — демо не evidенция готовности.

Мини-кейсы

Блестящая нержавейка: RGB-only политика; ночной LED; age скачет; soft age monitor; удар. Лечение светом и age, не новой LLM.

Мокрый пол для мобильной базы: сим сухой; пробуксовка; навигация уверена; столкновение с стеллажом. Лечение доменом рандома и ограничением скорости по IMU/slip detect.

Износ пальца на неделе 3: distribution shift; success тает; винят модель. Лечение tool_id и регламент замены.

Связь с главами

Контур (гл. 7) — технический ответ на время и отказы сенсоров. Стек — на слои ответственности. Агентность — на неполноту целей. Рынок — на TCO и сервис. Эта глава — напоминание, зачем всё это: мир не обязан быть удобным датасету.

Практические действия на две недели

Снять «карту враждебности» зоны: свет, блики, пыль, люди, радио.

Внести в сим 3 параметра, которые уже предали (не 30 декоративных).

Добавить в приёмку ночной прогон.

Пересчитать TCO при success −10 п.п. от обещания.

Проверить склад пальцев/присосок.

Если после этого roadmap укоротился — он стал честнее.

Ограничения моделирования

Любая модель мира (CAD, SDF, сим, нейросеть) выкидывает детали. Вопрос — выкидывает ли она те, что бьют по задаче. Ограничение: error budget моделирования должен быть согласован с допуском сборки и с конвертом силы. Если допуск 0.2 мм, а оценка позы пляшет на 2 мм, политика «вставить» без поиска/силы обречена независимо от backbone.

Честность команды — в явной таблице: какой error на каком этапе терпим. Без таблицы спорят о сетях.

Ограничения наблюдаемости

Не всё, что важно, видно. Внутреннее напряжение в детали, скрытый дефект резьбы, чужая промасленность. Ограничение: нужны прокси (сила при вставке, момент) и право остановиться. «Дожать» — часто запрещённая стратегия.

Логи не полны: диск дропнул, камера без кадра на удар. Ограничение расследования. Проектируйте guaranteed log для safety events.

Ограничения обучения на железе

Каждый провал что-то стоит. Exploration ограничен. Оффлайн-методы и imitation не потому, что «модно», а потому что мир дорог. RL с тяжёлым exploration на линии рядом с людьми — способ получить запрет OT навсегда.

Curriculum в симе помогает, но переносит ограничение: то, чему не научили в рандоме, вылезет в хвосте смены.

Ограничения многопользовательской среды

Другие роботы, другие процессы, расписание линии. Ваш агент не единственный претендент на пространство. Лocks и приоритеты — ответ. Игнорирование — коллизии планов, даже без коллизий геометрии.

Продуктовая речь об ограничениях

Заказчику говорите: «вот что среда запрещает; вот как система деградирует; вот где человек остаётся». Это укрепляет доверие сильнее обещания всемогущества. Скрытые ограничения всплывут на второй неделе сами — дороже.

Анти-паттерн «мир подделаем под модель»

Иногда правильно упростить среду (оснастка, свет, маркеры). Это не поражение Physical AI — это инженерия. Ограничение бюджета часто требует гибрида: часть мира структурировать, часть отдать обучению. Гордость «без маркеров» стоит денег; считайте.

Когда ограничение — сигнал сменить платформу

Если энергобюджет гуманоида систематически убивает такт на ровном складе — ограничение мира намекает на колёса. Если вариативность SKU нулевая годами — на классику. Physical AI не обязан быть ответом на каждый пилот. Признание ограничения — зрелость, не трусость.

Детальный разбор: пол и мобильность

Неровности, стыки плит, уклон, металлические порожки, лужи, полимерная разметка, отражающие полосы для AGV. Одометрия плывёт. Лидар видит призрак в пару. Камера пола слепнет от блика. Ограничение: навигационный контур обязан иметь slip detection и conservative speed, иначе манипуляция на «прибывшей» базе начинается с ошибкой полуметра.

Практика: карта зон скорости; запрет auto-dock при detected slip; регламент сушки после мойки пола. Это не ML. Это мир.

Детальный разбор: освещение

Цветовая температура смены ламп, дневной свет из ворот, сварки, мигалки погрузчиков. Автоэкспозиция камеры — отдельный агент со своими целями, часто враждебными к треку. Ограничение: либо контролируемый свет (кожух, локальная подсветка), либо жёсткий pipeline экспозиции под задачу, либо принятие высокого abort_rate ночью.

Демо в «идеальном свете» без ночного пункта приёмки — обман себя.

Детальный разбор: температура и сезон

Зимой на рампе конденсат; летом перегрев шкафа; склад без климат-контроля. Фокус оптики, электроника, вязкость смазки редуктора — всё плывёт. Ограничение: температурный профиль в испытаниях; дерating токов; не сравнивать январский success с июльским без метаданных.

Детальный разбор: электромагнитная среда

Сварка, частотники, радиосвязь склада. Глюки энкодеров и камер без экранирования списывают на «странные баги политики». Ограничение: EMC практика промышленная, не research lab на столе из дерева.

Детальный разбор: расходники

Присоски стареют, губки засаливаются, скотч на кабеле — не крепёж. Ограничение сервиса: склад и регламент. Политика, обученная на новых губках, деградирует на третьей неделе — это предсказуемо, если tool wear в карте ограничений был.

Ограничения организации площадки

Нет владельца метрик. Смена не обучена. Уборка двигает камеры. IT закрывает порты. Охрана не пускает телеоп ночью. Эти ограничения убивают пилоты чаще «слабого трансформера». Впишите в discovery. Назначьте спонсора с властью.

Ограничения поставки и геополитики

Lead time редуктора, экспортные правила на accelerator, запрет облака offshore. Ограничение roadmap: alternate vendors, on-prem inference. Архитектура, которая живёт только с одним облачным API, хрупка к миру документов, не только к физике.

Как тестировать уважение к ограничениям

Вставьте «день хаоса» раз в месяц: сменить свет, замаслить образец, закрыть одну камеру, отключить WAN, попросить уборку сдвинуть стол на 3 см. Смотрите режимы и эскалации. Если система молча продолжает как в раю — она не уважает мир. Если корректно деградирует — можно масштабировать.

Связка ограничений с карточкой риска

Каждое ограничение → риск → митигация → проверка. Пример:

блики → ложный grasp → подсветка + age monitor → ночной тест

износ пальца → drop rate ↑ → регламент + tool_id → счётчик циклов

WAN loss → freeze mid-skill → local hot path → truncate WAN drill

нет запчастей → простой → локальный склад → аудит склада

Таблица живёт рядом с backlog. Без митигации риск — пожелание.

Ограничения и обучение: что рандомизировать обязательно

Задержка observation, шум силы, смещение калибровки, вариации трения, освещение, массы в допуске. Что часто рандомизируют зря: декоративные текстуры, не встречающиеся у вас. Ограничение compute на сим: тратьте на то, что уже предало в железе.

Ограничения коммуникации с заказчиком

Нельзя обещать «как человек» в мире с люфтом и неполной наблюдаемостью. Можно обещать: уровень автономии L на зоне Z при метриках M с режимом деградации D. Формулировка уважает мир. Маркетинг без неё продаёт другой продукт.

Роль ограничений в go/no-go

Красный флаг: ограничения площадки не собраны.

Красный: нет ночного прогона.

Красный: TCO не считали при success−10 п.п.

Красный: сервисный радиус неизвестен.

Любой красный бьёт по решению сильнее отсутствия SOTA-весов.

Мини-словарь ограничений

Hard constraint — нельзя нарушить (safety, закон, паспорт мотора).

Soft constraint — желательно (энергия, комфорт смены).

Unknown unknown — то, чего нет в карте; ловится днём хаоса и near miss.

Классифицируйте споры. Soft не должен маскироваться под Hard, чтобы убить пилот; Hard не должен смягчаться ради демо.

Что сделать читателю завтра

Пройти зону с блокнотом «что может предать».

Опросить ночную смену.

Добавить два пункта в приёмку.

Обновить сим одним предавшим параметром.

Написать заказчику одно ограничение честно в письме.

Маленькие шаги, большой эффект на выживаемость пилота.

Расширенный пример: комплектация в навале

Мир даёт: перекрытие объектов, деформация пакетов, неизвестное трение, пыль, руки оператора рядом, ярлык WMS иногда врёт. Ограничения диктуют: не end-to-end без force; не обещать 99% без сегментации навала; teleop/shared на хвосте; отдельный навык «разворошить» с лимитом силы; свет сверху; age жёсткий.

Команда, игнорирующая список, купит fine-tune и получит тот же удар по нижней детали. Команда, принявшая список, спроектирует конверт и KPI вмешательств и через месяц будет иметь скучный прогресс вместо красивого провала.

Расширенный пример: гуманоид на заводе

Мир даёт: энергия шага, узкие проходы, ожидания людей, пол, лестницы «раз разберёмся», сервис 20+ DoF. Ограничения часто говорят: начните с мобильного манипулятора на тех же операциях. Если бизнес-кейс требует именно человекоподобной формы (инструмент, проём) — оставьте, но заложите энергию и сервис в TCO без оптимизма пресс-релиза. Ограничение формы — не оскорбление технологии; это геометрия дверей и розеток.

Закрывающая рамка

Реальный мир — соавтор системы. Его не побеждают лозунгом. Его вписывают в контур, данные, договор и KPI. Следующие главы про сенсоры читайте как работу с конкретными обманами мира: что именно врёт камера, лидар, IMU, и как это ограничение закрыть или обойти.

Ограничение: неизмеримое напрямую

Внутренние дефекты, скрытые полости, недотянутая резьба с прошлой операции, чужая химия на поверхности — сенсоры это часто не видят. Система вынуждена опираться на прокси: момент при вкручивании, профиль силы при вставлении, аномалия относительно карточки SKU. Если прокси нет, остаётся эскалация человеку. Отрицать неизмеримое — значит проектировать «дожим». Дожим в реальном мире заканчивается браком или травмой инструмента.

Практика: для каждого критичного контакта выпишите, что именно невидимо и какой прокси закрывает дыру. Пустая клетка — риск в журнале.

Ограничение: чужие процессы

Ваша ячейка стоит не в вакууме. Соседняя линия создаёт вибрацию. Погрузчик перекрывает лидар. Радиоточка глушит телеоп. IT запускает бэкап. Ограничения чужих процессов не прописаны в вашем ТЗ — их надо собирать опросом и днём хаоса. Договор пилота должен давать право остановить авто при вмешательстве чужого процесса, иначе вас будут винить в чужих пиках latency.

Ограничение: квалификация смены

Телеоп и супервизия требуют навыка. Текучка обнуляет. Ночные смены слабее обучены. Ограничение продукта: UX и язык эскалаций должны переживать текучку; обучение — строка бюджета, не «проведём экскурсию». Physical AI, который требует PhD у пульта, не масштабируется.

Ограничение: время наладки vs время такта

Классика: долгая наладка, быстрый такт. Обучаемый контур обещает короткую наладку ценой менее идеального такта. Мир завода часто требует оба. Компромисс — узкий домен и гибрид. Обещание «и быстро переналадить, и бить классический такт с первого дня» обычно врёт ограничениям.

Ограничение: износы, которые никто не логирует

Направляющие, кабели-cable carriers, подшипники гриппера. Без счётчиков циклов и без осмотров политика внезапно «тупеет». Введите моточасы и осмотры в контур эксплуатации. Ограничение мира здесь медленное — тем опаснее: его не видно на двухдневном демо.

Ограничение: юридическая неполнота ответственности

Пока контракт не говорит, кто виноват при ударе на шаге политики vs шаге телеопа, инженеры подсознательно боятся автономии. Это ограничение скорости внедрения. Закройте текстом договора и логами setpoint — иначе пилот зависнет на уровне 2 навсегда.

Ограничение: психология доверия

После одного near miss смена не доверяет месяцами. Восстановление доверия — отдельная работа: прозрачные отказы, честный AUTO, быстрые фиксы крепежа. Игнорировать психологию — ограничение «мягкое», бьёт жёстко по метрикам вмешательств.

Ограничение: размер хвоста распределения

Средний success врёт. Хвост — редкие позы навала, редкий SKU, редкий блик от открытых ворот. Мир устроен хвостами. Бенчмарк без хвоста — реклама. Протокол обязан включать редкие сцены или честно помечать, что они вне скоупа.

Ограничение: совместимость версий парка

Разные прошивки, разные пальцы, разные калибровки. Ограничение масштаба: configuration management. Без него «у робота №7 опять магия». Политика одна, миры разные.

Ограничение: стоимость ошибки разметки данных

Неверные теги success/fail отравляют обучение. Операторы торопятся. Ограничение data quality = ограничение мира труда. UI тегов в перчатках, выборочный аудит, плата за QC. Дешёвая разметка — дорогая политика.

Сводка: матрица «ограничение → ложный вывод»

Если не учесть трение → «сеть не обобщает».

Если не учесть age → «нужен больший backbone».

Если не учесть износ → «дообучить ещё 1k эпизодов».

Если не учесть EMC → «мистические спайки».

Если не учесть TCO при 85% → «давайте парк поскорее».

Матрица на стену. Перед новым training run сверяйтесь.

Полевые вопросы на обходе зоны (расширенный список)

Где лужи после мойки?

Кто двигает стеллажи без извещения?

Какие лампы меняют раз в год, а какие мигают уже месяц?

Где открывают ворота зимой?

Какой погрузчик режет угол у вашей зоны?

Где склад кладёт паллеты «на минутку»?

Какие SKU ненавидит бригада и почему?

Что ломалось у прошлого интегратора?

Кто хранит ключи от шкафа?

Есть ли тихий час, когда можно калибровать?

Ответы — вход в карту ограничений. Без обхода карта будет лабораторной.

Ограничения как вход в MVP

MVP Physical AI — это не «минимальная модель». Это минимальный набор ограничений, с которыми вы согласны жить, и митигаций, которые уже работают. Всё остальное — backlog. Так MVP становится честным относительно мира, а не относительно репозитория.

Связь с 1M слов книги

Эта тема будет возвращаться в каждой прикладной главе. Здесь заложен словарь. Дальше — конкретные сенсоры и их враньё; потом тело; потом данные; потом safety. Каждый раз спрашивайте: какое ограничение мира мы сейчас закрываем, а какое сознательно оставляем снаружи скоупа.

Ещё слой: ограничения измерений успеха

Что считать success? Деталь в лотке, но повёрнута на 30° — ок или нет? Кабель зажат — ок для зрения, нет для следующего процесса. Ограничение спецификации: без операционального done-предиката мир будет «успешен» для модели и провален для завода. Согласуйте предикат с OT до сбора датасета. Иначе разметите тысячи эпизодов не тем критерием.

Частичный success тоже ограничение: система должна уметь его логировать, иначе обучение и KPI врут одинаково.

Ещё слой: ограничения обновлений

OTA в среду с пиковым заказом — ограничение календаря. Change freeze перед сезоном — норма. Мир бизнеса ограничивает, когда можно трогать контур. Впишите windows обновлений в договор. Технически идеальный canary бесполезен, если его нельзя включить три месяца.

Ещё слой: ограничения аудита и логов

Хранить видео лиц — нельзя. Удалять логи ударов — нельзя. Баланс ИБ и safety. Архитектура redaction — ответ. Игнорирование — либо штраф, либо слепое расследование. Оба исхода из мира регуляторики, не из GitHub issues.

Финальный практический пакет

1. Карта ограничений зоны (1–2 дня обхода и интервью).

2. Таблица риск→митигация→тест.

3. Ночной пункт в приёмке.

4. TCO scenario success−10 п.п.

5. День хаоса в календаре.

6. ADR по hard constraints.

Шесть артефактов. Без них Physical AI на площадке — костюм поверх лабораторного стенда. С ними — шанс на скучный, живучий пилот.

Ограничения симулятора как «мира»

Сим — тоже мир, только удобный. У него свои ограничения: упрощённый контакт, идеальные сенсоры по умолчанию, отсутствие уборщицы. Опасность в том, что команда начинает оптимизировать ограничения сима. Успех в симе без таблицы переноса — успех в вымышленном мире. Правило: каждый сим-параметр либо привязан к замеру с железа, либо помечен как decorative и не используется в gate релиза.

Доменная рандомизация не бесконечна. Слишком широкий рандом учит «ничему конкретному». Слишком узкий — не готовит к смене. Ограничение: выбирать рандом по карте предательств площадки, не по статье с красивыми картинками домена.

Ограничения телеоперации как источника истины

Человек-телеоператор компенсирует задержки иначе, чем автомат. Он видит «будущее» движения навыком. Датасет телеопа несёт это скрытое ограничение: политика может не воспроизвести траектории. Смягчения: ассисты с теми же limiters, что в авто; фильтр скорости записи; доучивание на auto с коррекцией. Игнорировать разницу — получить политику, которая «почти как оператор» только в ролике.

Ограничения языка инструкций

Жаргон, шум, temperamental микрофон, двое говорящих. Мир акустики цеха враждебен голосовому агенту. Ограничение: кнопка talk, закрытая грамматика, подтверждение. Свободный голосовой роман — roаdmap после стабильного хвата, не вместо.

Ограничения двусмысленных координат

«Слева» без frame — не команда. Мир людей полон относительности. Система обязана нормализовать frame_id или уточнять. Это ограничение коммуникации, его закрывают UX и schema, не более крупная LLM alone.

Ограничения парка разнородного железа

Разные партии камер, слегка разные углы крепления после сервиса. Обобщение политики ограничено геометрией. Calibration-aware deployment и per-robot adapters — ответ. Мечта «один вес на всех» упирается в разброс парка как в физический закон производства камер.

Ограничения усталости материала и creep

Податливые губки ползут; эластомеры дубеют на холоде. Ограничение времени жизни инструмента должно быть в карточке и в алертах. Иначе shift «непонятный».

Ограничения измерений latency людьми