Physical AI: От нейросетей к гуманоидным роботам

10. Пайплайн данных и экспериментов

Без пайплайна данных Physical AI превращается в коллекцию клипов на диске ноутбука. Нужны: захват эпизода, QC, индексация по конфигу/SKU/отказу, эксперимент с гипотезой, регресс, canary, запись результата.

Эпизод как единица

State + keyframes/video + config hash + versions + teleop tags + safety events. Нет hash — эпизод слабопригоден. TTL raw и purpose-теги с первого дня.

QC

Отбраковка рассинхрона, пустых кадров, ручных хватов без тегов, чужих конфигов. Бюджет QC — часть CAPEX данных, не «потом волонтёры».

Эксперимент

Гипотеза: «закрываем abort типа loss-of-track на тёмном SKU B». Метрики до/после на holdout сайта. Не «обучили новую сеть — в прод». Связь эксперимента с классом отказа обязательна.

Регресс и воспроизводимость

Фиксированные наборы day/night/known-hard. Сиды и версии. Стохастика без лога — враг разбора.

Практика

Каталог датасетов с владельцем. Запрет train без purpose. Дашборд: полнота эпизодов, очередь QC, доля данных out-of-scope.

Фокус этой главы (U0157)

Разбор «10. Пайплайн данных и экспериментов» держится на фасете sim-to-real soft pack. Соседние кейсы могут звучать похоже по складу, но здесь другие abort-коды, другие пороги и другой пакет evidence. Не переносите чеклист один в один.

Симптом на полу

Смена видит деградацию, которую легко списать на «модель». В юните 0157 первичная гипотеза — sim-to-real soft pack. Проверка: сравнить success_night и mtt_truth_min до/после изменения среды при фиксированном config hash.

Abort-коды и RACI

— U0157_PERCEPTION_GLARE — owner OT, secondary ML

— U0157_TF_DRIFT — owner integration, secondary vendor field

— U0157_TELEOP_HIDDEN — owner safety/compliance

Эскалация: код → runbook шаг → canary halt при пороге.

Метрики (только для этой главы)

— success_night — доля успешных циклов ночью; порог-кандидатоперации: 6 (уточняется на FAT ячейки U0157).

— mtt_truth_min — минуты до полного пакета логов; порог-кандидатоперации: 6 (уточняется на FAT ячейки U0157).

— teleop_share — доля циклов с teleop; порог-кандидатоперации: 9 (уточняется на FAT ячейки U0157).

— stockout_hours — часы простоя из-за spare; порог-кандидатоперации: 43 (уточняется на FAT ячейки U0157).

Протокол проверки (уникальный)

1. Зафиксировать config hash H0157 и версию карты ограничений.

2. Прогнать отказный сценарий по фасету «sim-to-real soft pack» на canary не менее двух смен.

3. Снять пакет: state, keyframes, success_night, teleop_share, teleop_flag.

4. Если mtt_truth_min хуже порога — rollback тем же пайплайном, что выкат.

5. Запись в CMDB cell note: U0157 result.

Чеклист (не общий шаблон)

— [ ] Карта ограничений содержит пункт про sim-to-real soft pack

— [ ] Коды U0157_PERCEPTION_GLARE, U0157_TF_DRIFT в таксономии релиза

— [ ] Дашборд смены показывает success_night и mtt_truth_min

— [ ] Тест отказа U0157 в FAT/SAT

— [ ] Запрет принимать демо без этого теста

Что не делать

— Копировать конфиг соседней главы без смены hash.

— Чистить teleop, чтобы поднять success в отчёте по «10. Пайплайн данных и экспериментов».

— Глушить мониторы age/latency «на время пилота».

— Подменять пакет U0157 роликом demo-day.

Короткий вывод

«10. Пайплайн данных и экспериментов» закрывается, когда фасет sim-to-real soft pack измерим, коды abort назначены и canary умеет остановиться. Юнит U0157 — самостоятельный evidence pack, не клон соседнего.

11. Baseline до сложной модели

Сложная модель на сыром процессе маскирует дыры среды и калибровки. Baseline — детерминированные ограничения, классический vision/force где хватает, измеренный teleop, ручные скрипты навыков. Он задаёт пол метрик и честную цену автономии.

Что входит в baseline

Калибровка в допуске. Safety supervisor. Стабильный захват на known-good SKU скриптом/простым детектором. Журнал отказов. Latency измерения. Teleop как измеряемый fallback, не стыд.

Зачем это PM

Если baseline уже даёт 70% нужного эффекта (оценка порядка — зависит от задачи), foundation может быть избыточен для MVP. Если baseline провален из-за света и крепежа камеры — сначала пол и кронштейн, не transformer.

Переход к модели

Модель входит, когда закрывает измеренный класс отказов и проходит регресс, не ломая safety. Сравнение: delta success, delta teleop, delta damage, delta latency. Нет delta — нет выката.

Практика

Неделя baseline в плане 90 дней обязательна. Отчёт baseline подписывает OT: среда готова или нет.

Фокус этой главы (U0158)

Разбор «11. Baseline до сложной модели» держится на фасете FAT/SAT числа. Соседние кейсы могут звучать похоже по складу, но здесь другие abort-коды, другие пороги и другой пакет evidence. Не переносите чеклист один в один.

Симптом на полу

Смена видит деградацию, которую легко списать на «модель». В юните 0158 первичная гипотеза — FAT/SAT числа. Проверка: сравнить incomplete_ep и mtt_truth_min до/после изменения среды при фиксированном config hash.

Abort-коды и RACI

— U0158_WMS_DUP_CMD — owner OT, secondary ML

— U0158_PRIVACY_RAW — owner integration, secondary vendor field

— U0158_SPARE_STOCKOUT — owner safety/compliance

Эскалация: код → runbook шаг → canary halt при пороге.

Метрики (только для этой главы)

— incomplete_ep — доля эпизодов без обязательных полей; порог-кандидатоперации: 6 (уточняется на FAT ячейки U0158).

— mtt_truth_min — минуты до полного пакета логов; порог-кандидатоперации: 6 (уточняется на FAT ячейки U0158).

— calib_drift_px — drift target board, px; порог-кандидатоперации: 44 (уточняется на FAT ячейки U0158).

— stockout_hours — часы простоя из-за spare; порог-кандидатоперации: 44 (уточняется на FAT ячейки U0158).

Протокол проверки (уникальный)

1. Зафиксировать config hash H0158 и версию карты ограничений.

2. Прогнать отказный сценарий по фасету «FAT/SAT числа» на canary не менее двух смен.

3. Снять пакет: state, keyframes, incomplete_ep, calib_drift_px, teleop_flag.

4. Если mtt_truth_min хуже порога — rollback тем же пайплайном, что выкат.

5. Запись в CMDB cell note: U0158 result.

Чеклист (не общий шаблон)

— [ ] Карта ограничений содержит пункт про FAT/SAT числа

— [ ] Коды U0158_WMS_DUP_CMD, U0158_PRIVACY_RAW в таксономии релиза

— [ ] Дашборд смены показывает incomplete_ep и mtt_truth_min

— [ ] Тест отказа U0158 в FAT/SAT

— [ ] Запрет принимать демо без этого теста

Что не делать

— Копировать конфиг соседней главы без смены hash.

— Чистить teleop, чтобы поднять success в отчёте по «11. Baseline до сложной модели».

— Глушить мониторы age/latency «на время пилота».

— Подменять пакет U0158 роликом demo-day.

Короткий вывод

«11. Baseline до сложной модели» закрывается, когда фасет FAT/SAT числа измерим, коды abort назначены и canary умеет остановиться. Юнит U0158 — самостоятельный evidence pack, не клон соседнего.

12. Контуры управления и интеграция

Политика ML выдаёт setpoint/skill; контроль и приводы исполняют; OT/WMS дают задания; safety режет. Интеграция — стыки с явными контрактами и частотами, а не «робот сам смотрит ERP».

Контуры

Внутренний: joint/Cartesian control, force limits. Средний: skill execution, локальный план. Внешний: очередь заданий WMS/MES, статусы ячейки. Safety — поперечный. Каждый контур с timeout и degraded mode.

Интеграция WMS/MES

События: взять SKU, положить в лоток, ошибка, запрос помощи. Не тащите raw video в ERP. Идемпотентность команд. Часы синхронизации.

PLC/OT сеть

Сегментация, запрет ML-хоста как dual-home без правил. Change control на запись в PLC. Тесты на потерю линка.

Teleop в контуре

Приоритет человека над политикой — явный. Задержка канала в UI. Журнал. Запрет teleop обходить safety.

Практика

Диаграмма контуров с latency budget и владельцем. Интеграционный стенд до поля. Контрактные IDL в репозитории, не в переписке.

Фокус этой главы (U0159)

Разбор «12. Контуры управления и интеграция» держится на фасете сегментные метрики смен. Соседние кейсы могут звучать похоже по складу, но здесь другие abort-коды, другие пороги и другой пакет evidence. Не переносите чеклист один в один.

Симптом на полу

Смена видит деградацию, которую легко списать на «модель». В юните 0159 первичная гипотеза — сегментные метрики смен. Проверка: сравнить mtt_truth_min и near_miss до/после изменения среды при фиксированном config hash.

Abort-коды и RACI

— U0159_SPARE_STOCKOUT — owner OT, secondary ML

— U0159_PERCEPTION_GLARE — owner integration, secondary vendor field

— U0159_TF_DRIFT — owner safety/compliance

Эскалация: код → runbook шаг → canary halt при пороге.

Метрики (только для этой главы)

— mtt_truth_min — минуты до полного пакета логов; порог-кандидатоперации: 41 (уточняется на FAT ячейки U0159).

— near_miss — near miss / 1000 циклов; порог-кандидатоперации: 5 (уточняется на FAT ячейки U0159).

— support_h_cell — часы поддержки / ячейка / неделя; порог-кандидатоперации: 40 (уточняется на FAT ячейки U0159).

— stockout_hours — часы простоя из-за spare; порог-кандидатоперации: 40 (уточняется на FAT ячейки U0159).

Протокол проверки (уникальный)

1. Зафиксировать config hash H0159 и версию карты ограничений.

2. Прогнать отказный сценарий по фасету «сегментные метрики смен» на canary не менее двух смен.

3. Снять пакет: state, keyframes, mtt_truth_min, support_h_cell, teleop_flag.

4. Если near_miss хуже порога — rollback тем же пайплайном, что выкат.

5. Запись в CMDB cell note: U0159 result.

Чеклист (не общий шаблон)

— [ ] Карта ограничений содержит пункт про сегментные метрики смен

— [ ] Коды U0159_SPARE_STOCKOUT, U0159_PERCEPTION_GLARE в таксономии релиза

— [ ] Дашборд смены показывает mtt_truth_min и near_miss

— [ ] Тест отказа U0159 в FAT/SAT

— [ ] Запрет принимать демо без этого теста

Что не делать

— Копировать конфиг соседней главы без смены hash.

— Чистить teleop, чтобы поднять success в отчёте по «12. Контуры управления и интеграция».

— Глушить мониторы age/latency «на время пилота».

— Подменять пакет U0159 роликом demo-day.

Короткий вывод

«12. Контуры управления и интеграция» закрывается, когда фасет сегментные метрики смен измерим, коды abort назначены и canary умеет остановиться. Юнит U0159 — самостоятельный evidence pack, не клон соседнего.

13. Стенд, полигон и тестовые протоколы

Стенд — место, где отсекают ложь до поля. Полигон — упрощённый сайт. Протоколы — повторяемые шаги с числами. Без них FAT/SAT превращаются в «у нас дома ездило».

Типы стендов

Калибровочный. Perception с эталонами. Динамика/сила. Safety. Интеграционный с mock WMS. Не всё в одном чулане без светового контроля.

Протоколы

Имя, версия, предусловия, шаги, допуски, артефакт отчёта, fail criteria. Cold start. Day/night. Known-good и known-hard SKU. EMI если релевантно. Latency p95. Потеря сенсора. Потеря линка. Rollback образа.

Полигон

Пол, свет, стеллаж «как там», но без риска линии. Не заменяет SAT, снижает сюрпризы.

Люди

Кто имеет право подписать pass. Запрет «почти OK». Связь красного теста с блоком релиза.

Практика

Библиотека протоколов в git. CI на симуляторе + ручной/полуавтоматический прогон на стенде перед canary. Хранить отчёты рядом с config hash релиза.

Фокус этой главы (U0160)

Разбор «13. Стенд, полигон и тестовые протоколы» держится на фасете dual-use screening. Соседние кейсы могут звучать похоже по складу, но здесь другие abort-коды, другие пороги и другой пакет evidence. Не переносите чеклист один в один.

Симптом на полу

Смена видит деградацию, которую легко списать на «модель». В юните 0160 первичная гипотеза — dual-use screening. Проверка: сравнить mtt_truth_min и support_h_cell до/после изменения среды при фиксированном config hash.

Abort-коды и RACI

— U0160_SPARE_STOCKOUT — owner OT, secondary ML

— U0160_PERCEPTION_GLARE — owner integration, secondary vendor field

— U0160_TF_DRIFT — owner safety/compliance

Эскалация: код → runbook шаг → canary halt при пороге.

Метрики (только для этой главы)

— mtt_truth_min — минуты до полного пакета логов; порог-кандидатоперации: 44 (уточняется на FAT ячейки U0160).

— support_h_cell — часы поддержки / ячейка / неделя; порог-кандидатоперации: 44 (уточняется на FAT ячейки U0160).

— p95_latency_ms — p95 hot path; порог-кандидатоперации: 44 (уточняется на FAT ячейки U0160).

— teleop_share — доля циклов с teleop; порог-кандидатоперации: 44 (уточняется на FAT ячейки U0160).

Протокол проверки (уникальный)

1. Зафиксировать config hash H0160 и версию карты ограничений.

2. Прогнать отказный сценарий по фасету «dual-use screening» на canary не менее двух смен.

3. Снять пакет: state, keyframes, mtt_truth_min, p95_latency_ms, teleop_flag.

4. Если support_h_cell хуже порога — rollback тем же пайплайном, что выкат.

5. Запись в CMDB cell note: U0160 result.

Чеклист (не общий шаблон)

— [ ] Карта ограничений содержит пункт про dual-use screening

— [ ] Коды U0160_SPARE_STOCKOUT, U0160_PERCEPTION_GLARE в таксономии релиза

— [ ] Дашборд смены показывает mtt_truth_min и support_h_cell

— [ ] Тест отказа U0160 в FAT/SAT

— [ ] Запрет принимать демо без этого теста

Что не делать

— Копировать конфиг соседней главы без смены hash.

— Чистить teleop, чтобы поднять success в отчёте по «13. Стенд, полигон и тестовые протоколы».

— Глушить мониторы age/latency «на время пилота».

— Подменять пакет U0160 роликом demo-day.

Короткий вывод

«13. Стенд, полигон и тестовые протоколы» закрывается, когда фасет dual-use screening измерим, коды abort назначены и canary умеет остановиться. Юнит U0160 — самостоятельный evidence pack, не клон соседнего.

14. Сборка демонстрационного сценария

Демо в Physical AI — инструмент продаж и внутренней синхронизации, опасный тем, что его легко принять за готовность линии. Собирайте демо как сценарий с известными границами: один SKU-класс, контролируемый свет, откат на teleop, заранее проговоренные failure modes. Зритель должен уйти с пониманием, что именно показано и что ещё не показано.

Цель демо

Разные цели — разные сценарии. Для спонсора: связь с unit economics и safety. Для OT: поведение при abort и читаемость кодов. Для BD: короткий wow без лжи про ночную смену. Не склеивайте три аудитории в один скрипт ценой скрытого телеопа.

Скрипт и репетиция

Пошаговый скрипт: старт, захват, исключение, восстановление, стоп. Репетиция на том же конфиге, что покажете. Запрет «подкрутить» порог за час до показа без записи в журнал изменений. Если без подкрутки не едет — это не демо, а сигнал к scope.

Честность failure

Встройте управляемый сбой: потеря трека, out-of-matrix SKU, нажатие стопа. Покажите runbook. Демо, которое никогда не ошибается, учит заказчика не тому.

Данные и запись

Если снимаете ролик — согласия, без лиц смены без разрешения, без обещаний «так будет в проде 24/7». Клип маркируйте как demo conditions.

Практика

Карточка демо: scope, конфиг hash, что out of scope, кто teleop standby, дата. После демо — письменный follow-up без преувеличений.

Фокус этой главы (U0161)

Разбор «14. Сборка демонстрационного сценария» держится на фасете shutter skew. Соседние кейсы могут звучать похоже по складу, но здесь другие abort-коды, другие пороги и другой пакет evidence. Не переносите чеклист один в один.

Симптом на полу

Смена видит деградацию, которую легко списать на «модель». В юните 0161 первичная гипотеза — shutter skew. Проверка: сравнить calib_drift_px и success_night до/после изменения среды при фиксированном config hash.

Abort-коды и RACI

— U0161_HASH_MISSING — owner OT, secondary ML

— U0161_LATENCY_BUDGET — owner integration, secondary vendor field

— U0161_SENSOR_AGE — owner safety/compliance

Эскалация: код → runbook шаг → canary halt при пороге.

Метрики (только для этой главы)

— calib_drift_px — drift target board, px; порог-кандидатоперации: 22 (уточняется на FAT ячейки U0161).

— success_night — доля успешных циклов ночью; порог-кандидатоперации: 21 (уточняется на FAT ячейки U0161).

— stockout_hours — часы простоя из-за spare; порог-кандидатоперации: 22 (уточняется на FAT ячейки U0161).

— p95_latency_ms — p95 hot path; порог-кандидатоперации: 22 (уточняется на FAT ячейки U0161).

Протокол проверки (уникальный)

1. Зафиксировать config hash H0161 и версию карты ограничений.

2. Прогнать отказный сценарий по фасету «shutter skew» на canary не менее двух смен.

3. Снять пакет: state, keyframes, calib_drift_px, stockout_hours, teleop_flag.

4. Если success_night хуже порога — rollback тем же пайплайном, что выкат.

5. Запись в CMDB cell note: U0161 result.

Чеклист (не общий шаблон)

— [ ] Карта ограничений содержит пункт про shutter skew

— [ ] Коды U0161_HASH_MISSING, U0161_LATENCY_BUDGET в таксономии релиза

— [ ] Дашборд смены показывает calib_drift_px и success_night

— [ ] Тест отказа U0161 в FAT/SAT

— [ ] Запрет принимать демо без этого теста

Что не делать

— Копировать конфиг соседней главы без смены hash.

— Чистить teleop, чтобы поднять success в отчёте по «14. Сборка демонстрационного сценария».

— Глушить мониторы age/latency «на время пилота».

— Подменять пакет U0161 роликом demo-day.

Короткий вывод

«14. Сборка демонстрационного сценария» закрывается, когда фасет shutter skew измерим, коды abort назначены и canary умеет остановиться. Юнит U0161 — самостоятельный evidence pack, не клон соседнего.

15. Подготовка пилота у заказчика

Пилот ломается о доступы, сеть, свет, ожидания смены и отсутствие владельца карты ограничений. Подготовка — чеклист среды и людей до ввоза железа, не «монтажники приедут разберутся».

За N недель

Согласовать acceptance и out-of-scope. Назначить владельцев с обеих сторон. Проверить питание, пол, ограждения, EMI, Wi-Fi/сегмент OT, места серверов логов. Список SKU in scope с образцами. Окно смен для монтажа без героизма в пик сезона.

Сеть и ИБ

Отдельный сегмент, правила remote, VPN accounts именные, запрет shared password на teleop. Куда пишутся эпизоды. DPA если нужно. Тест loss-of-link.

Люди

Онбординг смены: что пишет камера, когда стоп, кого звать, что не наказывать. Сертификация supervised. Контакт HR если меняются роли.

Карта ограничений v0

Свет, блики, узкие проходы, люди в зоне, ночные отличия. Подпись OT. Без v0 монтаж можно начать, canary — нельзя.

Логистика

Место под буфер запчастей, эталоны perception, носитель golden image. Куда ставить стенд приёмки.

Практика

Kickoff с OT/ML/ИБ/сервис. Красные флаги = стоп ввоза. Лучше сдвинуть дату, чем монтировать в серую зону.

Фокус этой главы (U0162)

Разбор «15. Подготовка пилота у заказчика» держится на фасете sim-to-real soft pack. Соседние кейсы могут звучать похоже по складу, но здесь другие abort-коды, другие пороги и другой пакет evidence. Не переносите чеклист один в один.

Симптом на полу

Смена видит деградацию, которую легко списать на «модель». В юните 0162 первичная гипотеза — sim-to-real soft pack. Проверка: сравнить near_miss и support_h_cell до/после изменения среды при фиксированном config hash.

Abort-коды и RACI

— U0162_WMS_DUP_CMD — owner OT, secondary ML

— U0162_PRIVACY_RAW — owner integration, secondary vendor field

— U0162_SPARE_STOCKOUT — owner safety/compliance

Эскалация: код → runbook шаг → canary halt при пороге.

Метрики (только для этой главы)

— near_miss — near miss / 1000 циклов; порог-кандидатоперации: 20 (уточняется на FAT ячейки U0162).

— support_h_cell — часы поддержки / ячейка / неделя; порог-кандидатоперации: 30 (уточняется на FAT ячейки U0162).

— incomplete_ep — доля эпизодов без обязательных полей; порог-кандидатоперации: 28 (уточняется на FAT ячейки U0162).

— mtt_truth_min — минуты до полного пакета логов; порог-кандидатоперации: 28 (уточняется на FAT ячейки U0162).

Протокол проверки (уникальный)

1. Зафиксировать config hash H0162 и версию карты ограничений.

2. Прогнать отказный сценарий по фасету «sim-to-real soft pack» на canary не менее двух смен.

3. Снять пакет: state, keyframes, near_miss, incomplete_ep, teleop_flag.

4. Если support_h_cell хуже порога — rollback тем же пайплайном, что выкат.

5. Запись в CMDB cell note: U0162 result.

Чеклист (не общий шаблон)

— [ ] Карта ограничений содержит пункт про sim-to-real soft pack

— [ ] Коды U0162_WMS_DUP_CMD, U0162_PRIVACY_RAW в таксономии релиза

— [ ] Дашборд смены показывает near_miss и support_h_cell

— [ ] Тест отказа U0162 в FAT/SAT

— [ ] Запрет принимать демо без этого теста

Что не делать

— Копировать конфиг соседней главы без смены hash.

— Чистить teleop, чтобы поднять success в отчёте по «15. Подготовка пилота у заказчика».

— Глушить мониторы age/latency «на время пилота».

— Подменять пакет U0162 роликом demo-day.

Короткий вывод

«15. Подготовка пилота у заказчика» закрывается, когда фасет sim-to-real soft pack измерим, коды abort назначены и canary умеет остановиться. Юнит U0162 — самостоятельный evidence pack, не клон соседнего.

16. Мониторинг после запуска

После запуска нужен не «дашборд красивый», а время до правды: что сломалось, насколько свежи сенсоры, сколько teleop, полны ли эпизоды. Мониторинг без runbook — шум. Runbook без мониторов — легенды на совещании.

Сигналы

Latency p95 hot path. Age камер/IMU. Abort rate по кодам. Teleop share и причины. Near miss. Полнота эпизодов. Stockout critical spare. Расхождение config hash с CMDB. Версия карты ограничений.