Проект «Фрактал»: децентрализованная сеть обнаружения и поражения беспилотных летательных аппаратов (БПЛА)
- -
- 100%
- +
Периферийная обработка: решение на месте
Именно поэтому в нашей системе обработка данных происходит на месте — непосредственно на каждом узле сети.
Вот как выглядит та же цепочка в архитектуре «Фрактал»:
1. Сбор данных на сенсоре — миллисекунды.
2. Обработка на NPU того же узла — инференс лёгкой свёрточной нейросети занимает миллисекунды. Современные NPU способны выполнять квантованные модели INT8 с частотой 10–30 Гц, то есть каждые 33–100 миллисекунд выдавая новый результат.
3. Формирование трека — MCU упаковывает результат в компактное сообщение размером 50–100 байт (координаты, тип, уровень доверия).
4. Передача по mesh-сети — несколько миллисекунд до соседних узлов.
Вся цепочка от момента, когда звук достиг микрофона или радиоволна отразилась от дрона, до момента, когда решение сформировано и передано в сеть, укладывается в десятки миллисекунд. Без интернета. Без облака. Без зависимости от дата-центра за сотни километров.
Для сравнения: исследования показывают, что периферийные архитектуры существенно превосходят облачные как по задержке, так и по пропускной способности. Обработка на границе сети сокращает среднюю задержку инференса почти на 87% по сравнению с облачными подходами. И это не говоря о том, что периферийная обработка вообще не требует передачи «сырых» данных — в сеть уходят только сжатые треки, а не гигабайты видео и аудио.
Что мы выигрываем
Переход от облачной к периферийной архитектуре даёт системе три критических преимущества:
Скорость. Задержка сокращается с сотен-тысяч миллисекунд до десятков. Дрон, летящий на скорости 500 км/ч, за это время успевает пролететь всего несколько метров вместо сотен. Система получает возможность реагировать на угрозу до того, как она достигнет охраняемого объекта, а не после.
Автономность. Каждый узел работает независимо. Если связь с «внешним миром» потеряна — узлы продолжают обнаруживать, классифицировать и передавать треки внутри mesh-сети. МОГ продолжает принимать решения и поражать цели. Система не парализуется обрывом кабеля или глушением спутникового сигнала.
Эффективность. Вместо передачи терабайтов «сырых» данных по дорогим и узким каналам связи узлы обмениваются только метаданными — компактными треками размером в десятки байт. Это позволяет сети работать даже при минимальной пропускной способности и делает её нечувствительной к перегрузкам.
Где облако всё-таки нужно
Сказанное не означает, что облачные вычисления в системе «Фрактал» не используются вовсе. Они есть — но на совершенно другом уровне.
В нашей фрактальной архитектуре обработка на периферии отвечает за тактические решения: «есть ли дрон?», «какой это тип?», «куда он летит?», «открывать ли огонь?». Это решения, которые должны приниматься за миллисекунды, на месте, без оглядки на внешние каналы.
Облачные же мощности (или, что более реалистично в боевых условиях, вычислительные ресурсы вышестоящего штаба) отвечают за стратегические задачи: обучение и обновление нейросетевых моделей, анализ общей воздушной обстановки на огромной территории, координация между несколькими МОГ, интеграция с данными от других родов войск.
Эти задачи не критичны ко времени в том же смысле. Обновлённая модель может быть распространена по сети в течение минут или даже часов — это не снижает боеспособности системы, потому что старые модели продолжают работать. Анализ общей обстановки может выполняться с задержкой в несколько секунд — это всё равно даёт штабу понимание картины боя.
Главный принцип нашей архитектуры можно сформулировать так: данные обрабатываются там, где они возникают, а в облако уходит только то, что действительно требует облака. Это не компромисс и не уступка обстоятельствам — это осознанный выбор, продиктованный физикой и логикой войны дронов.
Война дронов — это война миллисекунд. И в этой войне побеждает тот, кто обрабатывает данные быстрее, а не тот, у кого дата-центр мощнее. Именно поэтому каждый узел «Фрактала» — это не просто датчик, а полноценный вычислительный центр, способный мыслить самостоятельно, не оглядываясь на облако.
Глава 10. Нейронный процессор (NPU) как основа каждого узла
В предыдущих главах мы говорили о датчиках — радарах, микрофонах, RF-приёмниках. Но датчик без интеллекта — это просто источник сырых данных. Вопрос в том, где и как эти данные превращаются в решение. Традиционный подход — отправить всё в облако или на мощный сервер — в условиях войны дронов неприемлем. Связь может быть нарушена, задержка в секунду оборачивается поражённой целью, а централизованная обработка создаёт единую точку отказа.
В нашей системе ответ на этот вызов — нейронный процессор (NPU), установленный на каждом узле сети. Это не просто микросхема, а фундаментальное архитектурное решение, которое переносит «мозг» системы на периферию, туда, где рождаются данные.
Технические характеристики: производительность и энергопотребление
NPU — это специализированный чип, спроектированный для одной задачи: максимально быстро и энергоэффективно выполнять алгоритмы искусственного интеллекта. В отличие от универсального центрального процессора (CPU), который тратит такты на переключение контекстов и обслуживание периферии, NPU построен вокруг матричных умножителей-аккумуляторов (MAC) — аппаратных блоков, которые выполняют миллиарды операций умножения и сложения за секунду, потребляя при этом доли ватта.
Что даёт NPU на практике.
Современные исследования показывают, что NPU обеспечивает ускорение до 5,2 раз по сравнению с CPU при инференсе свёрточных нейросетей (CNN). Для более сложных задач, таких как обработка больших языковых моделей, NPU достигает ускорения до 4 раз на этапе префилла. Но главное — не просто скорость, а энергоэффективность: гибридные реализации NPU + GPU превосходят CPU-решения как по задержке, так и по энергопотреблению.
Ключевые требования к NPU в нашей системе:
- Производительность: достаточная для инференса лёгкой 2D свёрточной нейросети размером 5 МБ с частотой 10–30 Гц. Это означает, что каждый узел способен обрабатывать данные с датчиков десятки раз в секунду — в реальном времени.
- Поддержка квантованных моделей (INT8): квантование — это техника сжатия нейросетей, при которой веса модели хранятся в 8-битных целых числах вместо 32-битных чисел с плавающей запятой. Это уменьшает размер модели в 4 раза и кратно ускоряет вычисления на NPU.
- Объём встроенной памяти для весов: не менее 10 МБ — достаточно для хранения нескольких свёрточных моделей одновременно.
- Энергопотребление в режиме активной обработки: 1 Вт. Это критическое требование. Узел-боец должен работать автономно от аккумулятора часами, а в некоторых сценариях — сутками. Для сравнения: современные NPU для встраиваемых систем, такие как Axon NPU от Nordic Semiconductor, потребляют в активном режиме около 2,7–3,5 мА, а некоторые ультранизкопотребляющие решения, как BrainChip Akida Pico, — менее 1 милливатта.
- Возможность работы в связке с MCU по SPI или общей шине.
Эти характеристики делают NPU идеальным «мозгом» для каждого сенсорного узла. Он не требует массивного охлаждения, не сажает батарею и при этом способен выполнять сложный анализ данных за миллисекунды.
Обработка спектрограмм вместо видеокадров — экономия ресурсов в десятки раз
Ключевой вопрос: что именно обрабатывает NPU? На первый взгляд, логичнее всего было бы анализировать «сырые» сигналы с датчиков — видеопоток с тепловизора или временные ряды с радара. Но этот путь ведёт в тупик.
Обработка полноценного видеокадра — это вычислительно дорогая операция. Она требует обработки миллионов пикселей, работы с цветом, яркостью, контрастностью. Даже на мощном NPU такой анализ потребляет ватты энергии и занимает десятки миллисекунд. Для системы, где каждый узел должен работать от батареи, это неприемлемо.
Вместо этого наша система анализирует спектрограммы — визуальные представления сигналов в частотно-временной плоскости. Это принципиально иной подход, который даёт колоссальный выигрыш в эффективности.
Почему спектрограмма эффективнее видеокадра:
1. Размер данных. Спектрограмма размером 128×128 точек — это 16 384 значения. Видеокадр в разрешении 640×480 — это 307 200 пикселей, каждое из которых может содержать три цветовых канала. Спектрограмма меньше видеокадра в десятки раз.
2. Информационная плотность. Спектрограмма — это не просто «картинка». Каждая её точка несёт физически значимую информацию: частота и время сигнала. Нейросеть, обученная на спектрограммах, учится распознавать именно паттерны сигнала, а не случайные визуальные артефакты.
3. Энергопотребление. Обработка спектрограммы требует в десятки раз меньше операций MAC, чем обработка видеокадра. А значит — и энергии. Экспериментальные данные показывают, что построение Mel-спектрограммы на NPU может занимать всего 0,015 секунды (15 миллисекунд) при использовании оптимизированных MLIR-ядер. Это в 20 раз быстрее, чем на CPU.
4. Универсальность. Спектрограмма — это универсальный формат. Звук, радарный сигнал, RF-излучение — все эти разнородные данные могут быть представлены в виде спектрограмм и обработаны одной и той же нейросетевой архитектурой. Это упрощает разработку и позволяет использовать одни и те же NPU на всех типах узлов.
Именно поэтому в нашей системе NPU не анализирует «сырые» данные. Вместо этого MCU собирает данные с датчиков, строит спектрограмму и передаёт её на NPU. NPU прогоняет спектрограмму через лёгкую свёрточную нейросеть и за миллисекунды выдаёт результат: есть ли дрон, какой у него тип и насколько система уверена в этом решении.
Примеры моделей: Mel-спектрограмма для звука
Звук — это колебания воздуха. Человеческое ухо воспринимает их как громкость и высоту тона. Но для машины звук — это просто последовательность чисел — отсчётов амплитуды во времени. Чтобы превратить эту последовательность в то, что «понимает» нейросеть, используется Mel-спектрограмма.
Что такое Mel-спектрограмма.
Mel-спектрограмма — это визуальное представление звукового сигнала, где:
- Ось X — время.
- Ось Y — частота, но не в линейной шкале (герцы), а в Mel-шкале, которая отражает нелинейное восприятие частоты человеческим ухом.
- Цвет или яркость каждой точки — амплитуда сигнала на данной частоте в данный момент времени.
Почему именно Mel-шкала? Человеческий слух гораздо лучше различает низкие частоты, чем высокие. Mel-шкала построена так, чтобы отражать это свойство: она «растягивает» низкие частоты и «сжимает» высокие. Нейросеть, обученная на Mel-спектрограммах, «слышит» звук так же, как его слышит человек, но с гораздо большей детализацией и без усталости.
Как это работает в системе.
Когда акустический датчик (микрофонная решётка) фиксирует звук, MCU буферизует аудиопоток с частотой дискретизации 44,1 кГц. Затем он разбивает его на короткие фреймы (обычно по 25–50 миллисекунд), для каждого фрейма вычисляет спектр мощности и преобразует его в Mel-шкалу. Результат — Mel-спектрограмма размером, например, 128×128 точек.
Эта спектрограмма подаётся на вход NPU, где работает лёгкая свёрточная нейросеть (CNN). Модель обучена на миллионах аудиосэмплов — звуках различных типов дронов, птиц, автомобилей, строительной техники, голосов и других городских шумов.
Результаты впечатляют. Современные CNN-классификаторы на основе Mel-спектрограмм достигают точности обнаружения дронов 98,23% и точности идентификации типа дрона 95,39%. Это означает, что из ста пролетающих дронов система не пропустит почти ни одного, а из ста правильно обнаруженных — правильно определит тип в 95 случаях.
В условиях реального боя, где на кону — жизни и инфраструктура, эти цифры означают, что акустический канал становится не просто «вспомогательным», а полноценным и надёжным источником информации.
Примеры моделей: микродоплеровский профиль для радара
Радар видит не «картинку», а отражённый радиосигнал. Когда этот сигнал отражается от движущегося объекта, его частота меняется — это эффект Доплера. Но если объект не просто движется, а вращается (например, винты дрона), то в отражённом сигнале появляются дополнительные частотные компоненты — микродоплеровские составляющие.
Что такое микродоплеровский профиль.
Микродоплеровский профиль — это спектрограмма радарного сигнала, которая показывает, как частота отражённого сигнала меняется во времени. Для дрона этот профиль имеет характерный вид: периодические колебания, соответствующие вращению лопастей винтов. Для птицы — совсем другой паттерн: машущие крылья создают иной микродоплеровский «почерк».
Именно это различие позволяет нейросети отличить дрон от птицы — задача, с которой классические радары справляются крайне плохо.
Как это работает в системе.
Радарный сенсор на узле излучает когерентный сигнал (обычно в миллиметровом диапазоне, около 60 ГГц) и принимает отражённый сигнал. MCU оцифровывает принятый сигнал, выделяет доплеровский сдвиг и строит микродоплеровскую спектрограмму — изображение, где по горизонтали отложено время, по вертикали — доплеровская частота, а яркость показывает мощность сигнала.
Эта спектрограмма подаётся на NPU, где работает лёгкая CNN, обученная на размеченных микродоплеровских профилях различных объектов: квадрокоптеры с разным числом лопастей, самолёты, птицы, наземный транспорт.
Современные исследования показывают, что такой подход даёт впечатляющие результаты. Одна из последних работ демонстрирует точность классификации 96,8% для многороторных БПЛА с использованием микродоплеровских сигнатур и нейросетей с двойными потоками внимания. Другие исследования подтверждают, что микродоплеровские сигнатуры — это «уникальный способ характеризации движения летящих объектов на основе их радиолокационных отражений».
Более того, существуют специализированные лёгкие нейросети, такие как ECM Net, разработанные именно для классификации микродоплеровских сигналов в сложных сценариях. Эти модели специально оптимизированы для работы на периферийных устройствах с ограниченными вычислительными ресурсами — идеально для нашего NPU.
Почему это критично.
Именно микродоплеровский анализ позволяет системе видеть дрон даже тогда, когда он «молчит» (не излучает радиосигналов) и когда он скрыт туманом или ночью. Радар видит движущийся объект, NPU анализирует его микродоплеровский профиль и определяет: это дрон или птица. И делает это за миллисекунды, потребляя доли ватта.
Синтез: NPU как универсальный классификатор
Объединяя сказанное, мы получаем картину: NPU на каждом узле — это универсальный классификатор спектрограмм.
- От акустического датчика он получает Mel-спектрограмму — и определяет, какой дрон «шумит» поблизости.
- От радара он получает микродоплеровскую спектрограмму — и отличает дрон от птицы.
- От RF-датчика он получает спектрограмму частотно-временного распределения сигнала — и идентифицирует тип управления.
Все эти задачи решаются одной и той же аппаратной платформой (NPU) и одним и тем же классом алгоритмов (лёгкие свёрточные нейросети). Различаются только входные данные и обученные веса моделей.
Это архитектурное единообразие даёт колоссальные преимущества:
- Унификация производства: все узлы используют одинаковые NPU.
- Гибкость: при необходимости NPU можно перепрошить для решения новых задач.
- Масштабируемость: добавление нового типа датчика не требует изменения аппаратной платформы — достаточно обучить новую модель и загрузить её в NPU.
И главное — скорость. NPU работает на периферии, там, где рождаются данные. Решение принимается за миллисекунды, без отправки данных в облако, без задержек связи, без риска потерять связь с центром. Это и есть «интеллект на границе» — основа децентрализованной сети, которая видит, слышит и понимает быстрее, чем противник успевает нанести удар.
Глава 11. Локальное принятие решений
Представьте себе организм, у которого каждый нерв способен не просто передавать сигнал, а самостоятельно анализировать ситуацию и принимать элементарные решения. Именно так устроена наша сеть — каждый узел-«боец» обладает собственным «интеллектом» на борту, который позволяет ему не быть просто пассивным датчиком, а стать активным участником коллективного разума.
Это кардинально меняет логику работы системы. Вместо того чтобы гнать в центр управления терабайты «сырых» данных — аудиопотоки, радарные эхо, RF-спектры — каждый узел самостоятельно решает, что именно он видит и слышит, и передаёт в сеть только сжатую, осмысленную информацию. Это не просто экономия трафика. Это вопрос выживания системы в условиях, когда связь может быть нарушена, а каждая миллисекунда задержки стоит поражённой цели.
Что вычисляет NPU на узле-бойце
Нейронный процессор на каждом узле-бойце решает три последовательные задачи: детекцию, классификацию и оценку уровня доверия. Вся цепочка занимает миллисекунды и выполняется без участия внешних вычислительных ресурсов.
Детекция: есть ли вообще что-то?
Первая и самая фундаментальная задача — бинарный ответ на вопрос «дрон или не дрон?». NPU получает на вход спектрограммы от трёх типов датчиков: Mel-спектрограмму звука от акустической решётки, микродоплеровский спектр от радара и частотно-временную спектрограмму от RF-датчика. Каждая из них — это двухмерное изображение, где по одной оси отложено время, по другой — частота, а яркость или цвет отражают интенсивность сигнала.
Для акустического канала это могут быть нормализованные log-mel-спектрограммы с 64 mel-полосами, построенные на окнах в 1.0 секунды при частоте дискретизации 16 кГц. Для радарного канала — микродоплеровские спектрограммы, отражающие тончайшие изменения частоты отражённого сигнала, позволяющие отличить вращающийся винт дрона от машущего крыла птицы. Для RF-канала — спектрограммы, фиксирующие кратковременные всплески радиоизлучения.
Конец ознакомительного фрагмента.
Текст предоставлен ООО «Литрес».
Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.
Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.