Первый прочитанный мозг. Коннектом мухи как рабочий чертёж искусственного интеллекта
- -
- 100%
- +
— на каждом шаге времени прибавь к потенциалу сумму пришедших входов, умноженных на веса связей;
— отними немного — это утечка, которая тянет потенциал к покою;
— если потенциал выше порога — запиши спайк, сбрось потенциал и передай спайк всем получателям.
Такую модель называют «интегратор с утечкой и порогом», по-английски leaky integrate-and-fire, сокращённо LIF. У неё нет ни каналов, ни медиаторов, ни формы клетки. Зато она считается быстро, и сеть из 140 тысяч таких нейронов идёт на обычном компьютере. Более подробные модели существуют; когда они нужны, сказано в главе 17.
Сеть как таблица
Связи хранятся в таблице (матрице) весов — той самой, что описана в уроке 4: строка — отправитель, столбец — получатель, в ячейке — вес. Положительный вес — возбуждающая связь, отрицательный — тормозная, пустая ячейка — связи нет. Для мухи веса берут из коннектома: число синапсов, умноженное на общий коэффициент, со знаком по медиатору. Почти вся таблица пуста, и компьютер хранит только заполненные ячейки.
Шаг симуляции и замкнутая петля
Симуляция — это пересчёт состояния шаг за шагом. Один шаг — обычно доля миллисекунды модельного времени: собрать входы, обновить потенциалы, отметить спайки, разослать их. Затем следующий шаг.
Мозг сам по себе ничего не делает: ему нужны входы и то, чем управлять. Поэтому модель мозга замыкают в петлю. Модель мира показывает модельным глазам картинку. Мозг выдаёт спайки нисходящих нейронов. Модель тела превращает их в движение. Движение меняет то, что видят глаза. Пока петля не замкнута, нельзя говорить о поведении — есть только активность.
Параметры и оценка
Параметр — число, которое можно менять, не меняя устройства модели: порог, скорость утечки, общий коэффициент весов, скорость обучения. Чтобы сравнивать наборы параметров, нужна оценка — одно число, которое говорит, насколько хорошо модель справилась с задачей: доля удачных уклонений, пройденный путь, число ошибок.
В симуляции есть случайность: шум в нейронах, случайное начало опыта. Поэтому один и тот же мозг в двух прогонах даёт разные оценки, как монета даёт то шесть, то четыре орла из десяти. Чтобы понять, что один мозг лучше другого, нужно много прогонов и сравнение средних. Число, с которого стартует генератор случайности, называют зерном: с тем же зерном прогон повторится в точности.
Как ищут параметры
Вручную. Меняют одно число и смотрят, что стало. Годится для десятка параметров.
По подсказке ошибки. Если можно вычислить, в какую сторону сдвинуть каждый параметр, чтобы ошибка уменьшилась, их все сдвигают понемногу и повторяют. Это направление находят через градиент. Градиент показывает, куда ошибка растёт быстрее всего, поэтому параметры сдвигают в противоположную сторону. На этом способе стоит всё современное машинное обучение.
Отбором. Создают сотню вариантов модели со случайными отличиями, каждый оценивают, лучших оставляют и размножают с небольшими случайными изменениями. Через много поколений оценка растёт. Это эволюционный алгоритм. Он ничего не требует от модели, кроме оценки, и потому годится для спайковых сетей, где градиент вычислить трудно. Короткий список чисел, по которому строится вариант модели, называют его геномом — по аналогии с живым.
FLEE
Сквозной пример этой книги на стороне компьютера — симулятор FLEE, с которым работает автор. В нём модель мозга мухи, собранная по коннектому, управляет самолётом на испытательном стенде. К самолёту приближается угроза, и мозг должен вовремя начать манёвр уклонения — как муха, взлетающая из-под газеты. Оценка — доля удачных уклонений. Устройство стенда, его мерки успеха и внутренние слова собраны в следующем уроке. В частях I—III примеры из FLEE показывают, зачем инженеру та или иная биология; часть IV целиком посвящена тому, как такой мозг наследовать, растить и учить.
Чего модель не доказывает
Если модель справилась с задачей, это ещё не значит, что мозг решает её так же. Одну и ту же задачу можно решить многими способами. Модель доказывает меньшее, но тоже важное: такого набора деталей достаточно. А её предсказания — «выключите эти клетки, и побег сорвётся» — можно проверить на живой мухе способами из урока 6.
Что запомнить.
— Модель мозга = правило нейрона + таблица весов + петля «мозг — тело — мир».
— LIF — ведро с дыркой: накопление, утечка, порог, сброс.
— Параметр — число, которое настраивают; оценка — число, по которому сравнивают; из-за случайности сравнивают средние по многим прогонам.
— Параметры ищут вручную, по градиенту ошибки или эволюционным отбором.
— Работающая модель доказывает достаточность, а не то, что мозг устроен именно так.
Проверьте себя.
— Какие три действия выполняет LIF-нейрон на каждом шаге времени?
— Почему модель мозга нужно замкнуть в петлю с телом и миром?
— Один вариант мозга набрал 70%, другой 65%. Почему по одному прогону нельзя сказать, какой лучше?
— Чем поиск параметров отбором отличается от поиска по градиенту и когда он удобнее?
Урок 8. FLEE: стенд, на котором проверяется эта книга
Над плоской землёй летит маленький самолёт. Пилота в нём нет, и обычной программы управления тоже нет. Внутри работает модель мозга мухи — те самые сто с лишним тысяч нейронов из коннектома. К самолёту с трёх сторон идут дроны-перехватчики. В какой-то момент «глаза» модели замечают растущее пятно, нейроны побега срабатывают, и самолёт резко уходит в сторону. Иногда успевает, иногда нет. Каждое такое «успел» или «не успел» записывается в таблицу.
Суть урока. FLEE — мой симулятор, в котором модель мозга мухи управляет телом: сначала самой мухой в террариуме, затем самолётом, который должен уклоняться от дронов. Почти все инженерные примеры книги взяты из него. Этот урок объясняет устройство стенда, его мерки успеха и внутренние слова, чтобы дальше они не мешали. Программировать для чтения книги не нужно; код открыт тем, кто захочет повторить опыты.
Что это такое
FLEE работает в обычном браузере и без него, из командной строки. В основе — модель всего мозга мухи из урока 7: нейроны LIF, таблица связей из коннектома FlyWire, знак связи по медиатору. В модели 138 639 нейронов и около 15 миллионов связанных пар. Один шаг расчёта — четверть миллисекунды. На обычном компьютере такой мозг идёт примерно со скоростью реального времени.
У стенда две сцены. В первой по террариуму ходят и летают виртуальные мухи; она нужна, чтобы проверять, что модель воспроизводит известные рефлексы. Вторая сцена — самолёт. Она появилась из практического вопроса: можно ли вырастить из мозга мухи дешёвый автомат, который уклоняется от угроз при сильных помехах.
Петля: сенсоры, мозг, тело
Сенсорная модель превращает мир в спайки входных нейронов. Это отдельная программа, не часть мозга: она считает, что «видит» каждый участок глаза, что «слышит» антенна, что чувствуют гироскоп и акселерометр (у мухи их роль играют жужжальца и антенны). Детекторы надвигания — клетки LPLC2 и LC4 из главы 4 — тоже получают вход от сенсорной модели. Это важная оговорка: всё, что сенсорная модель не показала мозгу, мозг увидеть не может.
Считывание выхода. Решения мозга читаются с нисходящих нейронов (глава 4). Каждой группе назначено действие: гигантское волокно — резкий манёвр, соседние нейроны побега — уход, левые и правые нейроны поворота — крен, нейроны ходьбы — тяга. Тело самолёта — простая физическая модель с ограниченным ускорением.
Петля стенда FLEE. Сплошные стрелки — то, что происходит на каждом шаге расчёта; пунктир — подсказка со стороны программы и сигнал об исходе, по которому идут обучение и рост.
Внешний вектор. Сторону, в которую уходить, можно брать двумя способами. Первый — сравнить активность левых и правых нейронов побега: тогда сторону «решает мозг». Второй — вычислить направление на угрозу прямо по активности детекторов LPLC2 и LC4, в обход мозга; это и есть внешний вектор. Он точнее, но это подсказка со стороны программы, а не решение модели.
Противник и мерки успеха
Дроны шумят роторами, и модель слышит их антенной так же, как видит глазами. Это инженерная аналогия, а не факт о мухе: настоящая антенна ловит колебания воздуха в считаных сантиметрах от себя и подлетающий дрон услышать бы не смогла. Дроны бывают двух видов. Перехватчики — три быстрых дрона, которые наводятся на самолёт. Рой — десяток медленных, которые строем перекрывают курс.
Сближение — эпизод, когда дрон подошёл опасно близко. Уклонение — сближение, которое кончилось без столкновения. Главная мерка — доля уклонений. Рядом с ней считаются ложные тревоги (манёвр, когда угрозы не было), доля времени, проведённого в манёврах, и доля манёвров в верную сторону — прочь от угрозы. Балл сводит их в одно число: за уклонения начисляется, за ложные тревоги и лишние манёвры вычитается.
Слепой контроль — прогон с выключенным зрением. Он показывает, сколько уклонений получается «само»: от случайных манёвров и от шума. Любой результат имеет смысл только в сравнении с ним.
В сенсорах есть случайность, поэтому один прогон ничего не доказывает (урок 7). Варианты сравнивают сериями прогонов на одних и тех же зёрнах. Экзамен — самая строгая проверка: обученный мозг замораживают, то есть выключают в нём все изменения, и сравнивают с исходным на новых зёрнах, которых он не видел.
Поправки к исходной модели
Модель мозга «как есть» при первом же запахе уходила в самоподдерживающуюся активность. Причины нашлись в знаках связей. Три поправки из четырёх взяты прямо из биологии: гистамин тормозит; дофамин, серотонин и октопамин не действуют как быстрое возбуждение; синапсы локальных нейронов обонятельной доли быстро истощаются. Четвёртая — инженерная: связи между клетками Кеньона в модели выключены. В коннектоме они есть, но у мухи слой удерживают от разгона общее торможение APL и высокий порог, а в модели этого не хватало. После этого модель воспроизводит около десятка известных рефлексов. Подробности — в главе 16.
Версии
Когда в книге сказано «в версии 6» или «в версии 7», речь о двух последних строках.
Слова версии 6: обучение
Эпоха — отрезок полёта, обычно минута, после которого подводится итог. Уровень сложности от 1 до 10 задаёт число и скорость дронов; после нескольких удачных эпох подряд уровень растёт.
Правило обучения — «Хебб + подкрепление», то есть трёхфакторное правило из урока 5. Совместная активность двух нейронов ставит на связь метку, которая хранится полторы секунды. Когда приходит исход — уклонение или столкновение, — помеченные связи усиливаются или ослабляются.
Критик — часть правила, которая помнит, чем обычно кончаются такие ситуации. Из каждого исхода вычитается это ожидание, так что связи меняет не сам исход, а его отличие от привычного — ошибка предсказания. Ожидание ведётся отдельно для каждой ситуации (насколько сильным был сигнал надвигания) и для каждого контекста: вида дронов и уровня сложности.
Слайдер «Бодрость» на экране стенда — постоянный слабый вход на нейроны ходьбы. Это простейшая ручная замена внутреннего состояния из главы 11.
Слова версии 7: рост
Зоны роста. Мозг разбит на кубики со стороной 50 микрометров по положению тел клеток. Для каждого кубика считается, насколько обучение изменило входы его нейронов. В версии 6 новые нейроны появлялись в самых «горячих» кубиках.
Заслуга — накопленная оценка пользы. Пара нейронов, которые раз за разом активны вместе перед удачным исходом, копит заслугу. Неудачный исход её отнимает.
Новый синапс получает пара с большой заслугой, если такой контакт правдоподобен анатомически. Проверок правдоподобия две. Правило соседей: нейроны того же типа уже связаны с этой целью. Правило срезки: между парой уже есть путь в два шага. Это инженерная догадка, а не факт о мухе: общий сосед говорит лишь о том, что клетки работают в одном контуре, и доходит ли туда аксон — из графа не следует.
Близнец — новый нейрон, копия существующего. Он наследует тип, медиатор и почти все связи родителя, а силу выходов они делят пополам. Поэтому в момент рождения поведение сети не меняется — при условии, что входы просто складываются; это равенство стоит проверять тем же тестом «спайк в спайк», что и при усыхании. Дальше обучение разводит близнецов; тот, который ничего не приобрёл, отмирает.
Бюджет входов — потолок на сумму возбуждающих входов нейрона. Когда рост выводит сумму за предел, все входы пропорционально уменьшаются. Без бюджета рост разгоняет активность сети.
Уроки стороны и момента — обучение с учителем: симулятор знает, с какой стороны была угроза и когда стоило начать манёвр, и подсказывает это нейронам побега.
Усыхание — удаление нейронов, которые в задаче ни разу не сработали. От мозга остаётся меньше четверти нейронов, а поведение на проверенных прогонах не меняется; считается такой мозг в полтора раза быстрее.
План жизни делит жизнь модели на фазы: юность с бурным ростом, прореживание, зрелость с выключенным обучением.
Геном FLEE — файл. fleegenome: список из нескольких десятков чисел (в версии 7 их сорок с небольшим), которые задают скорости обучения, пороги роста и отмирания, склонность разных групп клеток к делению. Каждое число адресовано не отдельному синапсу, а типу клеток или гемилинии; нулевой геном обязан возвращать нетронутый коннектом. Файл мозга. fleebrain хранит результат жизни: изменённые веса, новые связи и нейроны, а рядом с ними — версию коннектома, список поправок, зерно и имя генома, из которого этот мозг вырос. Эволюция в FLEE отбирает геномы, а не мозги (глава 18).
«Общая картина» — экран стенда, на котором видно, что изменилось в мозге за время обучения: усиленные и ослабленные связи, новые нейроны, зоны, ход эпох.
Что стенд показал к моменту выхода книги
Механизмы обучения и роста работают. Модель действительно учится выбирать сторону манёвра: на экзамене доля манёвров прочь от угрозы выросла на 11 процентных пунктов. Это замер одной серии прогонов: числа прогонов и зёрен, разброса и доверительного интервала за ним не стоит, так что считать его надо направлением эффекта, а не измеренной величиной. И знать вторую оговорку: сторону подсказывает учитель, который берёт положение угрозы прямо из симулятора, а не из сенсоров мухи (глава 22). Но доля уклонений от обучения и роста не выросла. Она упирается не в мозг, а в сенсорную модель и тело: сигнал надвигания появляется примерно за десятую долю секунды до столкновения, и за это время самолёт физически не успевает уйти. Этот честный отрицательный результат разбирается в главах 19, 20 и 22. Из него выросло главное методическое правило книги: сначала найдите узкое место всей петли, потом улучшайте мозг.
Что запомнить.
— FLEE = модель мозга из коннектома + сенсорная модель + тело (муха или самолёт) + противник + мерки успеха.
— Главная мерка — доля уклонений; рядом ложные тревоги, доля манёвров и верная сторона. Всё сравнивается со слепым контролем, сериями на одних зёрнах.
— Версия 6 учит веса по правилу «метка × (исход — ожидание)»; версия 7 добавляет рост, отмирание, усыхание, геном и эволюцию геномов.
— Узкое место стенда сегодня — не мозг, а запас времени, который дают сенсоры и тело.
Проверьте себя.
— Почему детекторы надвигания в FLEE нельзя считать «честной» частью мозга модели?
— Зачем нужен слепой контроль и что означал бы результат, равный ему?
— Чем «внешний вектор» отличается от решения мозга о стороне манёвра?
— Почему близнец при рождении не меняет поведение сети?
— Почему обучение улучшило выбор стороны, но не подняло долю уклонений?
Часть I. Муха и её мозг
Глава 1. Почему муха
Вечер, на подоконнике забыта долька яблока. Над ней вьются плодовые мушки. Одна садится, пробует мякоть и взлетает. Самец догоняет самку, отставляет крыло и дрожит им — так он «поёт». Двое других сталкиваются у края дольки и расходятся. К ночи все затихают и сидят неподвижно. В голове у каждой около ста сорока тысяч нейронов. А в памяти обычного ноутбука умещается полная схема такого мозга: клетка за клеткой, соединение за соединением. Ни для одного более сложного животного такой схемы пока нет. Почему первой стала именно муха и что эта схема даёт тому, кто хочет собрать мозг в компьютере?
Суть главы. Мозг дрозофилы — первый мозг взрослого животного, для которого собрали полную схему связей: 139 255 нейронов и 54,5 млн химических синапсов (Dorkenwald et al., 2024). Он меньше макового зерна и считается на обычном компьютере. При этом он летает, учится, ухаживает, дерётся и спит.
Перед главой. Стоит прочитать: уроки 2, 3 и 4; для раздела о модели — уроки 7 и 8. Новые слова и идеи:
— связь и порог ≥ 5 синапсов — два нейрона могут соприкасаться в одном месте, а могут в сотне. Связью «нейрон → нейрон» в таблице коннектома считают пару клеток, между которыми найдено не меньше пяти синапсов. Порог отсекает случайные касания и ошибки разметки.
— оптические доли и центральный мозг — две части, на которые делят мозг мухи. Оптические доли лежат по бокам, по одной за каждым глазом, и обрабатывают зрение. Центральный мозг находится между ними: в нём запахи, память, курс, выбор действия.
— FlyWire и hemibrain — имена двух коннектомов. Во FlyWire собран целый мозг одной взрослой самки, и почти все числа главы взяты оттуда. В hemibrain вошла половина центрального мозга другой самки.
— логарифмическая шкала — шкала, где каждое деление значит «в десять раз больше», а не «на столько-то больше». Только на ней червь с сотнями нейронов и человек с десятками миллиардов помещаются на один рисунок.
— человеко-год — объём работы, который один человек выполняет за год. 33 человеко-года — это, например, 33 человека на год или 11 человек на три года.
Напомним: химический и электрический синапс (урок 3), нейропиль (урок 2), тип клетки и коннектом (урок 4), нисходящие и восходящие нейроны, брюшная цепочка и мотонейроны (урок 4), LIF-модель (урок 7).
Место мухи на шкале
Начнём с масштаба. В таблице — пять нервных систем по возрастанию числа нейронов. В последнем столбце стоит год, когда для этого животного вышла полная схема связей, и ссылка на работу. Посмотрите, на какой строке схемы кончаются.
Нематода C. elegans. Нейронов: 302; Полная схема связей: 1986, с пропусками (White et al.); полностью и для обоих полов — 2019 (Cook et al.).
Личинка дрозофилы первого возраста. Нейронов: 3 016; Полная схема связей: 2023 (Winding et al.).
Взрослая дрозофила. Нейронов: 139 255; Полная схема связей: 2024.
Мышь. Нейронов: около 70 млн (Herculano-Houzel et al., 2006); Полная схема связей: нет.
Человек. Нейронов: около 86 млрд (Azevedo et al., 2009); Полная схема связей: нет.
На логарифмической шкале муха стоит посередине между червём и мышью. Это самый большой мозг, который сегодня можно целиком положить в память ноутбука.
Число нейронов на логарифмической шкале. Мозг взрослой дрозофилы — самый большой из тех, для которых известна полная схема связей.
За строкой «2024» в таблице стоит не одно открытие, а несколько лет кропотливой сборки. Прежде чем идти дальше, стоит увидеть, как мозг одной мухи стал таблицей, которую может скачать любой.
Как это было: Мозг, который превратили в таблицу
Всё началось с одной самки дрозофилы. Её мозг попал в лабораторию Дэви Бока в кампусе Janelia — исследовательском центре Медицинского института Ховарда Хьюза в США. Там мозг залили смолой и алмазным ножом нарезали примерно на семь тысяч срезов. Толщина среза — около 40 нанометров, в тысячи раз тоньше листа бумаги. Срезы по очереди снимали электронные микроскопы с батареей быстрых камер. Получилось около 21 миллиона снимков. В 2018 году группа выложила весь этот объём в открытый доступ.
На снимке нейрон выглядит как пятно с тёмной каймой. Чтобы увидеть клетку целиком, пятно нужно проследить через тысячи соседних срезов. В Принстоне лаборатории Себастьяна Сеунга и Малы Мурти, которые и вели FlyWire вдвоём, поручили это нейросети. Она раскрасила весь объём, но ошибалась: склеивала чужие ветви и рвала свои.
Тогда данные открыли для всех через сайт FlyWire. Сотни учёных, штатных корректоров и добровольцев несколько лет исправляли разметку, клетка за клеткой. Набралось около 33 человеко-лет работы. В октябре 2024 года результат вышел в печать: 139 255 нейронов и таблица связей, которую может скачать любой.
Источники рассказа: Zheng et al., 2018; Dorkenwald et al., 2022.
Что умеет этот мозг
Размер мозга ещё ничего не говорит о том, на что он способен. Вот шесть примеров; к каждому из них книга вернётся в своей главе.
— Планирует побег. Примерно за 200 мс до прыжка муха переставляет ноги так, чтобы взлететь прочь от угрозы (Card & Dickinson, 2008).
— Уклоняется в полёте. От надвигающегося объекта она уходит креном (наклоном тела набок) за несколько взмахов крыла, при частоте около 200 взмахов в секунду (Muijres et al., 2014).
— Держит курс. В центральном комплексе, области в середине мозга (глава 5), есть кольцо нейронов. По кольцу ходит «горб» активности — пятно возбуждённых клеток, которое сдвигается при поворотах мухи. Этот горб работает как компас (Seelig & Jayaraman, 2015).
— Учится. Связь запаха с ударом тока запоминается за один сеанс (Tully & Quinn, 1985). После повторов с паузами память держится не меньше недели (Tully et al., 1994).
— Меняет поведение по состоянию. Голодная муха иначе нюхает и иначе вспоминает выученное (глава 11).
— Спит. Лишение сна ухудшает память (глава 12).
Почему это удобная модель для инженера
— Полнота. Известны проводка, типы клеток и предсказанный медиатор каждого нейрона (Eckstein et al., 2024). Модель можно собрать «как есть». Так сделан FLEE (урок 8). В его основе — LIF-модель (урок 7) из работы Shiu et al., 2024, собранная на FlyWire v783; v783 — номер версии набора данных. Из 139 255 нейронов коннектома модель Shiu et al. использует 138 639, а связанных пар в ней около 15 млн.