Архитектура больших языковых моделей и нечётко-логическое управление генерацией текста
Монография посвящена математическим основам и программной реализации архитектуры больших языковых моделей класса GPT с нечетко-логическим управлением генерацией текста. Рассмотрены токенизация BPE, механизм многоголового самовнимания, архитектура трансформер-блока, предобучение и тонкая настройка. Разработана трилогия нечетко-логических регуляторов и контроллер FuzzyLLM с замкнутой обратной связью. Экспериментально подтверждено снижение энтропии декодирования в 3,1 раза. Точность классификатора спама составляет 95,67%. Код из 219 ячеек воспроизводим без GPU.
Предназначена для аспирантов, исследователей в области машинного обучения, обработки естественного языка и теории нечетких множеств.
