ChatGPT на вашем ноутбуке: бесплатно, анонимно, навсегда

Аннотация

Ещё недавно персональный искусственный интеллект был научной фантастикой. Сегодня квантованные модели весом 8–20 гигабайт работают на обычных ноутбуках, не уступая коммерческим сервисам в рутинных задачах. Они не требуют интернета, не отправляют ваши данные в облака и не просят ежемесячную подписку. Они — ваши. Целиком и полностью.

Как создать локальный ИИ одной кнопкой — это практическое руководство по построению такого ассистента. Книга проведёт вас от первой команды pip install до готового исполняемого файла, который запускается двойным щелчком и содержит: чат-бота с памятью, голосовое управление, переводчик на двести языков, генератор изображений, реставратор старых фотографий, органайзер снимков, голосовой блокнот с саммаризацией и детектор настроения.

В версии 2.0 добавлен автоматизированный конвейер обработки книг — от скачивания PDF до перевода на русский язык. Конвейер выполняет четыре шага: конвертация страниц в изображения, распознавание текста мультимодальной моделью GLM-4.6V-Flash, объединение фрагментов и литературный перевод моделью HY-MT1.5-7B. Поддерживаются прямые ссылки, локальные файлы, ZIP-архивы и поиск книг в интернете. Достаточно нажать одну кнопку — и книга Канта на немецком превращается в читаемый русский текст.

Вы создадите агента, который самостоятельно решает цепочки задач: находит информацию в документах, отправляет письма, управляет файлами. Научите модель говорить в вашем стиле, создав цифрового двойника без дообучения. Развернёте ассистента на изолированном сервере для целого отдела, упакуете в Docker, настроите резервное копирование и диагностику.

Отдельная часть книги посвящена специализированным агентам. Шеф-повар проведёт вас по рецепту шаг за шагом, сомелье подберёт вино к ужину, диетолог посчитает калории. Репетитор объяснит школьную тему и проверит решение. Терапевт проанализирует симптомы и предупредит, когда пора вызывать скорую. Психотерапевт проведёт сессию в подходе КПТ. Новостник соберёт утреннюю сводку, копирайтер напишет статью в вашем стиле, а прогнозист составит гороскоп или построит аналитический прогноз на основе ваших данных.

Всё это работает полностью офлайн, на вашем компьютере, без единого запроса во внешний мир. Никакой сложной математики — только код, понятные объяснения и философия «сложность должна быть скрыта за одной кнопкой».

Книга адресована разработчикам на Python, IT-специалистам, уставшим от облачных подписок, энтузиастам, которые хотят разобраться в AI-технологиях на практике, и всем, кто ценит конфиденциальность и независимость. Для тех, кто не пишет код, есть Глава 0 — быстрый старт с готовым установщиком за пять минут.

Эта книга — первая в серии. Автор продолжает работу над новыми версиями: расширенным изданием с углублённым разбором тонкой настройки моделей, мультимодальными агентами нового поколения и специализированными отраслевыми решениями. Подписывайтесь на уведомления о новых книгах автора на Литрес, чтобы не пропустить выход следующей версии.

Итоги проекта:

Чат (Qwen 32B)

Перевод текстов (HY-MT1.5 Q5)

Улучшение фото

Шеф-повар, Репетитор, Терапевт, Психолог

Конвейер книг: PDFPNGOCR Перевод

Ссылка на репозиторий: https://github.com/PawelKaev/local-ai-one-button

В репозитории обновлены:

app.py — основной файл с моделями Qwen, HY-MT, GLM-OCR

gui.py — интерфейс с вкладкой Книги

local_model.py — класс для работы с моделями

.gitignore — исключены DLL, модели, PDF

Следите за обновлениями на странице книги.

Введение

Ещё пять лет назад запустить языковую модель на домашнем ноутбуке было фантастикой. Нужно было арендовать сервер, платить за API и надеяться, что ваши данные не утекут. Сегодня всё изменилось. Квантованные модели весом 8–14 гигабайт работают на обычных ноутбуках и сравнимы по качеству с коммерческими аналогами. Мы входим в эпоху, когда персональный ИИ перестаёт быть метафорой и становится программой в папке models/, которую можно потрогать.

Эта книга — практическое руководство по построению такого ИИ. Мы соберём ассистента, который работает полностью на вашем компьютере, без интернета и облачных сервисов. Но прежде чем писать код, давайте поймём, зачем это нужно, когда у каждого в браузере есть ChatGPT, и куда движется вся индустрия.

Облачные сервисы вроде ChatGPT, Gemini и Copilot велики и могучи. Но у локального ИИ есть преимущества, которые не исчезают с выходом каждой новой версии GPT. Они фундаментальны — они про физику, право и человеческую природу.

Безусловная приватность и суверенитет данных. Это не абстрактное «чтобы никто не прочитал». Это конкретные сценарии, в которых облако невозможно по закону, по этике или по здравому смыслу. Медицина и юриспруденция — вы можете скормить модели сто страниц истории болезни или договоров с персональными данными, и они физически не покинут ноутбук. Секретные исследования и разработки — инженеры загружают схемы и внутреннюю документацию, не боясь утечки через облако. Личная психотерапия и дневники — пользователи готовы доверять локальной модели самые сокровенные мысли, зная, что они не попадут в датасет для тренировки следующей версии ChatGPT. Локальный ИИ не просто защищает данные — он делает возможными сценарии, которые в облаке запрещены или немыслимы.

Гарантированная доступность и скорость. Локальная модель работает без интернета. В самолёте, в бункере, в деревне с нестабильным сигналом — она отвечает. Это критично для полевых геологов, военных, моряков и всех, кто не живёт в центре мегаполиса с оптоволокном. Но даже в городе важна скорость. Локальная модель на современном ноутбуке выдаёт токены быстрее, чем сетевой запрос доходит до сервера OpenAI. Для real-time приложений — голосового ассистента в игре, субтитров в реальном времени, помощника при презентации — задержка в полсекунды критична. Локальный ИИ отвечает мгновенно.

Отсутствие цензуры и настоящая кастомизация. Облачные модели вылизаны до стерильности. Вам не скажут «как языковая модель, я не могу...» в ответ на просьбу написать сценарий для хоррора с жестокими сценами или проанализировать спорный политический документ. Локальная модель — ваша, и вы решаете, что ей можно, а что нет. Вы можете сделать системный промпт «Ты — циничный детектив из 1940-х» и не бояться, что через три сообщения модель сломается в ханжеского морализатора, как это делают вылизанные облачные API. Тонкая настройка личности, стиля и границ дозволенного — в ваших руках.

Агентность и автоматизация рабочего стола. Это самое перспективное применение прямо сейчас. Локальная модель имеет прямой доступ к вашим файлам, процессам и памяти. Она может разобрать захламлённый рабочий стол за пять лет по папкам, читать все ваши письма, календарь, код и сообщения в Slack, создавая идеального цифрового двойника без риска компрометации всей корпоративной переписки. Облачной Copilot вы никогда не дадите доступ ко всем письмам — локальному дадите, потому что данные не покидают компьютер.

Мы находимся в точке фазового перехода. Модели размером 8 гигабайт — это предел для плотных архитектур. Дальше нас ждут четыре больших тренда.

Расцвет смеси экспертов на устройстве. Представьте модель весом 20 гигабайт, но в каждый момент времени активны только 2–3 гигабайта параметров. Памяти занято много — нужен быстрый SSD или большой объём оперативной памяти, — а скорость мышления как у лёгкой модели. DeepSeek уже показал, что архитектура Mixture of Experts работает в облаке. Следующий шаг — адаптация для локального запуска на чипах Apple M4 Ultra или Snapdragon X Elite. Вы получаете интеллект большой модели по цене маленькой.

Мультимодальность станет стандартом для 8 гигабайт. Уже есть Llama 3.2 Vision на 11 миллиардов параметров. Скоро модели весом 7–9 гигабайт смогут не просто описывать картинки, а управлять интерфейсом, видя скриншот. Это убьёт классический веб-серфинг. Вы скажете локальному агенту: «Найди билеты на завтра, игнорируя красные даты», и он сам будет кликать в браузере. Приложения начнут общаться не с пользователем, а с его агентом.

Специализация и обучение на лету. Облачные модели — это средняя температура по больнице. Они знают всё понемногу и ничего — о вашем проекте, вашем коде, ваших клиентах. Локальные модели научатся дообучаться на ваших данных без утечки через LoRA-адаптеры. Программист скармливает модели тысячу своих коммитов, и она начинает писать код точно в его стиле, зная все внутренние библиотеки компании. Через час работы она становится полезнее Copilot, потому что знает контекст проекта. Это не фантастика — это технология, которая уже работает в исследовательских лабораториях и скоро придёт в потребительские приложения.

Гиперинтегрированные нейронные процессоры. Сейчас для серьёзного ИИ всё ещё нужна видеокарта. Но на горизонте 3–5 лет NPU-блоки в ноутбуках достигнут производительности RTX 4070 при потреблении 5–10 ватт. Это позволит моделям работать в фоне постоянно — слушать микрофон, анализировать экран и предугадывать действия, не разряжая батарею за час. Локальный ИИ станет вездесущим, как операционная система.

Здесь проходит самый жёсткий водораздел. Локальный ИИ проигрывает облаку в двух вещах: эрудиции и пиковом интеллекте. У облака всегда будет доступ к свежему поиску и новостям. Даже сжатая 8B-модель не решит олимпиадную задачу по физике так, как GPT-4o или Claude Sonnet. Отрицать это бессмысленно.

Поэтому победит не локальный ИИ и не облачный — победит гибридный подход. Простой запрос нейтрального характера — локальная модель отвечает мгновенно и бесплатно. Сложный запрос или потребность в свежем факте — локальная модель выступает как оркестратор. Она на лету принимает решение переслать задачу внешнему API или запросить поисковую систему. Секретный запрос — данные обрабатываются строго локально, в облако уходит только обезличенный результат.

Квантованные модели в 8 гигабайт уже сейчас убивают необходимость в подписке на ChatGPT для рутинных интеллектуальных задач: написание текстов, саммаризация, рефакторинг кода, перевод. Облако остаётся для экспертных пиковых задач. Локальный ИИ становится вашим приватным мозгом, который думает вместе с вами круглосуточно и бесплатно, а облачный — дорогим консультантом, которого вы вызываете для решения особо сложной проблемы.

Приложение предоставляет восемь функциональных вкладок:

· Чат — общение с моделью Qwen 3 32B.

· Перевод — профессиональный перевод текстов моделью HY-MT1.5-7B Q5.

· Фото — улучшение качества изображений (повышение резкости, контраста, цветокоррекция).

· Шеф — кулинарные советы и рецепты с использованием базы знаний.

· Репетитор — помощь в обучении: объяснение тем, проверка решений, составление планов.

· Терапевт — предварительный анализ симптомов (не заменяет врача).

· Психолог — поддерживающий диалог с сохранением контекста беседы.

· Книги — полностью автоматизированный конвейер обработки книг (новое в версии 2.0).

Главное дополнение текущей версии — конвейер обработки книг, выполняющий четыре последовательных шага:

1. PDF PNG — конвертация страниц книги в изображения с помощью pdf2image и Poppler.

2. OCR (распознавание текста) — извлечение текста из изображений с помощью мультимодальной модели GLM-4.6V-Flash (GLM-OCR) через Ollama API.

3. Объединение — сбор всех распознанных фрагментов в единый текстовый файл.

4. Перевод — перевод объединённого текста на русский язык с помощью специализированной модели HY-MT1.5-7B Q5.

Конвейер поддерживает:

· Прямые ссылки на PDF, ZIP и HTML файлы

· Локальные файлы (выбор через диалог)

· Поиск книг по названию в интернете

· ZIP-архивы с автоматическим извлечением PDF

· Пошаговый или полностью автоматический режим работы

Подробное описание конвейера приведено в главе 20.2.

Модели:

· Добавлена поддержка модели перевода HY-MT1.5-7B Q5_K_M (4.6 ГБ) — специализированная модель для перевода, заменившая базовую Q4 версию. Обеспечивает более высокое качество перевода, особенно для немецкого языка.

· Добавлена мультимодальная модель GLM-4.6V-Flash (Q8_0) для распознавания текста с изображений. Работает через Ollama API, поддерживает немецкий, английский и русский языки.

Графический интерфейс:

· Добавлена вкладка «Книги» с полным интерфейсом управления конвейером.

· Добавлена вкладка «Зрение» (в разработке) для анализа содержимого изображений.

· Реализован лог выполнения с отображением прогресса каждого шага.

· Добавлены кнопки выбора локального файла и открытия папки с результатом.

Обработка файлов:

· Поддержка прямых ссылок на PDF, ZIP, HTML и TXT файлы.

· Автоматическое извлечение PDF из ZIP-архивов.

· Обработка HTML и TXT файлов напрямую, без конвертации.

· Сохранение промежуточных результатов (PNG, распознанный текст).

Интеграция с Ollama:

· Настроена работа модели GLM-OCR через Ollama API.

· Реализована передача изображений в модель для распознавания текста.

Документация:

· Добавлена глава 20.2 с подробным описанием архитектуры и использования конвейера.

· Обновлено описание всех моделей и их параметров.

· Добавлены результаты тестирования на реальных текстах.

Проект состоит из следующих основных файлов:

· app.py — главный файл, инициализация моделей и подключение колбэков к GUI.

· gui.py — графический интерфейс на Tkinter (8 вкладок).

· local_model.py — класс-обёртка для работы с моделями через llama-cpp-python.

Вспомогательные модули конвейера:

· pdf_converter.py — конвертация PDF в PNG.

· ocr_extract.py — распознавание текста с изображений.

· merge_all_texts.py — объединение текстовых файлов.

· translate_with_hy_mt.py — перевод текстов.

· search_and_download.py — поиск и скачивание книг.

· Python 3.10+

· Ollama (для работы GLM-OCR)

· Poppler (для конвертации PDF)

· Видеокарта с поддержкой CUDA (рекомендуется) или 16+ ГБ RAM для CPU-режима

· Свободное место на диске: ~40 ГБ для моделей

Я предполагаю, что вы немного знакомы с Python: знаете, что такое функции и классы, умеете устанавливать библиотеки через pip и не боитесь читать сообщения об ошибках. Но даже если нет — Глава 0 поможет запустить готовый проект без единой строчки кода.

Книга пригодится разработчикам, которые хотят внедрить ИИ в офлайн-решения, IT-специалистам, уставшим от облачных подписок и озабоченным конфиденциальностью, энтузиастам, которые любят разбираться в технологиях на практике, родителям, которые хотят дать ребёнку безопасного ИИ-репетитора, и всем, кто хочет получить личного AI-помощника и точно знать, что их переписка не уходит на чужие серверы.

Когда вы освоите материал, вы станете не просто пользователем ИИ, а его создателем. Вы сможете адаптировать помощника под свои задачи — будь то автоматизация документооборота, восстановление семейного фотоархива, обучение детей или создание прототипа коммерческого AI-продукта.

А если вам понадобится то, что выходит за рамки книги — специализированный агент для вашей отрасли, интеграция с 1С или CRM, веб-интерфейс для команды, обучение сотрудников или даже книга под вашим авторством на основе вашей экспертизы — я готов помочь. На вкладке «Заказать» в приложении вы найдёте форму связи со мной. Опишите задачу — и я отвечу в течение одного-двух дней с предложением и оценкой. Рынок локального ИИ только формируется, и специалистов, которые умеют всё это собирать и настраивать, пока единицы. Вы — один из них.

Убедитесь, что у вас установлен Python 3.10 или выше. Желательно иметь видеокарту NVIDIA с 6 и более гигабайтами памяти для быстрой работы, но большинство примеров будут работать и на процессоре — просто чуть медленнее. Все остальные инструменты мы установим по ходу книги.

Готовы? Тогда запускайте первую главу и готовьтесь нажать свою «одну кнопку». Удачи!

Часть 0. Для тех, кто не программирует.

Глава 0. Для тех, кто не программирует: запускаем готовый проект за 5 минут.

Вы никогда не писали код. Возможно, вы вообще гуманитарий. Но вам хочется, чтобы на компьютере появился свой собственный ИИ-помощник, который работает без интернета, не отправляет ваши данные в облака и умеет отвечать на вопросы, искать по документам, переводить тексты и даже рисовать картинки. Эта глава — специально для вас.

Я покажу, как запустить готовый проект, не написав ни одной строчки кода. Вам понадобится только умение копировать файлы и дважды щёлкать мышкой. Весь код уже написан за вас — он лежит в репозитории книги. Ваша задача — просто «нажать кнопку».

0.1. Что вам понадобится.

· Компьютер с Windows 10 или 11 (инструкции для Mac и Linux тоже есть, но начнём с Windows).

· Минимум 16 ГБ оперативной памяти (чем больше, тем лучше).

· Около 25 ГБ свободного места на диске.

· Желательно видеокарта NVIDIA с 6+ ГБ памяти (но можно и без неё, просто медленнее).

· Интернет — только для скачивания моделей. После этого интернет не нужен вообще.

0.2. Шаг 1: скачиваем и запускаем скрипт-установщик.

Я подготовил специальный скрипт, который сам создаст все папки, скачает Python, установит библиотеки и модели. Вам нужно только запустить его.

1. Скачайте файл install_all.bat из репозитория книги (ссылка в конце главы).

2. Положите его в любую папку, например C:\LocalAI.

3. Дважды щёлкните по install_all.bat.

4. Дождитесь окончания. На экране будут бежать строки — это нормально. Скрипт скачивает Python, библиотеки и модели. В зависимости от скорости интернета это займёт от 20 минут до часа.

5. Когда увидите сообщение «Всё готово! Запустите LocalAI.exe на рабочем столе», переходите к шагу 2.

0.3. Шаг 2: запускаем приложение.

На рабочем столе появился ярлык «Локальный ИИ-помощник». Дважды щёлкните по нему. Откроется окно с вкладками: Чат, Фото, Перевод, Художник. Всё уже работает — можно начинать пользоваться.

0.4. Что вы можете делать сразу после запуска.

Общаться с ассистентом (вкладка «Чат») Напечатайте вопрос в верхнем поле и нажмите «Отправить». Модель ответит. Можете спрашивать что угодно — она работает как ChatGPT, но полностью офлайн.

Задавать вопросы по своим документам. Положите любые PDF, Word или текстовые файлы в папку C:\Projects\local-ai-one-button\sample_docs. Затем на вкладке «Чат» поставьте галочку «Искать в моих документах» и задайте вопрос по содержимому этих файлов. Модель найдёт ответ и процитирует источник.

Переводить тексты (вкладка «Перевод»). Вставьте текст на любом языке, выберите направление перевода и нажмите «Перевести текст». Можно перевести целый файл или папку с документами.

Реставрировать старые фотографии (вкладка «Фото»). Загрузите старый снимок, отметьте галочками что улучшить (увеличить, восстановить лица, раскрасить) и нажмите «Оживить». Через несколько секунд получите обновлённое изображение.

Рисовать картинки по описанию (вкладка «Художник»). Введите описание, например «кот-космонавт на Марсе», и нажмите «Создать». Через несколько секунд появится изображение.

Говорить голосом. Нажмите кнопку с микрофоном, скажите вопрос — ассистент распознает речь и ответит голосом. Работает без интернета.

0.5. Если что-то пошло не так.

· Не запускается приложение? Запустите C:\Projects\local-ai-one-button\healthcheck.exe (или python healthcheck.py). Он покажет, чего не хватает.

· Модель отвечает медленно? Убедитесь, что на компьютере достаточно свободной оперативной памяти. Закройте другие программы.

· Не работает микрофон? Проверьте, что он подключён и выбран как устройство ввода в настройках Windows.

· Ошибка при скачивании моделей? Проверьте интернет-соединение. Скрипт можно перезапустить — он продолжит с того места, где остановился.

0.6. Что дальше.

Если вы захотите понять, как это всё устроено, и научиться менять поведение ассистента под свои задачи — добро пожаловать в основную часть книги. Начиная с главы 1, мы шаг за шагом разберём каждую строчку кода, и к концу книги вы сможете не только пользоваться, но и создавать собственные AI-инструменты.

А пока — просто пользуйтесь. Ваш личный ИИ готов к работе.

Часть 1. Фундамент:что такое локальный ИИ и почему он возможен