Программы для прохождения компьютерных игр: боты, ИИ-агенты и компьютерное зрение

ГЛАВА 5. Основы компьютерного зрения для игр

Компьютерное зрение (Computer Vision) — это ключевой инструмент vision-based ботов. Игра для такого бота — это просто поток изображений (кадров), из которых нужно извлекать полезную информацию: положение врагов, HP, миникарту, текст, кнопки интерфейса.

Основные задачи CV в контексте игр

• Object Detection — найти объекты определённых классов и их bounding box'ы (враги, NPC, предметы, кнопки).

• Classification — определить, что находится на экране (меню, бой, смерть, определённая локация).

• Segmentation — пиксельная маска объектов (полезно для точного позиционирования).

• OCR — чтение текста (уровень, золото, сообщения чата, названия предметов).

• Tracking — отслеживание объектов между кадрами (для предсказания движения).

• Template Matching — поиск заранее известных шаблонов изображений.

Классический пайплайн: захват кадра → предобработка → детекция/классификация → принятие решения → симуляция ввода → повтор.

ГЛАВА 6. Захват экрана и предобработка изображений

Качество и скорость захвата экрана критически важны. Медленный захват убивает производительность бота, особенно в быстрых играх (FPS).

Популярные способы захвата

• mss (Python) — один из самых быстрых кросс-платформенных вариантов.

• PIL / Pillow ImageGrab — простой, но медленнее.

• dxcam (Windows) — очень быстрый захват через Desktop Duplication API.

• OpenCV VideoCapture — можно захватывать окно или весь экран (медленнее).

• Нативные API (BitBlt, DXGI) — максимальная производительность, но сложнее в использовании.

Предобработка

Типичные операции: изменение размера (resize), перевод в оттенки серого, размытие (GaussianBlur), пороговая обработка (threshold), морфологические операции, выделение областей интереса (ROI), нормализация цветов, работа в разных цветовых пространствах (HSV, LAB).

Пример минимального захвата с mss:

import mss

import numpy as np

import cv2

with mss.mss() as sct:

monitor = sct.monitors[1]

img = np.array(sct.grab(monitor))

frame = cv2.cvtColor(img, cv2.COLOR_BGRA2BGR)

ГЛАВА 7. Распознавание объектов: от Template Matching до YOLO

Template Matching

Классический метод OpenCV (cv2.matchTemplate). Ищет точное или почти точное совпадение шаблона на изображении. Хорошо работает для статичных UI-элементов и объектов с неизменным внешним видом. Плохо — при изменении масштаба, поворота, освещения и динамических сценах.

Классические методы

Цветовая сегментация (HSV threshold), детекция контуров (findContours), каскады Хаара, HOG + SVM — всё ещё используются для простых задач и когда нужно максимальное быстродействие без GPU.

Deep Learning детекторы

• YOLO (v5–v12) — самый популярный выбор для игровых ботов. Реал-тайм, высокая точность, легко дообучается на своих данных.

• SSD, EfficientDet, RetinaNet — альтернативы.

• RT-DETR, RF-DETR и другие современные архитектуры.

Для обучения собственного детектора обычно собирают датасет скриншотов, размечают (LabelImg, CVAT, Roboflow), обучают модель (ultralytics YOLO) и экспортируют в ONNX / TensorRT для максимальной скорости инференса.

ГЛАВА 8. OCR и чтение игрового интерфейса

Многие решения бота зависят от числовых и текстовых данных: текущее HP, количество золота, таймеры, названия предметов, сообщения в чате.

Инструменты

• Tesseract OCR — классика, хорошо работает после правильной предобработки.

• EasyOCR, PaddleOCR — более современные и точные нейросетевые OCR.

• Специализированные модели — можно обучить маленький классификатор цифр под конкретный шрифт игры (часто надёжнее и быстрее общего OCR).

Практика: всегда вырезайте ROI с текстом, увеличивайте контраст, убирайте фон, при необходимости применяйте морфологию. Для цифр часто достаточно простого template matching по заранее вырезанным глифам.

ГЛАВА 9. Симуляция ввода: мышь, клавиатура, геймпад

После того как бот «увидел» ситуацию, ему нужно действовать. Симуляция ввода — критически важный и часто самый уязвимый для античита слой.

Библиотеки и методы

• pyautogui / pydirectinput — простые высокоуровневые обёртки.

• pynput — контроль и мониторинг ввода.

• Windows API (SendInput, mouse_event) — более низкий уровень.

• Виртуальные устройства / драйверы (Interception, HID) — выглядят для системы как настоящие устройства ввода.

• Arduino / hardware spoofing — физическая эмуляция мыши/клавиатуры.

Для «человечности» важно добавлять случайные задержки, кривые Безье для движения мыши, небольшие отклонения от идеальной точки прицеливания и вариативность в таймингах.

ГЛАВА 10. Простые боты на Python + OpenCV

Самый доступный стек для начинающих: Python + OpenCV + mss + pyautogui/pydirectinput. На нём можно собрать бота для казуальных, idle, puzzle и многих single-player игр.

Типичная архитектура простого бота

1. Захват кадра.

2. Определение текущего состояния (меню / бой / инвентарь) — по цвету, шаблону или маленькому классификатору.

3. Поиск целей (template matching или цвет).

4. Принятие решения (if-else или простой state machine).

5. Выполнение действия (клик, нажатие клавиши).

6. Небольшая пауза и повтор.

Такие боты отлично подходят для обучения: рыбалка в играх, сбор ресурсов, простые пазлы, автобой в turn-based играх. Многие open-source проекты (боты для Tetris, fishing bots, clicker-боты) построены именно по этой схеме.

ГЛАВА 11. Машинное обучение и нейронные сети в ботах

Когда эвристик и template matching становится недостаточно (динамика, разнообразие объектов, сложные сцены), на помощь приходит глубокое обучение.

Основные применения

• Детекция врагов и объектов (YOLO, RT-DETR).

• Классификация состояния экрана / фазы боя.

• Сегментация (для точного понимания сцены).

• Предсказание траекторий (для aimbot'ов и упреждения).

• Обучение политик поведения (имитационное обучение, behavioral cloning).

Behavioral Cloning — важный подход: записываете, как играете сами (скриншоты + действия), обучаете сеть предсказывать действия по изображению. Это позволяет создавать ботов, которые играют «в вашем стиле».

ГЛАВА 12. Reinforcement Learning для игровых агентов

Обучение с подкреплением (Reinforcement Learning) — это парадигма, в которой агент учится максимизировать награду, взаимодействуя со средой. Игры — идеальная среда для RL.

Ключевые алгоритмы

• DQN (и улучшения: Double DQN, Dueling, Rainbow) — value-based.

• PPO (Proximal Policy Optimization) — один из самых стабильных и популярных policy-gradient методов.

• A3C / A2C — асинхронные actor-critic.

• SAC, TD3 — для непрерывных пространств действий.

• AlphaZero / MuZero — планирование + обучение (для игр с perfect information).

Основные сложности: sample efficiency (нужно очень много кадров), reward shaping, частичная наблюдаемость (partial observability), исследование (exploration) и перенос знаний между задачами.

ГЛАВА 13. Платформы и фреймворки (ViZDoom, ML-Agents, Gym)

Для исследований и обучения RL-агентов существуют специализированные среды:

• OpenAI Gym / Gymnasium — стандартный интерфейс сред.

• ViZDoom — Doom как среда для RL с визуальными наблюдениями.

• Unity ML-Agents — мощный toolkit для обучения агентов внутри Unity.

• DeepMind Lab, Procgen, MineRL, NetHack Learning Environment — другие популярные бенчмарки.

• Stable-Baselines3, RLlib, CleanRL, Sample Factory — библиотеки алгоритмов RL.

• python-sc2, pysc2 — для StarCraft II.

Для реальных коммерческих игр чаще используют собственный захват экрана + свой обучающий пайплайн, либо imitation learning на записях игроков.

ГЛАВА 14. ИИ-боты для FPS, MMO и стратегий

FPS

Типичная архитектура: YOLO-детектор врагов → Kalman filter / трекер → расчёт упреждения → плавное наведение мыши → стрельба. Дополнительно — навигация (иногда отдельная RL-политика) и использование способностей. Примеры open-source: различные YOLO-aim проекты, BOTTI и подобные.

MMO / RPG

Больше внимания к state machine, распознаванию UI, pathfinding по миникарте, обработке инвентаря и квестов. Часто используют комбинацию CV + скриптов + (опционально) imitation learning. Примеры: боты для Genshin Impact, New World, различные MAA-подобные ассистенты.

Стратегии и RTS

Здесь сильны API-подходы (StarCraft II) и классические методы планирования + микроконтроль. AlphaStar показал, что RL способен достигать гроссмейстерского уровня.

ГЛАВА 15. Античит-системы и методы детекции

Современные античиты (BattlEye, Easy Anti-Cheat, Vanguard, VAC, Ricochet и др.) используют множество сигналов:

• Сигнатуры известных читов и инжектов.

• Поведенческий анализ (слишком идеальное прицеливание, неестественные траектории, реакции быстрее человеческих).

• Проверка целостности памяти и модулей.

• Драйверный и kernel-level мониторинг.

• Статистический анализ и machine learning на стороне сервера.

Vision-based боты без инжекта в процесс теоретически безопаснее memory-ботов, но всё равно могут быть выявлены по поведению. Поэтому для исследовательских целей рекомендуется работать только в offline / single-player / собственных средах.

ГЛАВА 16. Vision-Language Models и LLM-агенты в играх

С 2023–2026 годов произошёл качественный скачок: мультимодальные модели (GPT-4o, Claude, Gemini, LLaVA, Qwen-VL, DeepSeek-VL и др.) умеют принимать скриншот и отвечать на вопросы о происходящем, а также предлагать действия.

Архитектуры агентов

• Прямой VLM-агент — каждый кадр (или раз в N секунд) отправляется в модель вместе с инструкцией «что делать».

• Гибридная архитектура — дешёвые локальные методы (пиксели, OCR, state machine) обрабатывают 95–98 % ситуаций, а LLM вызывается только для сложных решений (стратегия, диалоги, неожиданные события).

• SIMA-подобные агенты — обучаются выполнять инструкции на естественном языке в разных 3D-мирах.

Такой подход значительно снижает стоимость (можно уложиться в центы в час) и повышает надёжность по сравнению с pure-LLM решениями.

ГЛАВА 17. Кейс-стади: реальные проекты и архитектуры

• YOLO + aim-системы — множество open-source проектов для FPS с real-time детекцией и наведением.

• MAA Assistant (Arknights) и аналогичные мобильные ассистенты — зрелые vision + script системы с огромным сообществом.

• Mineflayer — высокоуровневый API для Minecraft-ботов.

• BOT-MMORPG-AI и подобные — imitation learning + computer vision для MMO.

• Peek-a-bot — обучение RL-агентов только по зрению внутри Unreal Engine 5.

• DeepMind SIMA — generalist agent, способный следовать инструкциям в разных 3D-играх.

• GamingAgent / LMGame — агенты на базе LLM для grid-based и platformer игр.

ГЛАВА 18. Инструменты, библиотеки и экосистема

Компьютерное зрение и ML

OpenCV, ultralytics (YOLO), torchvision, timm, ONNX Runtime, TensorRT, OpenVINO, EasyOCR / PaddleOCR, supervision.

Захват и ввод

mss, dxcam, pyautogui, pydirectinput, pynput, keyboard, mouse.

RL и агенты

Gymnasium, Stable-Baselines3, CleanRL, RLlib, PettingZoo, Unity ML-Agents, ViZDoom.

Вспомогательные

NumPy, PyTorch / TensorFlow, Roboflow, Label Studio, Weights & Biases, Hydra / OmegaConf.

ГЛАВА 19. Будущее ИИ-ботов в гейминге

Тренды ближайших лет:

• Переход от узкоспециализированных ботов к generalist-агентам, способным играть в новые игры с минимальной адаптацией.

• Интеграция agentic AI прямо в игры разработчиками (умные NPC, динамические компаньоны, procedural storytelling).

• Улучшение sample efficiency и обучение в реальном времени.

• Более жёсткая гонка античитов против всё более человекоподобных агентов.

• Использование игровых агентов как тестовых стендов для embodied AI и робототехники.

• Этические и регуляторные рамки вокруг автономных агентов в онлайн-мирах.

ГЛАВА 20. Заключение и практические рекомендации

Создание игровых ботов и ИИ-агентов — одна из самых увлекательных и practical-областей применения компьютерного зрения и reinforcement learning. Она даёт быстрый feedback и наглядные результаты.

Рекомендации начинающим

1. Начните с простой single-player или offline игры и классического OpenCV + template matching.

2. Освойте захват экрана, ROI, базовую предобработку и симуляцию ввода.

3. Переходите к YOLO: соберите небольшой датасет, обучите детектор, измерьте FPS.

4. Изучите state machines и простую логику принятия решений.

5. Только после этого углубляйтесь в RL и мультимодальные модели.

6. Всегда работайте в этических рамках: offline, собственные проекты, research-only.

Игры остаются одной из лучших песочниц для развития технологий искусственного интеллекта. Понимая, как устроены боты и агенты, вы лучше понимаете и ограничения, и возможности современных систем ИИ.

— -------------------------------------------------------------------------------

Книга подготовлена в образовательных целях. Используйте знания ответственно.

— -------------------------------------------------------------------------------

ГЛАВА 3. Классификация ботов: типы и архитектуры

Чтобы ориентироваться в разнообразии решений, полезна чёткая таксономия. Ботов классифицируют по нескольким независимым осям.

3.1. По источнику информации о состоянии игры

Memory-based боты читают оперативную память процесса. Получают точные HP, координаты, ID объектов. Используют ReadProcessMemory и reverse engineering (Cheat Engine, сигнатуры). Плюсы — скорость и точность. Минусы — хрупкость после патчей, высокая детектируемость, этические риски.

Packet-based боты перехватывают трафик клиент–сервер. В современных играх трафик шифрован и протоколы обфусцированы, поэтому метод усложнился.

Vision-based боты используют только изображение экрана. Это наиболее человекоподобный подход: не вмешивается в процесс, лучше переживает обновления (меняется внешний вид, а не внутренние структуры), сложнее детектируется по факту вмешательства. Требует больше вычислений на perception.

Hybrid комбинирует источники. Audio и multimodal дополняют vision редко, но полезны для событий по звуку.

3.2. По уровню интеллекта

Clicker/Macro — жёсткая последовательность без адаптации.

Rule-based и State-machine — «если HP < 30% — зелье», режимы поведения.

Classical CV — template matching, цвет, контуры + эвристики.

Deep Learning perception + rules — YOLO/классификатор понимает сцену, дальше логика.

Imitation Learning — сеть копирует действия человека; хорош стиль, слабое обобщение, compounding errors.

RL agents — обучение политики наградой; дорого и мощно.

LLM/VLM agents — модель рассуждает по скриншоту/описанию; универсально, пока дорого и медленно, почти всегда в гибриде.

3.3. По автономности

Полностью автономные; полуавтоматические ассистенты; оверлеи-подсказки; тестовые инструменты под CI.

3.4. Типичные архитектуры

«Детектор → правила»: кадр → YOLO → объекты → if-else/SM → ввод. Просто, надёжно, отлично для FPS aim и многих MMO-задач.

«Состояние экрана → сценарий»: сначала режим (меню/бой/инвентарь), затем обработчик. Удобно для UI-heavy игр.

Иерархические агенты: high-level выбирает задачу, low-level исполняет.

Модульные с символическим слоем: CV/OCR → описание мира → любой планировщик (вплоть до LLM).

3.5. Как выбирать

Стабилен ли визуал? Нужна ли реакция < 50–100 мс? Есть ли API? Критична ли детектируемость? Можно ли собрать датасет? Нужно ли обобщение или закрытый набор сценариев? Для большинства практических задач 2020-х оптимальна гибридная схема: быстрое локальное восприятие + лёгкая логика + редкие вызовы умных моделей.

ГЛАВА 4. Правовые, этические и социальные аспекты

Почти все онлайн-игры запрещают ботов в ToS. Нарушение ведёт к бану аккаунта, HWID-бану, иногда к претензиям при продаже ботов или RMT. Даже чистый vision-бот, как правило, запрещён правилами.

Законодательство зависит от страны. Написание программы анализа экрана само по себе обычно не преступление; распространение коммерческих ботов для обхода защиты и массовый RMT — уже серая или чёрная зона.

Этические проблемы: разрушение честной игры в PvP; инфляция виртуальных экономик; фарм-фермы и эксплуатация. Положительная сторона тех же технологий: ассистенты доступности, автоматизированное тестирование, научные исследования, обучение студентов CV и RL.

Принципы: использовать методы только в single-player, offline, собственных или research-средах; не мешать другим игрокам; не распространять готовые обходы античита; при публикации подчёркивать образовательный контекст. Техническая возможность не равна этическому праву.

ГЛАВА 5. Основы компьютерного зрения для игр

Компьютерное зрение — основной способ vision-бота понять экран. Преимущества: не нужно лезть в память; бот видит то же, что игрок; подходит для любой игры с GUI. Цена — освещение, перекрытия, разрешения, эффекты, антиалиасинг.

Задачи: object detection (враги, NPC, предметы, кнопки); classification (меню/бой/смерть); segmentation; tracking; OCR; template matching; иногда pose estimation.

Пайплайн: захват → предобработка → ROI → perception → постобработка → символическое состояние → решение.

Игровые кадры: высокая контрастность, плотный UI, частицы, вспышки, разные aspect ratio и DPI. Разрыв perception→decision закрывают слоем интерпретации и памятью о недавних событиях. Метрики: precision/recall, mAP, IoU, FPS, latency, устойчивость к смене условий.

Зрение избыточно при хорошем API, недостаточно при необходимости скрытой информации, проблематично при сверхжёсткой latency на слабом железе.

ГЛАВА 6. Захват экрана и предобработка изображений

Требования к захвату: высокий FPS (30–60+), низкая latency, захват окна/ROI, multi-monitor и DPI, малая нагрузка.

Windows: BitBlt (просто/медленно), Desktop Duplication API (быстро), mss (удобный кросс-платформенный), dxcam (высокая производительность), PIL (просто/медленно).

Пример:

import mss, numpy as np, cv2

with mss.mss() as sct:

mon = sct.monitors[1]

img = np.array(sct.grab(mon))

frame = cv2.cvtColor(img, cv2.COLOR_BGRA2BGR)

Окно: HWND → client rect с DPI → region. Exclusive fullscreen часто хуже windowed/borderless.

Предобработка: resize, BGR/RGB/HSV/gray, ROI, blur, CLAHE, threshold, morphology, inRange. Оптимизация: не захватывать лишнее; тяжёлую обработку не каждый кадр; GPU для сетей; профилировать. Проблемы: чёрный экран, смещение координат, низкий FPS — решаются выбором API и DPI-awareness.

Стартовый стек: Python, mss или dxcam, OpenCV, numpy.

ГЛАВА 7. Распознавание объектов: от Template Matching до YOLO

Template Matching (matchTemplate) — для статичного UI и иконок; плох при смене масштаба и сильных эффектах. Цвет + контуры (HSV, inRange, findContours) — быстрый без обучения. Haar/HOG устарели для большинства игровых задач.

YOLO (v5–v12) — практический стандарт: скорость, точность, ultralytics, экспорт в TensorRT/ONNX. Альтернативы: RT-DETR, EfficientDet.

Обучение: сбор кадров → разметка (LabelImg, CVAT, Roboflow) → аугментации → fine-tune → оценка на видео → экспорт → встройка. Постобработка: NMS, confidence, размер, трекинг (ByteTrack, Kalman), стабильные ID. Комбинируйте YOLO для динамики и template/цвет для UI. Ошибки: однообразные данные, игнор разрешений, плохие пороги, нет трекинга.

ГЛАВА 8. OCR и чтение игрового интерфейса

OCR нужен для HP, таймеров, золота, названий, квестов. Движки: Tesseract, EasyOCR, PaddleOCR; для цифр шрифта игры часто лучше свой классификатор или template глифов.

Предобработка: плотный ROI, upscale, gray, контраст, бинаризация, морфология. Числа: whitelist, резка цифр, длина полоски HP. Декоративные шрифты ломают общий OCR — нужен свой датасет. Вызывайте редко, кэшируйте, фильтруйте медианой, имейте fallback.

ГЛАВА 9. Симуляция ввода: мышь, клавиатура, геймпад

Уровни эмуляции: pyautogui/pydirectinput/pynput → WinAPI → виртуальные HID/драйверы → Arduino. Ниже уровень — натуральнее для ОС, сложнее и рискованнее.

Мышь: абсолютные/относительные координаты, Безье и шум, ускорение, задержки, калибровка под sens и raw input. Клавиатура: press/release, удержание, тайминги. Геймпад: vgamepad.

Человечность: не идеальные прямые, не мгновенные 180°, не сверхреакция, не нулевые промахи. Аварийный стоп, логирование, абстракция InputController.

ГЛАВА 10. Простые боты на Python + OpenCV

Стек: Python + OpenCV + mss + pydirectinput. Каркас: capture → vision → decisions → input. Состояние экрана: хеши ROI, template UI, цвет, лёгкий классификатор.

Примеры: сбор ресурсов; рыбалка. State machine прозрачен и отлаживаем. Отладка: overlay боксов, логи, dry-run. Усложняйте до YOLO/RL/LLM, когда классика упирается в потолок.

ГЛАВА 11. Машинное обучение и нейронные сети в ботах

ML: детекция, классификация, сегментация, OCR, траектории, behavioral cloning, RL. Behavioral cloning прост в данных, страдает compounding errors.

Практика: YOLO nano/small, 300–2000 кадров, fine-tune, TensorRT. Данные важнее архитектуры. Инференс: лёгкие модели, FP16/INT8, раздельные потоки. Не решайте нейросетью то, что закрывается OpenCV.

ГЛАВА 12. Reinforcement Learning для игровых агентов

RL: state, action, reward, policy, value, episode. DQN-семейство; PPO/A2C/SAC; model-based (MuZero). PPO — практический стандарт.

Сложности: огромные пространства, sparse rewards, partial observability. Нужны reward shaping, curriculum, иерархия; опасен reward hacking. Среды: Gymnasium, ViZDoom, ML-Agents, pysc2. Старт с SB3 на простых средах. RL оправдан при огромном пространстве решений и отсутствии хороших демонстраций.