ChatGPT на вашем ноутбуке: бесплатно, анонимно, навсегда
- -
- 100%
- +
Если для вас критична минимальная производительность (например, вы запускаетесь на очень слабом одноплатнике), вы всегда сможете заменить Silero на Piper, следуя тому же интерфейсу. Мы напишем обёртку, которую будет легко адаптировать.
Установка
Нам понадобятся PyTorch и библиотека для воспроизведения звука. Установим их:
bash
pip install torch sounddevice
Модели Silero загружаются автоматически при первом обращении, никакие файлы вручную скачивать не нужно.
Пишем функцию синтеза речи
Создадим модуль speech_synthesis.py. В нём будет класс TextToSpeech, который загружает модель Silero и воспроизводит переданный текст.
python
# speech_synthesis.py
import os
import torch
import sounddevice as sd
class TextToSpeech:
"""
Локальный синтез речи с помощью модели Silero.
"""
def __init__(self, speaker: str = "xenia", device: str = "cpu"):
"""
:param speaker: голос (список доступных голосов появится при первом запуске)
:param device: "cpu" или "cuda"
"""
self.device = torch.device(device)
print("Загрузка модели Silero TTS...")
# Загружаем модель и список доступных голосов из PyTorch Hub
self.model, self.symbols, self.sample_rate, _, self.apply_tts = torch.hub.load(
repo_or_dir='snakers4/silero-models',
model='silero_tts',
language='ru',
speaker='ru_v3'
)
self.model = self.model.to(self.device)
self.speaker = speaker
print(f"Модель готова. Выбран голос: {self.speaker}")
def speak(self, text: str):
"""
Синтезирует текст и воспроизводит его через звуковое устройство.
"""
if not text.strip():
return
# Синтез: получаем тензор с аудио
audio = self.apply_tts(
texts=[text],
model=self.model,
symbol=self.symbols,
device=self.device,
speaker=self.speaker
)[0] # Берем первый (и единственный) элемент батча
# Переводим тензор в numpy-массив float32
audio_np = audio.cpu().numpy()
# Воспроизводим
sd.play(audio_np, samplerate=self.sample_rate)
sd.wait() # Ждём окончания воспроизведения
Пояснения:
· Загрузка модели: torch.hub.load скачивает модель Silero (если её нет локально) и возвращает все необходимые компоненты: саму модель, словарь символов, частоту дискретизации (обычно 22050 Гц для русских голосов), пути к примерам и функцию apply_tts. Эта функция и делает синтез — принимает список строк и возвращает список аудиотензоров.
· Выбор голоса: Параметр speaker может принимать значения: 'xenia' (женский, мягкий), 'aidar' (мужской), 'baya' (женский, более высокий), 'kseniya' (женский), 'eugene' (мужской). В коде выше мы используем 'xenia'. Вы можете посмотреть полный список, заглянув в документацию Silero или просто попробовав разные варианты.
· Воспроизведение: sounddevice берёт массив float32 и проигрывает его с указанной частотой. sd.wait() блокирует выполнение до окончания звука, чтобы наша программа не завершилась раньше времени.
Тестирование
python
# test_tts.py
from speech_synthesis import TextToSpeech
tts = TextToSpeech(speaker="xenia")
tts.speak("Привет! Я локальный голосовой помощник. Чем могу помочь?")
Запустите — вы должны услышать приятный женский голос.
Интеграция в проект
В будущем GUI мы будем вызывать tts.speak(response) сразу после получения ответа от модели. Асинхронное озвучивание (не ждать окончания, чтобы можно было задать следующий вопрос) можно реализовать с помощью потоков, но пока для простоты оставим синхронный вызов.
Выбор голоса под настроение
Функция set_speaker позволит переключать голос на лету:
python
def set_speaker(self, speaker: str):
"""Сменить голос."""
if speaker in self.model.speakers: # некоторые версии silero хранят список спикеров
self.speaker = speaker
else:
print(f"Голос {speaker} не найден, используется {self.speaker}")
Но в рамках нашей книги мы оставим один голос по умолчанию.
Возможные проблемы с синтезомречи
Ошибка «ModuleNotFoundError: No module named 'torch'». Библиотека Silero работает поверх PyTorch, который не был установлен. Выполните pip install torch — для синтеза речи достаточно CPU-версии, она легче и устанавливается быстрее. Если позже понадобится GPU-ускорение, можно будет доустановить CUDA-версию PyTorch отдельно.
Ошибка загрузки модели: «HTTPError: Not Found». При первом создании объекта TextToSpeech Silero пытается скачать модель из интернета. Проверьте соединение — модель скачивается один раз и кэшируется. Если интернет недоступен, скачайте файл ru_v3.pt вручную с сайта models.silero.ai и поместите его в папку кэша PyTorch Hub. После этого модель будет загружаться локально.
Звук воспроизводится с искажениями или задержкой. Скорее всего, не совпадает частота дискретизации. Silero по умолчанию использует 22050 Гц — проверьте, что sounddevice.play() вызывается именно с этим параметром. Если звук всё равно искажён, попробуйте явно указать samplerate=22050 в вызове sd.play(). Иногда проблема в драйверах звуковой карты — обновите их.
Русский текст не озвучивается — модель молчит. Silero обучена на кириллическом русском тексте и не понимает транслитерацию. Убедитесь, что текст содержит настоящие русские буквы, а не латинские замены вроде «privet». Также проверьте, что выбран русский голос — например, xenia или aidar. Голоса для других языков не смогут произнести кириллицу.
Ошибка «PortAudioError» при воспроизведении. Звуковое устройство занято другим приложением или отсутствует. Проверьте, что колонки или наушники подключены и не используются эксклюзивно другой программой. На Linux может помочь запуск звукового сервера командой pulseaudio --start. Если ошибка повторяется, попробуйте перезагрузить компьютер — иногда звуковой драйвер «зависает» и его нужно переинициализировать.
Альтернативный путь: piper-tts (если нужно максимально легковесно)
Если вы по каким-то причинам не хотите тянуть PyTorch, вот минимальный пример с piper-tts:
bash
# Установка piper-tts
pip install piper-tts
# Скачать модель ru_RU-ruslan-medium с GitHub в папку models/
python
from piper import PiperVoice
import sounddevice as sd
import wave
voice = PiperVoice.load("models/ru_RU-ruslan-medium.onnx")
audio = voice.synthesize("Привет, мир!")
# audio — это bytes с WAV, нужно декодировать и воспроизвести
Но мы в книге придерживаемся Silero: для нашего проекта качество речи важнее лишних 200 МБ зависимостей, которые всё равно перекрываются объёмом языковой модели.
Что дальше
Теперь у нас есть и «уши» (распознавание речи), и «голос» (синтез). В следующей главе 5.3 «Интеграция в голосового ассистента» мы объединим эти два компонента с нашим LocalModel и создадим полноценный диалоговый интерфейс, где можно нажать кнопку, задать вопрос голосом и услышать ответ — и всё это офлайн.
Глава 5.3. Интеграцияв голосового ассистента.
Мы добрались до момента, когда наш ИИ-помощник обретает способность к полноценному разговору. В главе 5.1 мы дали ему «уши» — локальное распознавание речи на основе Whisper. В главе 5.2 — «голос» с помощью Silero TTS. Теперь мы свяжем эти два компонента с нашим классом LocalModel и создадим голосового ассистента, который слушает вопрос, думает и отвечает вслух. И всё это — без интернета, по нажатию одной кнопки (или по ключевому слову).
Архитектура голосового ассистента
Наш голосовой ассистент — это Python-класс VoiceAssistant, который объединяет три компонента:
1. SpeechRecognizer — распознаёт речь с микрофона и возвращает текст.
2. LocalModel — получает текст, генерирует ответ (может использовать режим RAG, если передан VectorStore).
3. TextToSpeech — принимает текст ответа и озвучивает его.
Все три компонента уже написаны и протестированы по отдельности. Нам осталось лишь написать «дирижёра», который будет координировать их работу.
Код класса VoiceAssistant
Создайте файл voice_assistant.py:
python
# voice_assistant.py
import sys
from speech_recognition import SpeechRecognizer
from speech_synthesis import TextToSpeech
from local_model import LocalModel
from vector_store import VectorStore
from embedder import Embedder
class VoiceAssistant:
"""
Голосовой ассистент, объединяющий распознавание речи,
языковую модель и синтез речи.
"""
def __init__(
self,
model: LocalModel,
whisper_size: str = "tiny",
tts_speaker: str = "xenia",
store: VectorStore = None,
embedder: Embedder = None,
use_documents: bool = False
):
"""
:param model: экземпляр LocalModel
:param whisper_size: размер модели Whisper ("tiny" / "base")
:param tts_speaker: голос Silero TTS
:param store: VectorStore (если используется RAG)
:param embedder: Embedder (если используется RAG)
:param use_documents: режим "по документам" по умолчанию
"""
self.model = model
self.store = store
self.embedder = embedder
self.use_documents = use_documents
print("Инициализация распознавания речи...")
self.recognizer = SpeechRecognizer(model_size=whisper_size)
print("Инициализация синтеза речи...")
self.tts = TextToSpeech(speaker=tts_speaker)
print("Голосовой ассистент готов.\n")
def listen(self) -> str:
"""Слушает микрофон и возвращает распознанный текст."""
text = self.recognizer.recognize_speech()
if text:
print(f"Вы: {text}")
return text
def respond(self, text: str):
"""Генерирует ответ и озвучивает его."""
print("Думаю...", end="", flush=True)
# Определяем, какой метод модели использовать
if self.use_documents and self.store and self.embedder:
response = self.model.ask_documents(
question=text,
store=self.store,
embedder=self.embedder
)
else:
response = self.model.chat(
messages=[{"role": "user", "content": text}],
temperature=0.7
)
print(f"\rАссистент: {response}")
# Озвучиваем ответ
self.tts.speak(response)
def run(self, wake_word: str = None):
"""
Основной цикл. Если wake_word задан, ассистент ждёт ключевое слово.
Иначе — слушает сразу после нажатия Enter.
"""
print("=" * 50)
print("Голосовой ассистент запущен.")
print("Нажмите Ctrl+C для выхода.\n")
if wake_word:
print(f"Ассистент ждёт ключевое слово: \"{wake_word}\"...")
else:
print("Нажмите Enter, чтобы начать говорить...")
try:
while True:
if wake_word:
# Ждём ключевое слово в цикле
text = self.listen()
if text and wake_word.lower() in text.lower():
print(f"Ключевое слово обнаружено!")
# Убираем ключевое слово из запроса
query = text.lower().replace(wake_word.lower(), "").strip()
if query:
self.respond(query)
else:
# Если только ключевое слово — спросить, что нужно
self.tts.speak("Я слушаю.")
else:
# Ручной режим: ждём Enter
input()
text = self.listen()
if text:
# Простые голосовые команды управления
if text.lower() in ["выход", "пока", "завершить"]:
self.tts.speak("До свидания!")
break
elif text.lower() in ["режим документы"]:
self.use_documents = not self.use_documents
status = "включён" if self.use_documents else "выключен"
self.tts.speak(f"Режим документы {status}")
continue
else:
self.respond(text)
except KeyboardInterrupt:
print("\nЗавершение работы...")
self.tts.speak("Работа завершена.")
Пояснения к коду:
· Конструктор принимает все необходимые компоненты. Параметры store и embedder необязательны: если вы не планируете использовать RAG, просто не передавайте их. Флаг use_documents позволяет переключать режим на лету.
· Метод listen() — обёртка над SpeechRecognizer.recognize_speech(), добавляющая вывод распознанного текста.
· Метод respond() — в зависимости от флага выбирает либо обычный чат, либо ask_documents(). Затем выводит ответ на экран и озвучивает его. Обратите внимание на трюк с \r и end="": сначала печатается «Думаю...», а когда ответ готов, курсор возвращается в начало строки и заменяет это слово на «Ассистент:».
· Метод run() — основной цикл. Поддерживает два режима:
o Ручной (по Enter): для отладки и использования за компьютером, когда вы готовы нажать клавишу перед тем, как говорить.
o С ключевым словом: ассистент постоянно слушает микрофон и реагирует только когда услышит заданное слово (например, «ассистент»). Это приближает нас к поведению «умной колонки». Однако постоянное распознавание речи требует больше ресурсов, поэтому по умолчанию режим ручной.
Внутри цикла реализованы простые голосовые команды:
· «выход», «пока», «завершить» — завершают работу.
· «режим документы» — переключает между обычным чатом и режимом RAG.
Тестирование голосового ассистента
Создайте скрипт test_voice_assistant.py:
python
# test_voice_assistant.py
from model_loader import download_model
from local_model import LocalModel
from voice_assistant import VoiceAssistant
from vector_store import VectorStore
from embedder import Embedder
# Загружаем языковую модель
print("Загрузка языковой модели...")
model_path = download_model()
llm = LocalModel(model_path=model_path, n_threads=4)
# Если у вас проиндексированы документы, подключим их
store = VectorStore(collection_name="my_docs")
emb = Embedder()
use_docs = True # поставьте False, если документов нет
# Создаём ассистента
assistant = VoiceAssistant(
model=llm,
whisper_size="tiny",
tts_speaker="xenia",
store=store,
embedder=emb,
use_documents=use_docs
)
# Запускаем
assistant.run() # ручной режим (по Enter)
Запустите:
bash
python test_voice_assistant.py
Пример сеанса (ручной режим):
text
Инициализация распознавания речи...
Модель готова.
Инициализация синтеза речи...
Модель готова.
Голосовой ассистент готов.
==================================================
Голосовой ассистент запущен.
Нажмите Ctrl+C для выхода.
Нажмите Enter, чтобы начать говорить...
[Enter]
Слушаю... (говорите)
Тишина, завершаю запись.
Вы: какой сегодня день недели
Думаю...
Ассистент: К сожалению, я не имею доступа к текущей дате.
(озвучивается голосом)
[Enter]
Слушаю... (говорите)
Вы: расскажи анекдот про программистов
Ассистент: Почему программисты путают Хэллоуин и Рождество? Потому что 31 OCT = 25 DEC!
(озвучивается)
Режим с ключевым словом
Если вы хотите, чтобы ассистент слушал постоянно и откликался на ключевое слово, замените вызов:
python
assistant.run(wake_word="ассистент")
Теперь ассистент будет непрерывно слушать микрофон и реагировать, когда вы скажете «ассистент, какой сегодня день?». Учтите, что постоянный мониторинг увеличивает нагрузку на процессор. Для реального использования можно добавить «засыпание» после периода бездействия, но для нашего проекта ручной режим более практичен.
Потоковое озвучивание (опционально)
Сейчас ассистент ждёт полного ответа модели, прежде чем начать озвучивание. Это может создавать заметную паузу, особенно если модель генерирует длинный ответ. Чтобы ответ начал озвучиваться по мере генерации, можно объединить потоковый вывод модели с озвучиванием. Для этого потребуется:
· Разбивать ответ на предложения (по точке, вопросительному или восклицательному знаку).
· Озвучивать каждое предложение, как только оно сформировано.
Это более сложная техника, и мы оставим её для самостоятельного изучения. В рамках книги синхронный respond() полностью выполняет задачу.
Возможные проблемы с голосовымассистентом
Микрофон не реагирует или слышен постоянный шум. Порог чувствительности, заданный в SILENCE_THRESHOLD, не подходит для вашего помещения. Если микрофон вообще не реагирует на голос — уменьшите порог до 0.005 или даже 0.003. Если, наоборот, запись никогда не останавливается из-за фонового шума — увеличьте порог до 0.02. Универсальное решение — использовать гарнитуру: она даёт чистый сигнал, и настройки по умолчанию работают хорошо.
Whisper не распознаёт тихую речь. Проверьте уровень громкости микрофона в системных настройках — возможно, он убавлен до минимума. Поднимите усиление микрофона (Mic Boost), если такая опция есть. Если речь всё равно распознаётся плохо, замените модель tiny на base — она чувствительнее к тихим звукам и лучше понимает нечёткую дикцию, хотя работает чуть медленнее.
Конец ознакомительного фрагмента.
Текст предоставлен ООО «Литрес».
Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.
Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.