- -
- 100%
- +
Ключевой принцип такой: знания языковой модели — это не библиотека документов, а «статистическая память» о том, какие слова и мысли обычно встречаются вместе в текстах. «Статистическая память» здесь означает привычки, выученные на множестве примеров: модель не хранит страницы как в папке, а запоминает общие закономерности языка и содержания.
Эта память формируется во время обучения на больших массивах текстов. Модели показывают огромное количество фраз и учат продолжать их: какое слово, выражение или мысль чаще всего подходит дальше. Постепенно она подхватывает устойчивые связи: что обычно пишут после «причины инфляции», как выглядит структура резюме, какие аргументы часто приводят в теме «плюсы и минусы удалённой работы».
Важно, что это обучение не похоже на чтение с пометками «вот истинный факт». Модель просто настраивается так, чтобы хорошо угадывать продолжение текста. Из этого вырастает способность объяснять, пересказывать и обобщать.
Из-за этого модель не «знает» конкретный документ. Даже если в обучающих данных когда-то был нужный вам отчёт или статья, модель не открывает их по запросу и не цитирует как источник. Она воспроизводит общий рисунок: типичные формулировки, распространённые версии, стандартные шаги и выводы, которые часто встречались в похожих текстах.
Поэтому она может дать правдоподобный ответ, даже когда точных данных у неё нет. Она собирает фразу так, как это обычно пишут люди, а не так, как написано в конкретном файле.
Это объясняет два эффекта, которые новички часто путают.
Первый: модель хорошо справляется с «типовыми» задачами, где важны общие закономерности — написать письмо, предложить план, объяснить понятие, перечислить распространённые причины и последствия. Там как раз и помогают обобщения.
Второй: модель может ошибаться в деталях, которые завязаны на конкретный источник, дату, версию документа или редкий случай. Там требуется не «как обычно», а «как именно сейчас» или «как написано в этом документе».
Отсюда напрямую следует вопрос актуальности. У модели есть граница по времени: она обучена на текстах, которые были доступны до определённого момента, и сама по себе не «подтягивает» новости. Поэтому про новые события, свежие правила, недавние релизы и текущие цены она может говорить только в режиме предположений: по старым шаблонам и по тому, как обычно развиваются такие истории.
Иногда это выглядит убедительно, потому что формулировки гладкие. Но гладкость — не признак свежести. Чем ближе вопрос к «что изменилось на этой неделе» или «какая версия актуальна сегодня», тем выше риск устаревания или выдуманных деталей.
Представим сценарий. Вам нужно быстро подготовить сообщение команде: «Что известно про новый закон, который вчера обсуждали в новостях, и как он может повлиять на наш процесс?» Вы задаёте вопрос нейросети и получаете структурированный ответ: основные пункты закона, даты, штрафы, комментарии ведомств.
Текст выглядит аккуратно, но вы замечаете, что он слишком «универсальный»: много общих фраз и точные числа без ссылок. Если помнить про статистическую память, ход действий меняется. Вы переформулируете задачу так, чтобы модель работала в своей сильной зоне: просите не «сообщить факты», а помочь организовать проверку и подготовить черновик.
Например: «Составь список вопросов, которые нужно уточнить по закону (даты вступления, кого касается, исключения). Предложи шаблон сообщения команде: что мы знаем, что проверяем, какие действия возможны. Отдельно отметь, какие пункты требуют источника».
В ответ вы получаете структуру, которую можно быстро заполнить после проверки в официальной публикации или в надёжной новости. Модель не подменяет источник, но помогает не забыть важные части и быстро собрать понятный текст.
Запомнить стоит следующее:
- Модель обучается на больших массивах текстов и формирует «статистическую память»: умение продолжать и обобщать по закономерностям, а не доставать документы из архива.
- Она не «знает» конкретный документ по запросу, поэтому уверенный тон не гарантирует точность деталей, особенно дат, чисел и редких исключений.
- Для новых событий и актуальных правил используйте модель как помощника по структуре и вопросам, а факты подтверждайте внешним источником или данными, которые вы сами ей дали.
Глава 7. Ограничения памяти и времени модели
Иногда кажется, что модель «всё поняла»: вы подробно объяснили задачу, она ответила разумно, а через несколько дней в новом чате ведёт себя так, будто вас видит впервые. Или в длинном диалоге она внезапно путает детали: меняет даты, забывает ограничения, возвращается к старой версии требований. Ещё одна частая ситуация — вы просите: «подумай подольше и найди идеальное решение», а ответ всё равно получается поверхностным или обрывается на полпути, как будто у модели кончилось терпение.
Ключевой принцип простой: модель отвечает только на основе текста, который видит прямо сейчас, и делает это в ограниченное время и объёме. Она не хранит вашу личную историю «в голове» и не может бесконечно долго размышлять. У неё есть границы по тому, сколько текста она учитывает и сколько шагов может сделать, пока формирует ответ.
Отсюда следуют три важных следствия для работы.
Во‑первых, почему модель не помнит прошлые сессии и не хранит личную историю. Обычный чат для модели — это отдельный эпизод: вы открыли диалог, написали сообщения, модель увидела их и ответила. Когда вы начинаете новый чат, у модели нет доступа к вашим прошлым перепискам, если только конкретный сервис специально не подставляет их в текущий разговор.
Даже если вам кажется, что «это один и тот же аккаунт», для модели это не означает автоматическую память о вас. Поэтому фразы вроде «ты же знаешь, чем я занимаюсь» или «как мы обсуждали вчера» не дают опоры: в новом чате этих данных просто нет. Если вам важно, чтобы модель учитывала контекст о вас или проекте, его нужно снова дать в тексте — коротко и по делу.
Во‑вторых, как устроено «забывание» внутри одного диалога. У модели есть ограничение на объём текста, который она может удерживать в работе одновременно. Это часто называют контекстным окном: условная «рамка», внутри которой находятся последние сообщения и часть предыдущих.
Когда диалог разрастается, старые куски текста начинают не помещаться в эту рамку. Тогда сервис либо обрезает начало переписки, либо модель фактически перестаёт опираться на ранние детали, потому что они не попали в текущий вход. Снаружи это выглядит как забывание: вы когда-то указали «не упоминай цены» или «пиши на “вы”», модель соблюдала, а потом перестала. Причина обычно не в упрямстве и не в «плохом настроении», а в том, что важное условие оказалось слишком далеко в начале диалога и больше не учитывается.
Практический вывод: чем длиннее разговор, тем важнее держать ключевые требования ближе к текущему месту. Если условия критичны, их стоит повторять в сжатом виде, а не надеяться, что модель «помнит всё с самого начала».
В‑третьих, как планировать работу, учитывая, что модель не может «думать долго» как человек. Модель генерирует ответ по шагам, и у неё есть ограничения: сколько текста она может выдать и сколько вычислений сервис готов потратить на один ответ. Даже если попросить «размышляй час», это не превратится в человеческое долгое обдумывание.
Модель либо даст стандартный по глубине результат, либо начнёт растекаться по общим словам, либо упрётся в лимит и прервётся. Поэтому «долго думать» лучше заменять на «работать по этапам». Вы не увеличиваете волшебным образом время мысли, вы структурируете задачу так, чтобы модель последовательно делала небольшие понятные куски работы, а вы проверяли и направляли.
Один сценарий, который показывает, как это применять. Допустим, вы готовите письмо клиенту с итогами встречи и договорённостями. Сначала вы в одном сообщении даёте вводные: кто клиент, цель письма, тон (деловой, без фамильярности), три ключевых договорённости, что нельзя обещать и желаемый объём. Модель пишет черновик — всё выглядит хорошо.
Потом вы начинаете уточнять: «добавь абзац про сроки», «перепиши вступление мягче», «вставь список рисков», «сделай две версии — короткую и длинную», и диалог разрастается. На каком-то шаге модель вдруг добавляет обещание по срокам, которое вы просили не давать, и меняет тон на слишком дружеский.
Вместо того чтобы спорить с моделью, вы делаете следующее:
1) Останавливаете диалог и пишете короткий «якорь» — сжатый список неизменных правил: тон, запреты, факты, формат. Это 5–8 строк, без лишних объяснений.
2) Просите модель сначала повторить эти правила своими словами в 3–5 пунктах, чтобы убедиться, что они попали в текущий контекст.
3) Дальше даёте одну задачу за раз: «перепиши письмо, соблюдая якорь; не добавляй новых фактов; сделай 120–150 слов».
4) Если нужно «глубже», вы не просите «думай дольше», а делите работу: отдельно — список рисков, отдельно — формулировки про сроки в безопасном виде, отдельно — финальная сборка письма. Так вы укладываете рассуждение в управляемые шаги и снижаете шанс, что модель начнёт выдумывать или потеряет ограничения.
Что стоит унести и попробовать после прочтения:
- Если контекст важен, не рассчитывайте на память между сессиями: нужные факты и правила нужно заново дать в тексте.
- В длинных диалогах держите ключевые условия «рядом»: периодически делайте короткий якорь с неизменными требованиями.
- Вместо просьбы «думай долго» планируйте работу этапами: маленькие задачи, проверка, затем сборка результата.
Глава 8. Роль случайности в ответах
Иногда это выглядит странно: вы задаёте один и тот же вопрос два раза — и получаете два разных ответа. В первый раз нейросеть пишет коротко и по делу, во второй — добавляет лишние детали, меняет порядок шагов или предлагает другие идеи. Возникает ощущение, что она «передумала» или «капризничает». На практике причина обычно проще: в генерации ответа есть доля случайности.
Ключевой принцип такой: языковая модель не выбирает единственно правильную фразу. Она каждый раз собирает ответ как последовательность наиболее вероятных вариантов. В этот выбор часто добавляется случайность, чтобы текст не был одинаковым и «застывшим». Случайность здесь — это не хаос, а регулируемая примесь, которая позволяет модели иногда выбирать не самый очевидный следующий кусочек текста.
Чтобы понять механику, полезно представить процесс по шагам. Модель пишет не «сразу весь ответ», а по частям: слово за словом (точнее, кусочками слов). На каждом шаге она оценивает несколько возможных продолжений и назначает им вероятности: какие варианты сейчас подходят лучше, а какие хуже. Дальше нужно выбрать один вариант и перейти к следующему шагу — и так до конца.
Если бы модель всегда брала самый вероятный вариант, ответы были бы очень стабильными, но часто однообразными. Формулировки повторялись бы, идеи были бы предсказуемыми, а иногда текст становился бы «заезженным»: одинаковые вступления, одинаковые выводы, одинаковые списки. Поэтому во многих режимах работы модель выбирает не строго «самое вероятное», а из нескольких вероятных — и тут появляется случайность.
Эта случайность напрямую влияет на разнообразие. Когда она выше, модель чаще «разрешает себе» взять вариант, который чуть менее вероятен, но всё ещё подходит по смыслу. В результате меняются формулировки: другие слова, другой тон, другой порядок. А иногда и сами идеи: другие примеры, другие варианты решения, другие пункты списка. Это особенно заметно в задачах, где нет одного правильного ответа: придумать темы для поста, варианты заголовков, способы сформулировать просьбу, идеи подарков, черновик письма.
Отсюда и ответ на вопрос, почему один и тот же запрос может давать разные ответы. Во‑первых, при каждом запуске модель может сделать другие выборы на нескольких шагах подряд, и маленькое отличие в начале «разветвляет» весь текст дальше. Во‑вторых, в запросе часто есть пространство для интерпретации: вы не указали длину, формат, аудиторию, критерии качества — и модель каждый раз может «додумать» это по‑разному. В‑третьих, влияет контекст диалога: даже если вам кажется, что запрос тот же, модель опирается на предыдущие сообщения, а значит, стартовые условия уже не идентичны.
Эта же логика объясняет, почему иногда ответы отличаются не только стилем, но и содержанием. Если вы спрашиваете: «Составь план статьи про здоровое питание», то возможны десятки нормальных планов. Модель не «вспоминает один правильный», она каждый раз строит один из допустимых вариантов. А когда вы спрашиваете факты (например, «какая дата…»), случайность может привести к более рискованным догадкам, если модель не уверена или если в запросе не хватает уточнений. Снаружи это выглядит как нестабильность, но внутри это та же механика выбора из нескольких продолжений.
Дальше важно понять, когда вам нужна стабильность, а когда — разнообразие. Стабильность полезна, когда вы хотите повторяемый результат и минимальный риск «уехать» в сторону: итоговое письмо клиенту, краткая инструкция для коллег, сводка по встрече, формулировка требований, ответы, где важна точность и одинаковый формат. В таких задачах вы обычно не выигрываете от неожиданностей: вам нужно, чтобы модель держалась рамок, не добавляла лишнего и не меняла структуру.
Разнообразие полезно, когда вы ищете варианты и сравниваете: идеи, черновики, альтернативные формулировки, разные углы зрения, несколько сценариев. Здесь как раз ценны небольшие отклонения: они помогают увидеть то, что вы сами не сформулировали с первого раза. В таких задачах «разные ответы» — это не проблема, а инструмент.
Представим сценарий. Вы хотите написать короткое описание услуги для сайта и не знаете, как лучше сформулировать. Вы пишете запрос: «Сделай описание услуги “настройка рекламы” на 3–4 предложения». В первый раз модель выдаёт сухой текст, во второй — добавляет обещания, в третий — уходит в технические детали. Вы решаете управлять тем, что вам важнее: стабильность формата или разнообразие вариантов.
Действия могут быть такими.
1) Сначала вы выбираете режим «разнообразия», потому что вам нужны варианты. Вы уточняете запрос: «Дай 5 разных вариантов описания услуги, каждый по 3–4 предложения. Варианты должны отличаться тоном: нейтральный, дружелюбный, деловой, короткий, более подробный. Без обещаний “гарантируем рост”, без профессионального жаргона». Теперь случайность работает на вас: модель может предложить разные формулировки, но вы заранее ограничили опасные зоны.
2) Затем вы переходите в режим «стабильности», потому что вам нужно выбрать один вариант и довести его до финала. Вы берёте понравившийся текст и просите: «Перепиши этот вариант, сохрани смысл и структуру, сделай на 10% короче, оставь нейтральный тон, не добавляй новых фактов». Здесь вы уменьшаете пространство для интерпретации, и даже если формулировки чуть изменятся, результат будет ближе к повторяемому.
В этом сценарии вы не боретесь со случайностью «в лоб», а используете её по назначению: сначала как генератор вариантов, потом как инструмент аккуратной правки в заданных рамках.
Запомнить стоит три вещи. Во‑первых, разные ответы на один запрос чаще всего нормальны: модель выбирает из нескольких подходящих продолжений, и небольшая случайность разветвляет текст. Во‑вторых, случайность увеличивает разнообразие формулировок и идей — это полезно в творческих и поисковых задачах. В‑третьих, когда нужна стабильность, уменьшайте неопределённость в запросе: фиксируйте формат, ограничения и критерии, а разнообразие включайте осознанно — когда вы действительно ищете варианты.
Глава 9. Настройки генерации: температура и топ-p
Иногда вы задаёте один и тот же вопрос нейросети два раза и получаете разные ответы. В одном случае текст получается аккуратным и «по делу», в другом — более смелым, с необычными формулировками и лишними допущениями. Возникает ощущение, что модель «в настроении» или что-то «решила по-своему». На практике чаще всего дело не в теме вопроса, а в настройках генерации — в том, насколько модели разрешают выбирать редкие варианты продолжения.
Ключевой принцип простой: температура и топ‑p управляют степенью случайности в выборе следующего фрагмента текста. Поэтому они меняют предсказуемость и «креативность» ответа. Под «креативностью» здесь не имеется в виду талант — это всего лишь готовность модели уходить от самых очевидных формулировок и выбирать менее вероятные продолжения.
Чтобы понять механику, полезно помнить базовую вещь: языковая модель пишет текст по шагам, каждый раз выбирая следующий маленький кусочек (часть слова или слово). У неё есть несколько подходящих вариантов, и у каждого — своя вероятность. Настройки генерации влияют на то, какие варианты вообще допускаются и насколько охотно модель берёт не самые вероятные.
Температура — это «ручка», которая делает выбор более строгим или более свободным. При низкой температуре модель чаще берёт самый вероятный вариант и старается идти по проторенной дорожке. Ответы обычно получаются ровнее, ближе к шаблонным, с меньшим количеством неожиданных поворотов. При высокой температуре модель чаще выбирает не самый вероятный вариант. Тогда текст становится разнообразнее по словам и идеям, но растёт риск странных деталей, лишних допущений и ошибок, потому что модель чаще «сворачивает» туда, где у неё меньше опоры на типичные продолжения.
Топ‑p работает иначе: он не «усиливает» или «ослабляет» все варианты сразу, а ограничивает круг выбора. Представьте, что модель на каждом шаге составляет список самых вероятных продолжений и берёт из него только верхнюю часть — до тех пор, пока суммарная вероятность этих вариантов не наберёт заданную долю p. Это и есть top‑p (его ещё называют nucleus sampling).
Если top‑p низкий, в списке остаются только самые вероятные продолжения — стиль будет более осторожным и однообразным. Если top‑p высокий, список шире, туда попадают более редкие варианты — стиль становится разнообразнее, но может стать менее стабильным.
Важно, что температура и топ‑p решают похожую задачу разными способами и могут усиливать друг друга. Низкая температура плюс низкий top‑p обычно дают максимально предсказуемый текст: меньше сюрпризов, но и меньше свежих формулировок. Высокая температура плюс высокий top‑p дают больше разнообразия, но и больше «разброса» по качеству. Если вы не можете управлять обеими настройками, достаточно понимать общий смысл: вы либо сужаете выбор модели, либо расширяете.
Представим сценарий. Вам нужно подготовить короткое письмо клиенту: вежливо напомнить про оплату и предложить два варианта даты созвона. Вы делаете первый запрос и получаете нормальный текст. Потом просите «переформулировать иначе» — и вдруг нейросеть добавляет лишние обещания («мы гарантируем скидку»), меняет тон на слишком фамильярный или придумывает детали, которых вы не говорили.
Если в этот момент снизить креативность (уменьшить температуру и/или top‑p), модель будет реже добавлять неожиданные элементы и чаще держаться исходных фактов и нейтрального стиля. А вот если задача другая — например, придумать 15 тем для постов или 10 вариантов заголовка, — вы, наоборот, выигрываете от повышенной креативности: пусть варианты будут менее «вылизанными», зато более разнообразными, и вы сможете выбрать лучшее.
Запомнить стоит следующее:
- Температура отвечает за то, насколько модель склонна отходить от самых вероятных продолжений: ниже — предсказуемее, выше — разнообразнее.
- Топ‑p ограничивает набор вариантов, из которых вообще выбирается продолжение: ниже — уже и осторожнее, выше — шире и смелее.
- Снижайте креативность для задач, где важны точность, единый стиль и отсутствие выдумок (письма, резюме фактов, инструкции). Повышайте — для задач на варианты и идеи (заголовки, концепции, черновые наброски), где вы всё равно будете отбирать и редактировать.
Глава 10. Что такое контекстное окно
Почти у каждого, кто долго переписывается с ИИ, случается одинаковая ситуация. В начале вы подробно описали задачу, договорились о формате и ограничениях, а через 20–30 сообщений модель вдруг «забывает» важную деталь. Например, начинает писать не тем тоном, путает исходные данные или снова задаёт вопрос, на который уже отвечали. Со стороны это выглядит как невнимательность, хотя причина обычно техническая и довольно простая.
Ключевой принцип такой: у модели есть ограниченный «буфер текста», который она учитывает прямо сейчас. Всё, что не помещается в этот буфер, перестаёт влиять на ответ. Этот буфер называют контекстным окном. Контекстное окно — это максимальный объём текста, который модель может держать «перед глазами» при генерации следующего ответа.
Важно правильно понимать, что именно считается объёмом контекста. В контекст входит не только ваш последний запрос. Туда попадает сразу три части: ваша текущая реплика, предыдущая история диалога (включая ваши сообщения и ответы модели) и тот ответ, который модель прямо сейчас генерирует. То есть место в контекстном окне «занимает» всё: и постановка задачи, и уточнения, и примеры, и промежуточные версии текста, и длинные ответы самой модели.
Из-за этого длинные диалоги со временем начинают «съедать» контекст. Модель не хранит бесконечную переписку как человек, который может мысленно вернуться к началу разговора. Когда общий объём текста становится больше, чем позволяет контекстное окно, системе приходится обрезать часть истории. Обычно «выпадает» самое старое — начало диалога. В результате модель продолжает отвечать, опираясь на то, что осталось внутри окна. А то, что оказалось за его пределами, для неё как будто не было сказано.
Это и создаёт эффект: вы уверены, что правило было задано («пиши вежливо и коротко», «не используй англицизмы», «опирайся только на эти цифры»), но модель его нарушает. Не потому что «решила иначе», а потому что в момент ответа она буквально не видит этот кусок текста. Иногда остаются обрывки: модель помнит часть требований, но теряет детали. Тогда ответы становятся нестабильными: в одном сообщении она соблюдает условие, в следующем — нет, потому что условие уже «уехало» за пределы окна.
Практический вопрос для пользователя — как прикинуть, поместится ли задача в контекстное окно выбранной модели. Точного подсчёта «на глаз» обычно не получится, потому что модели считают объём не в словах и не в символах, а в более мелких единицах текста. Но оценивать всё равно можно, если мыслить не числами, а объёмами и рисками.
Полезная логика такая:
1) Сначала мысленно соберите «пакет текста», который модели нужно учитывать одновременно: исходные требования, данные, примеры, ограничения, плюс текущий запрос. Если вы хотите, чтобы модель строго следовала правилам, эти правила должны быть внутри окна именно в тот момент, когда она пишет ответ.
2) Добавьте к этому предполагаемый размер ответа. Если вы просите «подробно», «с примерами», «на 2 страницы», вы заранее занимаете значительную часть окна будущим ответом — и тем самым уменьшаете место для истории и исходных условий.
3) Оцените длину истории диалога. Если вы уже много раз уточняли одно и то же, вставляли черновики, просили переписать текст, то вы, возможно, уже близко к пределу. В такой ситуации даже правильный запрос может не сработать, потому что важные куски оказались в начале и уже не помещаются.
Один рабочий сценарий. Допустим, вы ведёте диалог, чтобы подготовить резюме. В начале вы дали вводные: должность, опыт, список проектов, ограничения («без личных данных», «до одной страницы», «деловой тон»). Дальше вы 15 раз просили переписать пункты, добавляли новые версии, обсуждали формулировки и вставляли целые абзацы текста.
В какой-то момент вы пишете: «Собери финальную версию и обязательно оставь только одну страницу». Модель выдаёт текст на две страницы и добавляет детали, которые вы просили не упоминать.
Если рассуждать через контекстное окно, картина такая: длинная история с черновиками и правками заняла почти всё доступное место. Начальные правила («до одной страницы», «без личных данных») оказались в самом старом фрагменте и «выпали». Внутри окна остались последние обсуждения формулировок и ваш финальный запрос, но без исходных ограничений. Поэтому модель честно делает то, что видит: собирает «финальную версию», но не может опереться на правила, которые больше не присутствуют в её текущем контексте.
Что можно унести из этой главы:
- Контекстное окно — это лимит текста, который модель учитывает сейчас; в него входит запрос, история диалога и генерируемый ответ.