- -
- 100%
- +
- В длинных переписках начало часто перестаёт влиять на ответы, потому что выходит за пределы окна, и это выглядит как «забывание».
- Оценивайте вместимость задачи так: что должно быть перед глазами модели одновременно + какой длины вы просите ответ + насколько разрослась история; если важное было в начале, есть риск, что оно уже не учитывается.
Глава 11. Почему модель «забывает» сказанное ранее
Частая ситуация: вы долго обсуждаете задачу с нейросетью, постепенно уточняете детали, договариваетесь о стиле и ограничениях. А потом в какой-то момент модель внезапно предлагает решение, будто этих договорённостей не было: меняет формат, забывает важное условие, снова задаёт вопрос, на который уже отвечали. Возникает ощущение, что она «не слушает» или «не помнит», хотя раньше всё шло нормально.
Ключевой принцип простой: модель видит не весь диалог, а только его последнюю часть и отвечает, опираясь на то, что поместилось в её «контекстное окно». Контекстное окно — это ограниченный объём текста, который модель учитывает прямо сейчас. Когда диалог становится длинным, самые ранние сообщения перестают помещаться и фактически перестают влиять на ответ.
Это «забывание» происходит не потому, что модель решила игнорировать вас. Оно связано с обрезкой старых сообщений: системе нужно уместить входной текст в ограничение по длине, и при переполнении из рассмотрения выпадают первые куски переписки. В результате качество ответа меняется предсказуемо: модель начинает опираться на более свежие реплики, а не на исходные требования.
Конец ознакомительного фрагмента.
Текст предоставлен ООО «Литрес».
Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.
Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.