слов.арь · bisovka

объясни context-window --простыми-словами

Иллюстрация к термину «Контекстное окно»

Контекстное окно

КороткоСколько твой ИИ может удержать в голове за раз.

У ИИ нет памяти. У него есть комната.

Впервые я по-настоящему это почувствовал, когда глубоко сидел в одном чате и пытался что-то собрать: несколько часов работы, наверное, сотня сообщений. И он начал тупеть. Забывать то, что я только что сказал. Противоречить сам себе.

Я решил, что он сломался. Нет. Я просто превратился в накопитель хлама.

Вот в чем дело. Все, что ты даешь ИИ, должно поместиться в одну комнату одновременно. Твое сообщение, весь разговор до этого, любые файлы, которые ты загрузил, и скрытые инструкции, которые приложение ему подсовывает (что-то вроде «ты полезный ассистент, сегодняшняя дата...»).

Все это лежит в одной комнате. Так что «контекстное окно» — это просто размер этой комнаты.

И вот часть, которую большинство людей вообще не осознает. Каждый раз, когда ты нажимаешь отправить, ИИ заново перечитывает всю комнату с нуля. Он не помнит твои прошлые сообщения так, как помнил бы человек. Он снова читает их все, сверху вниз, каждый ход.

Разные модели дают комнаты разного размера, и разрыв между ними огромный.

Не надо заучивать числа, они растут каждые несколько месяцев. Важен разброс: самые большие комнаты вмещают почти в десять раз больше, чем самые маленькие, и продолжают расти. (Токены — это единица, в которой измеряют комнату, и они заслуживают отдельной статьи.)

Звучит как бесконечное пространство. Но нет. Больше не значит автоматически лучше. Особняк, забитый хламом от стены до стены, все еще особняк, в котором ничего не найдешь. Набей комнату битком, и ИИ начнет терять, что где лежит, даже если технически все «поместилось». Поэтому длинный, расползающийся чат постепенно начинает казаться тупее свежего. Ты ничего не сломал. Комната просто захламилась.

Так что когда ты говоришь «но я же говорил тебе это час назад», а он смотрит пустыми глазами, это не амнезия. Комната заполнилась, и старые вещи вытолкнуло за дверь, чтобы освободить место для новых. Теперь накопитель хлама — ты: ждешь, что кто-то найдет один конкретный чек в особняке, забитом мусором до потолка.

Когда видишь комнату, перестаешь с ней бороться.

Начинай свежие чаты. Держи комнату чистой.

← все термины