Кэширование промпта

Посмотри на повара в ресторанный час пик. Приходит заказ, и он не бежит искать луковицу. Лук уже нарезан, бульон уже тихо кипит, соусы стоят в маленьких контейнерах и ждут своего часа. У такой подготовки есть название: mise en place.

Кэширование — это mise en place для AI.

Проблема такая. AI заново перечитывает всю комнату контекста на каждом ходу. Твои длинные инструкции, огромный документ, который ты вставил, вводную часть сверху. Каждый раз, когда ты нажимаешь отправить, он снова читает все это сверху вниз, будто видит впервые. Это медленно, а если ты платишь за каждый кусок текста, еще и дорого. Ты каждый раз платишь за то, чтобы заново нарезать одну и ту же луковицу.

Кэширование заранее готовит то, что не меняется, и держит это под рукой.

Части разговора, которые остаются теми же, обрабатываются один раз и откладываются в сторону. На следующем ходу AI не читает все с нуля, а берет уже готовую заготовку и разбирается только с новым куском (твоим последним сообщением). Он не режет лук заново. Он тянется к миске, где нарезанный лук уже ждет.

Ты замечаешь это двумя способами:

1. Ответы приходят быстрее. Меньше перечитывать — меньше времени смотреть на маленькие точки "думаю".
2. Это дешевле. Если ты используешь AI через API, переиспользованная заготовка стоит долю от свежего текста. Примерно десятую часть цены за закэшированный фрагмент.

Но есть нюанс: заготовка не лежит на столе вечно. Отошел надолго — кухня ее выбросила. Вернулся позже — лук снова режут с нуля, по полной цене. (Обычно заготовка живет несколько минут бездействия, так что быстрый обмен туда-сюда продолжает ее переиспользовать.)

Урок, если ты что-то строишь: клади большие стабильные материалы наверх и не трогай их.

• Длинные инструкции, справочный документ, правила: сложи их сверху и оставь как есть.
• То, что меняется (сам вопрос), идет вниз.

Почему порядок важен? Заготовка держится только пока ничего над ней не сдвинулось. Поменяй одно слово ближе к началу, и AI придется заново нарезать все ниже, потому что лук под ним уже не тот же самый лук. Держи стабильное стабильным — и сохранишь заготовку.

Большинство приложений делает это за тебя тихо, так что тебе не приходится об этом думать. Все, что ты оставляешь без изменений, — это заготовка, за повтор которой ты не платишь.