Температура

В каждой AI-песочнице есть один ползунок, который решает, будет твой AI вести себя как застегнутый на все пуговицы бухгалтер или как джазовый музыкант. Большинство людей его не трогают, потому что им никто не объяснил, что он делает.

Помнишь токены, маленькие кирпичики, из которых AI строит текст? AI работает так: предсказывает следующий кирпичик. Из всех слов, которые могли бы пойти дальше, у него есть рейтинг вероятности для каждого. Температура — это ползунок, который задает, насколько смело он выбирает из этого рейтинга.

Ручка рецепта у шефа. Представь повара с регулятором от "следовать рецепту точно" до "импровизировать".

• Поверни его вниз (к нулю), и повар будет следовать рецепту до грамма, каждый раз беря самое вероятное следующее слово. Предсказуемо, стабильно, немного скучно. Задашь один и тот же вопрос дважды — получишь почти один и тот же ответ дважды.
• Поверни его вверх, и повар начнет импровизировать: иногда будет тянуться не к очевидному слову, а к менее вероятному. Больше неожиданности, больше творчества, больше разнообразия, и выше шанс, что его занесет и он скажет что-то странное.

Так что температура — это ползунок между креативностью и стабильностью. Она не делает AI умнее или глупее. Она меняет то, насколько дерзко он выбирает из того, что уже знает.

Куда крутить и когда — самая полезная часть:

• Низко для всего, где тебе нужен один и тот же правильный ответ каждый раз: вытащить данные, классифицировать, извлечь число из документа, написать код или выдать что-то, что следующая машина будет читать как строгий JSON. Не надо, чтобы считыватель счетов внезапно вдохновился.
• Высоко для всего, где тебе нужны разнообразие и сюрпризы: придумать названия, набросать десять разных хуков, покрутить углы подачи, написать креативный текст. Подкрутить ручку вверх — это способ перестать получать один и тот же безопасный ответ при каждом повторе.

Ловушка, в которую падают почти все: они ругают "AI" за повторы, хотя надо было повернуть температуру вверх, или ругают его за то, что он поехал не туда и начал выдумывать, хотя надо было повернуть ее вниз. Все это время дело было в ручке. И вот связь с галлюцинациями. Высокая температура делает галлюцинации более вероятными, потому что "потянуться к менее очевидному слову" — ровно тот момент, когда модель съезжает от правды.

Это вторая штука, на которую ты постоянно будешь натыкаться в песочнице API. Лимит запросов — это то, чему ты подчиняешься. Температура — то, что ты настраиваешь. Большинство чат-приложений ее прячут и тихо выбирают для тебя разумную середину. Но как только ты собираешь что-то сам, это первая ручка, которую стоит понять.

Температура — ручка импровизации. Вниз, если нужен один и тот же правильный ответ каждый раз. Вверх, если нужны десять разных ответов. Подбирай положение под задачу.