Галлюцинация

У нас с женой есть термин для определенного типа людей: CBR. Confident But Wrong.

Ты знаешь этот типаж. Человек объясняет тебе дорогу с полной уверенностью, без тени сомнения, а ресторан, в который он тебя отправляет, закрылся двенадцать лет назад.

Вот это и есть AI-галлюцинация.

Модель не ищет информацию так, как ты гуглишь. Она предсказывает самый уверенно звучащий ответ, кусочек за кусочком. Когда ответ у нее есть, уверенность заслуженная. Когда ответа нет, она обычно не останавливается и не говорит об этом. Она генерирует что-то, что выглядит как правильный ответ. Правдоподобно. Подробно. Конкретно. Неверно.

Поэтому это так коварно. Галлюцинация не выглядит как ошибка. Она выглядит как ответ, тем же спокойным голосом, которым модель говорит все правдивое. Фейковая ссылка сидит рядом с настоящей в той же одежде.

Момент, когда у меня щелкнуло: я попросил точное название Shopify metafield в моем собственном магазине. Модель дала название, которое выглядело идеально. Правильный формат, правильные слова, ровно такая штука, которую я сам бы написал. Его не существовало. Я нигде его не записывал, и модель просто придумала то, что звучало правильно. (Юристы делали то же самое с судебными делами и получали штрафы на тысячи. Тот же трюк, ставки выше.)

Так что решение простое: проверяй все, что важно. Названия, цифры, цитаты, "ты правда это сделал?". Если неверный ответ будет стоить тебе денег или репутации, проверь сам.

Это не значит, что инструмент сломан. Это значит, что с ним нужно обращаться как с блестящим, быстрым, слегка самоуверенным стажером. Ты бы не отправил исследование стажера клиенту, даже не взглянув. Здесь та же логика.

CBR. Confident But Wrong. Теперь ты будешь видеть это везде: и в AI, и в людях.