Предсказание следующего токена

⏱️ Примерное время: ~12 минут · 🎯 Урок 4 курса «Возможности и ограничения ИИ» · 🎬 видео

Чему вы научитесь

Примерное время: 30 минут

К концу этого урока вы сможете:

Объяснять предсказание следующего токена как основной механизм генеративного ИИ и понимать, почему именно он порождает и беглость речи, и галлюцинации
Размещать задачи на континууме предсказания следующего токена (проторённая дорожка против неизведанной территории)
Распознавать конкретику (имена, даты, ссылки, статистику) как зону, где концентрируются выдумки
Узнавать в продуктовых функциях (ссылки на источники, сигналы неуверенности, ограниченная генерация, схема «генератор — проверяющий») средства, смягчающие это ограничение

Как ИИ-модели используют предсказание следующего токена

(4 минуты)

Генеративный ИИ ближе к чрезвычайно изощрённому автодополнению, чем к поисковой системе. Он пишет ответы слово за словом, опираясь на то, что обычно следует за чем. Это единственное свойство даёт вам сразу и беглость, и галлюцинации.

Автодополнение в масштабе

Прежде чем читать

Вы просите ИИ обобщить длинный отчёт. Насколько тщательно вам нужно проверять результат? Выберите точку на континууме и зафиксируйте свою догадку.

Выберите точку остановки и зафиксируйте свою догадку. Урок раскроется, как только вы это сделаете.

Проверьте свою интуицию

Зафиксируйте свою догадку выше, чтобы сравнить её с типичным размещением.

Настройте под себя

Ключевые выводы

Предсказание следующего токена означает, что генеративный ИИ пишет ответы слово за словом, опираясь на то, что обычно следует за чем. Зона возможностей: задачи, напоминающие паттерны, которые модель видела много раз (резюмирование, переформатирование, объяснение распространённых понятий). Зона ограничений: новая или скудно представленная территория, а также всё, где задача требует отличать «истинное» от «звучащего правдоподобно». Выдумки концентрируются в конкретике: имена, даты, статистика, ссылки, URL, цитаты. Чем точнее утверждение, тем больше оно требует проверки. Продуктовые функции — ссылки на источники, сигналы неуверенности, ограниченная генерация и циклы «генератор — проверяющий» — существуют именно для того, чтобы отодвинуть это ограничение ещё дальше.
Зона возможностей: задачи, напоминающие паттерны, которые модель видела много раз (резюмирование, переформатирование, объяснение распространённых понятий).
Зона ограничений: новая или скудно представленная территория, а также всё, где задача требует отличать «истинное» от «звучащего правдоподобно».
Выдумки концентрируются в конкретике: имена, даты, статистика, ссылки, URL, цитаты. Чем точнее утверждение, тем больше оно требует проверки.
Продуктовые функции вроде ссылок на источники, сигналов неуверенности, ограниченной генерации и циклов «генератор — проверяющий» существуют именно для того, чтобы отодвинуть это ограничение ещё дальше.
Связь с 4D: предсказание следующего токена — основа Различения. Понимание того, что результат был *сгенерирован*, точно подсказывает, какого рода проверку к нему стоит применить.

Упражнения

Упражнение: проверка на верификацию

Зачем? Теперь вы знаете, что один и тот же генеративный процесс, делающий ИИ беглым, — это тот же процесс, который заставляет его выдумывать. Пора увидеть это на собственном поле, в области, где вы это поймаете.

Вернитесь к своему списку задач и выберите ту, в которой вы наиболее уверены благодаря своей экспертизе. Вам нужна тема, где вы — эксперт, потому что вы должны иметь возможность проверить то, что вернётся. Выпишите пять конкретных, проверяемых фактов из этой области: должность человека, дату публикации, статистику, характеристику продукта, прямую цитату, URL. То, что вы знаете как точное и можете подтвердить независимо.

Теперь проведите три пробы:

Проба 1: зона возможностей. Попросите ИИ объяснить или обобщить хорошо известное понятие из вашей области. Что-то популярное и хорошо задокументированное. Отметьте беглость. Выборочно проверьте содержание. Вот как ощущается зона возможностей: гладко, уверенно и в основном точно.
Проба 2: конкретика под давлением. Попросите ИИ привести пять проверяемых деталей из вашей области: сослаться на три источника, назвать автора, дать точные цифры, предоставить URL. Проверьте каждую. Оцените по пятибалльной шкале: сколько было полностью точными? Если он выдумывает, отметьте, насколько уверенно он при этом звучал.
Проба 3: сэмплирование в действии. Запустите тот же самый запрос о конкретных фактах в новом разговоре. Сравните два ответа. Что осталось неизменным? Что изменилось? Разброс, который вы видите, — это работа сэмплирования предсказания следующего токена.

Дополнительная цель: повторите Пробу 2 в инструменте с включёнными ссылками на источники (например, в режиме исследования Research в Claude). Оцените снова. Меняет ли наличие источников для проверки оценку?

Размышления по уроку

Поймали бы вы выдумки в области, которую плохо знаете?
Посмотрите на свой список задач: какие задачи лежат в основном в зоне возможностей, а какие уходят в конкретику, требующую проверки?

Что дальше

Предсказание следующего токена объясняет, *как* ИИ генерирует. Дальше мы рассмотрим, *из чего* он генерирует: свойство Знания. Что модель на самом деле знает, откуда берётся это знание и где находятся пробелы?

Обратная связь

По мере прохождения курса нам будет очень интересно узнать, как вы применяете концепции курса в своей работе, а также любые отзывы, которые у вас есть. Поделитесь своей обратной связью здесь.

Благодарности и лицензия

Copyright 2026 Anthropic. Оригинальная работа основана на фреймворке AI Fluency, разработанном проф. Риком Дэйканом (Ringling College of Art and Design) и проф. Джозефом Феллером (University College Cork). Выпущено под лицензией CC BY-NC-SA 4.0.