Chain-of-Thought промптинг

Chain-of-Thought (CoT) промптинг был систематически описан в работе Wei et al. (2022) «Chain-of-Thought Prompting Elicits Reasoning in Large Language Models».

Ключевая идея: вместо того чтобы просить модель сразу дать ответ, попросить её показать промежуточные шаги рассуждения.

Сравните:

На простых задачах разницы нет. На сложных многошаговых задачах CoT резко улучшает точность.

Модель генерирует токены последовательно

LLM предсказывают следующий токен на основе всего предыдущего контекста. Когда модель пишет промежуточный шаг рассуждения, этот шаг становится частью контекста для следующего шага. То есть промежуточные вычисления буквально видны модели при генерации ответа.

Аналог System 2 thinking

В психологии System 1 — быстрое, интуитивное мышление. System 2 — медленное, аналитическое. CoT заставляет модель «работать в System 2 режиме», явно прорабатывая каждый шаг.

Emergence

CoT значительно эффективнее на больших моделях (>100B параметров). На малых моделях промежуточные шаги могут быть неправильными и вести к неверным ответам. Это «emergent ability» — способность возникающая только при определённом масштабе.

Классический подход: включить несколько примеров с цепочками рассуждений.

Kostis et al. (2022) обнаружили, что простое добавление фразы «Let's think step by step» (или «Давай рассуждать пошагово») активирует CoT без примеров.

Фразы-активаторы Zero-shot CoT:

Zero-shot CoT проще применять, не требует примеров, но менее управляем чем few-shot CoT — вы меньше контролируете формат рассуждения.

Разработан для задач, которые трудно решить напрямую. Подход: сначала попросить модель разложить задачу на подзадачи, затем решить их последовательно.

Шаг 1 — декомпозиция:

Шаг 2 — последовательное решение:

Least-to-Most особенно эффективен для: написания кода, решения составных задач, планирования.

Auto-CoT автоматически генерирует цепочки рассуждений вместо ручного написания примеров. Алгоритм Zhang et al. (2022):

Преимущество: не нужно вручную писать рассуждения для примеров. Недостаток: авто-сгенерированные рассуждения могут содержать ошибки (хотя обычно достаточно хороши).

Абстрагирование перед решением. Вместо прямого ответа на вопрос — сначала задать более общий вопрос, получить на него ответ, затем применить к конкретному случаю.

Галлюцинации в цепочке

Промежуточные шаги могут быть неправильными, но звучать правдоподобно. Модель может «доказать» неправильный ответ через красивую, но ошибочную цепочку.

Зависимость от размера модели

CoT значительно эффективнее на больших моделях. На GPT-3.5 и слабее разница между CoT и без него меньше.

Стоимость токенов

Цепочка рассуждений занимает место — output токены дороже input. На больших объёмах это увеличивает стоимость.

Не для всех задач

CoT лучше всего работает для: математики, логических задач, multi-step рассуждений, планирования. Для простой классификации, извлечения фактов, перевода — CoT может не помочь или замедлить работу.