Продвинутые техники рассуждения

Chain-of-Thought — линейная цепочка. Tree of Thoughts (Yao et al., 2023) превращает её в дерево: модель генерирует несколько ветвей рассуждения и оценивает их качество.

Аналогия: шахматный движок не идёт по первому найденному ходу — он перебирает варианты и выбирает лучший.

Алгоритм ToT

Когда использовать ToT

Стоимость: ToT значительно дороже CoT — N ветвей × глубина дерева запросов.

Yhe et al. (2022) показали, что можно улучшить CoT без изменения промпта: запустить модель несколько раз с одним и тем же промптом и взять мажоритарный ответ.

Принцип

Почему работает

Каждый прогон генерирует разный «путь рассуждения» (разные токены семплируются при temperature > 0). Правильные пути ведут к правильному ответу. Неправильные пути разнообразны — у каждого своя «ошибка». Мажоритарное голосование нивелирует случайные ошибки.

Параметры

Shinn et al. (2023) предложили агентный подход: модель оценивает свой собственный ответ и итерирует его.

Цикл Reflexion

Пример в контексте написания кода

Ключевое: рефлексия хранится в отдельной «памяти» и используется в следующей итерации, а не просто добавляется к текущему контексту.

Liu et al. (2022): перед ответом на вопрос попросить модель сгенерировать релевантные факты.

Когда эффективно: вопросы требующие специфических знаний, которые модель «знает» но не активирует напрямую.

Li et al. (2023): вместо детальных инструкций давать модели «подсказку» (hint) которая направляет генерацию в нужную сторону.

Подсказки направляют модель без жёстких ограничений. Полезно когда нужно контролировать содержание, но не структуру ответа.

Стоимость и задержка

ToT и Self-Consistency умножают количество API-вызовов. При 20 прогонах Self-Consistency стоимость вырастает в 20 раз. В production нужно балансировать качество и стоимость.

Галлюцинации не исчезают

Ни одна техника не решает проблему галлюцинаций полностью. Self-Consistency снижает их частоту, но не устраняет.

Размер модели

Как и CoT, продвинутые техники работают значительно лучше на больших моделях.