Агентные системы и ReAct

Обычный LLM-запрос — это одностороннее взаимодействие: пользователь пишет, модель отвечает, готово. Агентные системы разрывают этот паттерн: модель рассуждает, выбирает действие, получает результат, рассуждает снова. Это принципиально другой класс систем.

AI агент — это система, в которой языковая модель выступает "мозгом", принимающим решения в цикле. Классическая триада:

Цикл повторяется до достижения цели или исчерпания лимита итераций. Ключевое отличие от обычного LLM-вызова: агент сам определяет, сколько шагов нужно и какие инструменты использовать.

Примеры агентных задач:

ReAct (Reasoning + Acting) — промпт-фреймворк, предложенный Yao et al. (2022), который структурирует работу агента через явные фазы рассуждения и действия. Аббревиатура одновременно означает "Reasoning + Acting" и "react" как реакцию на обратную связь.

Формат ReAct строится вокруг трёх типов высказываний:

Этот цикл повторяется, пока агент не достигнет финального ответа.

Ответ агента:

Явное разделение Thought/Action/Observation делает рассуждения модели прозрачными и позволяет дебаггинг: видно, где агент ошибся в рассуждении.

Инструменты (tools) — это функции, которые агент может вызывать. Каждый инструмент должен быть описан так, чтобы модель понимала когда и как его использовать.

Шаблон описания инструмента:

Качество описания инструментов критически влияет на работу агента. Плохое описание приводит к неправильному выбору инструмента или некорректным параметрам.

Принципы описания инструментов:

Сложные задачи требуют предварительного плана. Агент без явной инструкции к планированию склонен "прыгать" к первому приходящему действию.

Промпт с явным планированием:

Пример разбивки задачи "Проанализируй продажи за квартал и создай отчёт":

Plan-and-Execute агенты делают планирование отдельным LLM-вызовом, а выполнение отдельным. Это позволяет использовать более дорогую модель для планирования и дешёвую для исполнения.

В сложных задачах один агент не справляется: слишком длинный контекст, слишком разные специализации. Multi-agent архитектура решает это через разделение ролей.

Оркестратор (Manager Agent, Supervisor) — главный агент, который:

Специализированные агенты (Worker Agents) — агенты с ограниченными, но глубокими возможностями:

Промпт оркестратора:

Понимание истории помогает видеть, почему текущие подходы устроены именно так.

MRKL (Modular Reasoning, Knowledge and Language) — один из первых фреймворков (Karpas et al., 2022). Идея: LLM как роутер, направляющий запросы к специализированным модулям (калькулятор, база данных, поисковик). MRKL показал, что LLM хорошо справляется с задачей "какой инструмент нужен", даже если сам не может выполнить вычисление.

Toolformer (Schick et al., 2023) — подход, при котором модель обучается самостоятельно вставлять API-вызовы в генерируемый текст. Модель решает, когда и какой инструмент использовать, прямо в процессе генерации. Pioneered идею self-supervised learning для tool use.

HuggingGPT / Jarvis (Shen et al., 2023) — оркестратор поверх ChatGPT, делегирующий задачи специализированным моделям HuggingFace. Показал масштабируемость multi-agent подхода: один LLM управляет сотнями моделей для обработки текста, изображений, аудио.

Каждая из этих систем внесла ключевую идею: LLM — это планировщик, а не исполнитель. Лучшие результаты получаются, когда рутинные операции выполняют детерминированные инструменты.

Агенты — значительно менее надёжные системы, чем обычные LLM-запросы. Два класса ошибок особенно критичны.

Зацикливание (Agent Loop)

Агент повторяет одно и то же действие снова и снова, не продвигаясь к цели. Причины:

Пример:

Галлюцинаторные действия (Hallucinated Actions)

Агент вызывает инструменты, которых не существует, или передаёт невалидные параметры. Это происходит, когда список инструментов плохо описан или задача выходит за пределы доступных возможностей.

Пример: агент вызывает send_email(to="user@example.com"), хотя инструмент send_email не определён в системе.

Агенты требуют явных механизмов контроля — без них автономная система может нанести вред или работать бесконечно.

Max iterations — жёсткий лимит числа шагов:

Это предотвращает зацикливание и контролирует расходы (каждый LLM-вызов стоит денег).

Confirmation loops — запрос подтверждения перед необратимыми действиями:

Escalation policy — что делать при неопределённости:

Sandboxing — ограничение прав инструментов на уровне инфраструктуры, не промптов. Агенту с доступом к выполнению кода нужна изолированная среда. Промптинг не заменяет sandbox — обученная на adversarial примерах модель может игнорировать текстовые ограничения. Контроль агента должен быть многоуровневым: промпт + инфраструктурные ограничения.