Структурированный вывод

Языковые модели по природе своей генерируют свободный текст. Но большинство реальных приложений — от парсеров резюме до агентов автоматизации — нуждаются в предсказуемой структуре данных, которую можно надёжно обработать программно. Структурированный вывод — это набор техник и инструментов, которые позволяют получать от LLM данные в заданном формате.

Представьте задачу: извлечь из неструктурированного текста вакансии список требуемых навыков, зарплатный диапазон и тип занятости. Если модель вернёт связный текст, вам придётся парсить его с помощью регулярных выражений или дополнительных эвристик — и это ненадёжно. Стоит модели изменить формулировку, и парсер сломается.

Структурированный вывод решает эту проблему: модель возвращает данные в формате JSON, XML или YAML, которые программа может обработать напрямую. Это критично для:

Самый простой способ — явно попросить в промпте:

Добавление "верни только JSON без дополнительного текста" — важная деталь. Без неё модели часто оборачивают JSON в объяснения вроде "Вот результат:" или добавляют markdown-блоки с ```json.

Самый базовый подход — явно описать ожидаемый формат:

Более надёжный вариант — показать пример целевого JSON:

Few-shot примеры значительно повышают точность соблюдения формата, особенно для сложных вложенных структур.

OpenAI и Anthropic предоставляют специальные механизмы на уровне API:

OpenAI JSON mode:

JSON mode гарантирует, что ответ будет валидным JSON-объектом, но не контролирует его схему.

OpenAI Structured Outputs (более строгий вариант):

Constrained decoding работает на уровне генерации токенов: модель в каждый момент может выбирать только те токены, которые соответствуют грамматике JSON (или заданной схеме). Это гарантирует структуру на математическом уровне, а не просто "просит" модель соответствовать ей.

Когда вы просите JSON только через промпт (без JSON mode или constrained decoding), возникает ряд типичных проблем:

Hallucinated fields — модель добавляет поля, которых не было в схеме:

Поле years_required не запрашивалось, но модель "решила", что оно полезно.

Wrong types — числа в виде строк, булевы как "yes"/"no":

Trailing text — текст после JSON:

Невалидный JSON — незакрытые скобки, одинарные кавычки вместо двойных, trailing commas.

Nested structure errors — при глубокой вложенности модель нередко теряет структуру или смешивает уровни.

Популярный паттерн в Python: описать схему через Pydantic и передать её описание в промпт.

Это даёт немедленную валидацию и правильную типизацию. Если модель вернёт невалидные данные — Pydantic выбросит исключение, которое можно обработать и повторить запрос.

XML исторически хорошо знаком языковым моделям по обучающим данным (HTML, XML документация). Anthropic активно использует XML-теги в промптах для Claude:

XML удобен для потоковой обработки (streaming) — можно начать обработку до получения полного ответа.

YAML используют реже, но он удобен для конфигурационных данных и более читаем при работе с вложенными структурами. Минус — модели чаще ошибаются с отступами.

В большинстве случаев предпочтителен JSON как стандарт де-факто для API и самый распространённый формат в обучающих данных.

Function Calling (OpenAI) и Tool Use (Anthropic) — это специальный механизм API, при котором модель вместо текстового ответа "вызывает функцию" с типизированными аргументами.

Ключевые отличия Function Calling от "верни JSON":

Надёжная система работы с LLM всегда включает обработку ошибок парсинга:

Паттерн "retry с ошибкой" — эффективный способ получить валидный ответ: вы возвращаете модели её ответ + описание ошибки парсинга, и она, как правило, исправляет проблему.