Zero-shot, One-shot и Few-shot

Zero-shot — самый простой подход: вы даёте модели только задачу, без каких-либо примеров.

Модель использует только то, что «знает» из предобучения. Это работает, потому что современные LLM обучены на огромных корпусах текста и могут выполнять многие задачи без примеров.

Когда zero-shot работает хорошо

Когда zero-shot недостаточно

One-shot — один пример input-output перед задачей. Иногда одного примера достаточно, чтобы показать паттерн:

One-shot полезен когда:

Few-shot — несколько примеров (обычно 3-8) перед задачей. Brown et al. (2020) показали в GPT-3 paper: few-shot сопоставим с fine-tuning для многих задач.

Модель видит паттерн и применяет его к новому примеру.

Качество few-shot примеров критически важно. Плохо подобранные примеры могут ухудшить результат по сравнению с zero-shot.

Разнообразие

Примеры должны покрывать разные части пространства задачи. Для классификации тональности не стоит давать только позитивные примеры — нужны все классы.

Плохо:

Хорошо:

Репрезентативность

Примеры должны быть похожи на реальные входные данные. Если вы будете классифицировать короткие твиты, не используйте длинные рецензии как примеры.

Формат

Все примеры должны следовать одному формату. Непоследовательный формат сбивает модель:

Плохо:

Хорошо:

Исследования показывают, что порядок few-shot примеров влияет на результат, особенно у малых моделей. Последний пример имеет наибольшее влияние на вывод (recency bias).

Практические рекомендации:

Calibration — проблема, когда few-shot примеры вводят bias: модель начинает предсказывать классы непропорционально часто.

Если в ваших 8 примерах 6 из класса A и 2 из класса B — модель будет предсказывать A намного чаще, даже когда это неправильно.

Решение: балансировать примеры по классам. Даже если в реальных данных дисбаланс — в промпте лучше давать равное количество примеров каждого класса.

Стоимость токенов

Каждый пример занимает место в контекстном окне. 10 примеров по 100 токенов = 1000 токенов дополнительных затрат на каждый запрос.

При 1000 запросов в день это существенно влияет на стоимость. Нужно балансировать: больше примеров → лучше качество, но выше стоимость.

Ограничение контекста

В контекстном окне 128k токенов кажется много, но при RAG + history + few-shot место заканчивается быстро.

Не работает для обучения

Few-shot НЕ обновляет веса модели. Это временный «намёк» — только в рамках одного запроса. Для устойчивого изменения поведения нужен fine-tuning.

Few-shot — хороший старт, но fine-tuning нужен когда: