ChatGPT учился не только на текстах, но и на человеческих оценках
Когда языковая модель просто изучает огромный массив текстов из интернета, она учится продолжать текст наиболее вероятным способом. Для нормального диалога этого недостаточно. Пользователь хочет получить конкретный результат: правильный ответ, рабочий код, понятное объяснение или безопасную рекомендацию.
Именно здесь появился RLHF, или Reinforcement Learning from Human Feedback. В переводе с инглиша это обучение с подкреплением на основе человеческой обратной связи.
Упрощённо процесс можно представить так:
Тексты из интернета → базовая языковая модель → человеческие примеры → Reward Model → обучение с подкреплением → модель, лучше подстраивающаяся под запросы человека
Из чего состоит RLHF
В описанном OpenAI подходе обучение проходило через 3 основных этапа:
- SFT. Люди показывают модели примеры хороших ответов. Модель учится следовать инструкциям.
- Reward Model. Люди сравнивают несколько ответов и ранжируют их. Отдельная модель учится предсказывать человеческие предпочтения.
- RL. Языковая модель получает оценки Reward Model и корректируется. Ответы постепенно приближаются к желаемому поведению.
Первый этап технически не относится к самому RLHF. SFT, Supervised Fine Tuning, представляет собой обычное обучение с учителем. Новая часть начинается с модели вознаграждения.
Человек превращает «хороший ответ» в число
Главная проблема здесь довольно простая. Нельзя написать универсальную формулу для понятия «хороший ответ».
Для одного запроса важна точность. Для другого нужна креативность. В программировании главным критерием может быть работоспособность кода. Поэтому вместо одной жёсткой формулы OpenAI использовала человеческие оценки.
Разметчики получали несколько вариантов ответа и определяли, какой из них лучше. На основе этих сравнений обучалась Reward Model.
Схема выглядит так:
Запрос → несколько ответов → человек выбирает лучший → оценки превращаются в обучающие данные → Reward Model учится предсказывать выбор человека
После этого уже не требуется привлекать человека для каждой новой генерации. Reward Model сама выставляет численную оценку ответу. Возникает важный сдвиг: машина получает возможность оптимизировать не просто вероятность следующего слова, а показатель, связанный с человеческими предпочтениями.
Что происходит на третьем этапе
После подготовки Reward Model начинается обучение с подкреплением.
Упрощённая схема:
Запрос → Language Model → ответ → Reward Model → вознаграждение → обновление модели
В исходном подходе OpenAI использовался алгоритм PPO, Proximal Policy Optimization.
При этом модель нельзя просто заставлять максимально повышать оценку Reward Model. Иначе она может начать находить странные способы получать высокий балл и постепенно уходить от нормального языка.
Поэтому используется дополнительное ограничение.
| Компонент | Задача |
|---|---|
| Language Model | Генерирует ответ |
| Policy | Версия модели, которую сейчас обучают |
| Reward Model | Оценивает качество ответа |
| PPO | Обновляет Policy |
| KL penalty | Ограничивает слишком сильное отклонение от исходной модели |
KL penalty нужен для контроля дистанции между исходной моделью и новой Policy. Без такого ограничения оптимизация могла бы увести модель слишком далеко от нормального распределения текста.
В результате получается цикл:
Ответ → оценка → штраф за слишком сильное отклонение → обновление → новый ответ
И так повторяется множество итераций.
Почему просто GPT 3 было недостаточно
GPT 3 уже умела достаточно убедительно продолжать человеческий текст. Но модель, обученная на интернете, не знает автоматически, какой ответ пользователь считает полезным.
Можно получить грамматически идеальный текст, который:
- не отвечает на вопрос;
- содержит ошибочный факт;
- игнорирует инструкцию;
- даёт небезопасный совет;
- слишком многословен;
- не соответствует нужному формату.
RLHF добавил в эту систему ещё один источник информации: человеческое предпочтение между вариантами ответа.
Именно поэтому переход от обычной языковой модели к ассистенту оказался гораздо важнее простого увеличения количества обучающих текстов.
Роль реальных людей в этой схеме
В исходном материале упоминаются несколько типов человеческой разметки.
| Задача | Что делали люди |
|---|---|
| Токсичность | Размечали вредный и нежелательный контент |
| Программирование | Анализировали код, ошибки и способы их исправления |
| Диалоги | Создавали примеры хороших ответов |
| Сравнение ответов | Расставляли варианты от лучшего к худшему |
Для работы с токсичностью OpenAI, согласно опубликованным сообщениям, привлекала работников из Кении. В статье Time, на которую ссылается исходный материал, указывается оплата около $2 в час.
Для программирования привлекались разработчики, которые должны были не только исправлять ошибки, но и объяснять словами ход решения.
Получается довольно необычная конструкция: за внешней «человечностью» нейросети стоит большое количество человеческой ручной работы.
Что RLHF улучшает
В исходном материале выделяются три ключевых направления оценки:
| Показатель | Что проверяется |
|---|---|
| Полезность | Следует ли модель инструкциям и решает ли задачу |
| Правдивость | Насколько модель склонна выдумывать факты |
| Безопасность | Насколько часто появляются вредные или токсичные ответы |
Но здесь есть важная оговорка. Улучшение одних характеристик может сопровождаться ухудшением других.
В исходном исследовании отмечалось, что после применения SFT и RLHF некоторые результаты на традиционных zero shot NLP задачах, включая question answering, reading comprehension и summarization, могли быть хуже, чем у GPT 3.
То есть обучение модели отвечать так, как хочет человек, способно менять её поведение и в задачах, где человеческий стиль ответа вообще не был главной целью.
Главная слабость RLHF
У RLHF есть фундаментальная проблема: люди сами не имеют единого набора предпочтений.
Представим три группы пользователей:
- один требует максимально короткого ответа;
- второй хочет подробное объяснение;
- третий предпочитает несколько вариантов решения.
Какой ответ считать лучшим?
Если все эти оценки смешать в одну Reward Model, модель будет учиться усреднённому представлению о желательном ответе.
Есть и другие источники субъективности:
- кто именно участвовал в разметке;
- какие запросы попали в обучающую выборку;
- какие инструкции получили разметчики;
- какие критерии использовались при сравнении;
- насколько хорошо Reward Model понимает смысл текста.
Особенно интересен последний пункт. Два ответа могут сообщать практически одно и то же, но быть написаны разными словами. Если Reward Model чувствительна к формулировке, она способна оценить их по-разному.
Цикл RLHF в 7 шагах
- Человек оценивает ответы
- Модель учится понимать эти оценки
- Создаётся Reward Model
- Основная модель получает оценку
- PPO корректирует её поведение
- Модель снова генерирует ответы
- Цикл повторяется
В этой схеме и находится главный смысл RLHF. Человек не программирует каждое правило поведения вручную. Он создаёт примеры и оценки, а модель пытается обнаружить закономерность в этих предпочтениях.
Почему это важно сегодня
RLHF стал одним из ключевых методов, который позволил превратить языковую модель из генератора текста в более управляемого ассистента.
Но слово «человечность» здесь легко вводит в заблуждение. Модель не начинает понимать человеческие ценности так, как понимает их человек. Она обучается воспроизводить закономерности в человеческих оценках.
Одновременно появляется и сильная сторона, и ограничение этого метода.
Чем качественнее человеческая обратная связь, тем лучше модель может подстраиваться под нужный тип поведения. Но ошибки, перекосы и субъективность этой обратной связи тоже могут попасть внутрь модели.
Поэтому RLHF можно представить как своеобразный слой настройки между огромным массивом текстов и пользователем. Интернет даёт модели язык. Человеческие оценки объясняют, какие варианты поведения считаются предпочтительными. А обучение с подкреплением заставляет модель постепенно двигаться в эту сторону.
