🔄Процесс RLHF
1) SFT: fine-tuning на диалогах (InstructGPT). 2) Reward Model: люди ранжируют ответы, модель учится предсказывать предпочтения. 3) PPO: оптимизация политики по reward model. Constitutional AI (Anthropic): RL from AI Feedback + принципы. DPO (2023): прямая оптимизация без RM.
📖6 мин чтения📊Уровень 7📅19 февраля 2026 г.
🗺️ Mind Map
Загрузка карты...
❓Часто задаваемые вопросы
Процесс RLHF — это тема о правилах, механизмах и практиках в своей области. Она помогает понять, как принимаются решения и к каким последствиям они приводят.