RLHF/PPO 中 Actor、Critic、Reward Model 和 Reference Model 的职责是什么，为什么需要 KL 约束？

PPO/RLHF 里 Actor、Critic、Reward Model、Reference Model 分别做什么，为什么要 KL 约束

-PPO 里的 policy model、reference model、reward model、value model 什么作用？