如何构建 chosen/rejected 偏好对，模型答案优于标注答案时如何处理？

知识专题：偏好对齐题目类型：方案设计技术难度：进阶相关面经：1 篇

暂无参考答案

未标记

本题目录

相关面经

1 篇

深信服

大模型算法工程师（模型微调）

2026-06-19实习

查看原面经 →

样本对choose，rejected的构建，会不会出现模型结果比真实回答更好的情况？