Agent开发面试题(附链接版

整理者 摸鱼酱mio查看原题集 ↗

题目目录

168 道原题
  1. 如何防止 Agent 被用于生成有害内容或被恶意用户滥用?

    原题
  2. 数据隐私保护(如用户对话数据不出境、PII 脱敏)在 Agent 系统中如何落地?

    原题
  3. Braintrust / LangSmith / Weave / PromptFoo 这类 eval 平台解决了什么核心问题?选型时如何权衡?

    原题
  4. 如何设计 LLM-as-Judge 评测?Judge Prompt 如何防止位置偏差(position bias)和自我偏好(self-preference)?

    原题
  5. Eval dataset 的构建策略有哪些?如何从生产流量中自动挖掘高价值测试用例?

    原题
  6. 如何为 Agent 的多步执行设计 trajectory-level eval(不只评估最终输出,而是评估整条执行路径)?

    原题
  7. 如何设计 regression test suite,确保每次 Prompt 修改或模型升级不引入退化?

    原题
  8. Benchmark 过拟合问题(Benchmark contamination / Goodhart's Law)在 Agent eval 中如何规避?

    原题