流式响应结束才知道实际费用,多请求并发且剩余额度不足时如何防止超支?
暂无参考答案
未标记
本题目录
相关面经
1 篇亚信安全
Agent 开发工程师(AI Native 工具)秋招一面
那预算怎么管理呢?你调一次大模型,只有等流式返回结束之后才能知道本次的实际消耗。比如现在十个并发过来了,这十个都还没达到最终的额度消耗;假设当前只剩一块钱额度,单个看每个请求都在额度内,但十个都放行就超额了。这个你会怎么设计?
暂无参考答案
那预算怎么管理呢?你调一次大模型,只有等流式返回结束之后才能知道本次的实际消耗。比如现在十个并发过来了,这十个都还没达到最终的额度消耗;假设当前只剩一块钱额度,单个看每个请求都在额度内,但十个都放行就超额了。这个你会怎么设计?