流式响应结束才知道实际费用,多请求并发且剩余额度不足时如何防止超支?

暂无参考答案

未标记

本题目录

相关面经

1

亚信安全

Agent 开发工程师(AI Native 工具)
秋招一面
查看原面经 →
追问
那预算怎么管理呢?你调一次大模型,只有等流式返回结束之后才能知道本次的实际消耗。比如现在十个并发过来了,这十个都还没达到最终的额度消耗;假设当前只剩一块钱额度,单个看每个请求都在额度内,但十个都放行就超额了。这个你会怎么设计?

相关题目

4