大模型应用开发 · 工程实践
调用模型接口时怎样设置超时和重试？
先自己想一想，再看参考要点
参考要点
- 非流式请求的总超时要大于 TTFT + 最大输出 Token 数 × TPOT，例如 1000 个 Token、30 毫秒时要 30 多秒
- 流式请求分别设首 Token 超时、间隔超时和总时长上限，心跳不算内容
- 429、5xx、超时可以重试，400、401 直接失败，按指数退避加随机抖动、遵守 Retry-After，次数设上限且只在一层重试
学习站：先用面试题自评定级，按水平和面试日期排出每天的计划，自评过的题按间隔复习。免费、无需注册，记录只保存在自己的浏览器中。