限制维度
| 维度 | 含义 |
|---|---|
| RPM(Requests Per Minute) | 每分钟最大请求数 |
| TPM(Tokens Per Minute) | 每分钟最大 Token 数(prompt + completion) |
| 并发 | 同一时间允许的最大未完成请求数 |
| 日额度(可选) | 单日最大消耗金额(企业账号可选启用) |
默认上限
不同 用户分组 拥有不同上限,常见配置:| 分组 | RPM | TPM | 并发 |
|---|---|---|---|
default | 200 | 200,000 | 16 |
vip | 1,000 | 1,000,000 | 64 |
svip | 5,000 | 5,000,000 | 256 |
enterprise | 协商 | 协商 | 协商 |
响应头
每个 API 响应都会带:| Header | 含义 |
|---|---|
X-RateLimit-Limit-Requests | 当前 RPM 上限 |
X-RateLimit-Remaining-Requests | 本分钟剩余请求数 |
X-RateLimit-Reset-Requests | 距离重置秒数 |
X-RateLimit-Limit-Tokens | 当前 TPM 上限 |
X-RateLimit-Remaining-Tokens | 本分钟剩余 Token |
X-RateLimit-Reset-Tokens | 距离重置秒数 |
触发限流
超过上限时返回429 rate_limit_exceeded:
Retry-After: 12 给出建议重试时间。
推荐处理
指数退避
1s → 2s → 4s → 8s → 16s,封顶 30s。
客户端限速
在本地维护漏桶 / 令牌桶,提前控制 QPS。
批量合并
短消息合并到同一次请求,降低 RPM 压力。
提示缓存
重复前缀走缓存,降低实际 TPM 占用。
调高上限
如业务确有需求,可以通过以下方式提升:- 充值升级到 VIP / SVIP:自动获得更宽松配额。
- 企业自定义配额:商务通道申请专属 RPM / TPM / 并发。
- 专用通道:对特定模型绑定独立上游账号,容量隔离。