> ## Documentation Index
> Fetch the complete documentation index at: https://docs.openp.ai/llms.txt
> Use this file to discover all available pages before exploring further.

# 速率限制

> RPM / TPM 限流、并发上限与 429 处理

OpenPAI 在网关侧对每个用户 / 令牌 / 模型设置了多维速率限制,保障稳定性与公平使用。

## 限制维度

| 维度                       | 含义                                 |
| ------------------------ | ---------------------------------- |
| RPM(Requests Per Minute) | 每分钟最大请求数                           |
| TPM(Tokens Per Minute)   | 每分钟最大 Token 数(prompt + completion) |
| 并发                       | 同一时间允许的最大未完成请求数                    |
| 日额度(可选)                  | 单日最大消耗金额(企业账号可选启用)                 |

## 默认上限

不同 **用户分组** 拥有不同上限,常见配置:

| 分组           | RPM   | TPM       | 并发  |
| ------------ | ----- | --------- | --- |
| `default`    | 200   | 200,000   | 16  |
| `vip`        | 1,000 | 1,000,000 | 64  |
| `svip`       | 5,000 | 5,000,000 | 256 |
| `enterprise` | 协商    | 协商        | 协商  |

实时上限以控制台 → **账户首页** 展示为准。

## 响应头

每个 API 响应都会带:

| Header                           | 含义          |
| -------------------------------- | ----------- |
| `X-RateLimit-Limit-Requests`     | 当前 RPM 上限   |
| `X-RateLimit-Remaining-Requests` | 本分钟剩余请求数    |
| `X-RateLimit-Reset-Requests`     | 距离重置秒数      |
| `X-RateLimit-Limit-Tokens`       | 当前 TPM 上限   |
| `X-RateLimit-Remaining-Tokens`   | 本分钟剩余 Token |
| `X-RateLimit-Reset-Tokens`       | 距离重置秒数      |

客户端可据此实现智能限速。

## 触发限流

超过上限时返回 `429 rate_limit_exceeded`:

```json theme={null}
{
  "error": {
    "type": "rate_limit_error",
    "code": "rate_limit_exceeded",
    "message": "Rate limit reached. Please retry after 12 seconds."
  }
}
```

响应头 `Retry-After: 12` 给出建议重试时间。

## 推荐处理

<CardGroup cols={2}>
  <Card title="指数退避" icon="rotate-right">
    1s → 2s → 4s → 8s → 16s,封顶 30s。
  </Card>

  <Card title="客户端限速" icon="gauge-high">
    在本地维护漏桶 / 令牌桶,提前控制 QPS。
  </Card>

  <Card title="批量合并" icon="layer-group">
    短消息合并到同一次请求,降低 RPM 压力。
  </Card>

  <Card title="提示缓存" icon="database">
    重复前缀走缓存,降低实际 TPM 占用。
  </Card>
</CardGroup>

## 调高上限

如业务确有需求,可以通过以下方式提升:

* **充值升级到 VIP / SVIP**:自动获得更宽松配额。
* **企业自定义配额**:商务通道申请专属 RPM / TPM / 并发。
* **专用通道**:对特定模型绑定独立上游账号,容量隔离。

在控制台提交相关需求即可。