Defined Term
Throughput（吞吐量）
单位时间内系统能处理的请求数或 token 数
详细定义
Throughput 是系统容量指标。LLM 服务常用：QPS（每秒请求数）、TPS（每秒 token 数）、并发数。FDE 现场必须平衡 Latency 与 Throughput——批处理（Batching）提吞吐但增延迟，流式输出降延迟但费资源。
实例
- 客服 AI：1000 QPS 峰值，P99 <500ms。
- 向量检索：10000 QPS 峰值，P99 <20ms。
来自行业的实例
客服 AI：1000 QPS 峰值，P99 <500ms。
向量检索：10000 QPS 峰值，P99 <20ms。
关联术语
关于 Throughput（吞吐量） 的常见问题
Throughput（吞吐量） 的核心定义是什么？
单位时间内系统能处理的请求数或 token 数
Throughput（吞吐量） 在 FDE 工作流中扮演什么角色？
Throughput 是系统容量指标。LLM 服务常用：QPS（每秒请求数）、TPS（每秒 token 数）、并发数。FDE 现场必须平衡 Latency 与 Throughput——批处理（Batching）提吞吐但增延迟，流式输出降延迟但费资源。