LLM API 实时延迟榜

测点在哪:目前只有一个节点

🇺🇸 US-Central（美国芝加哥）。国产模型的数字是「从美国调用」测出来的,含跨太平洋链路,不代表你在国内调用能拿到的延迟。国内节点还没上,上了会单独标注,不混进这张表。

怎么测的

TTFT:流式请求、max_tokens=8~16,记首个 token 到达时间。TPS:单次生成上限 256 token,用厂商返回的 completion_tokens 除以总耗时。两项均已显式关闭思考模式——思考型模型的思维链 token 会计进 completion_tokens 且不受 max_tokens 约束(实测某模型请求 256 实际生成 896),不关掉就等于拿「思考速度」和「出答案速度」放在一起比。 代价是本表覆盖不了强制思考的模型:Gemini 3.x 全系明确拒绝关闭思考,所以这里用的是 Gemini 2.5 Flash。越新的旗舰越倾向强制思考,这个可比范围只会收窄,不会变宽。

这张表不做什么

不排「哪家最好」:延迟只是选型的一个维度,单节点样本也无法代表全球体验。 样本量已列在表内,数字背后有几次实测,你自己判断可信度。