LLM API 实时延迟榜

测点在哪:2 个节点,分开列不合并

🇭🇰 HK（中国香港）、🇺🇸 US-Central（美国芝加哥）。两列数字各测各的, 不做平均。同一个端点在两地差出几倍是常事,平均出来的那个数谁都用不上。香港节点测的是国际/跨境链路,不等同于中国内地直连;美国节点调国产模型含跨太平洋链路。内地节点还没有,有了会单独标注。

怎么测的

TTFT:流式请求、max_tokens=8~16,记首个 token 到达时间。TPS:单次生成上限 256 token,用厂商返回的 completion_tokens 除以总耗时。两项均已显式关闭思考模式——思考型模型的思维链 token 会计进 completion_tokens 且不受 max_tokens 约束(实测某模型请求 256 实际生成 896),不关掉就等于拿「思考速度」和「出答案速度」放在一起比。 代价是本表覆盖不了强制思考的模型:Gemini 3.x 全系明确拒绝关闭思考,所以这里用的是 Gemini 2.5 Flash。越新的旗舰越倾向强制思考,这个可比范围只会收窄,不会变宽。

每任务成本：跑同一个标准任务的实际花费，含思考型模型的思维链 token。尚未产出足够实测数据的端点统一显示 —。

要拿近 7 天 / 30 天的 p50、p95 与样本数做引用或二次分析，看 实测延迟数据集（附 JSON / CSV 下载）。

这张表不做什么

不排「哪家最好」:延迟只是选型的一个维度,单节点样本也无法代表全球体验。 样本量已列在表内,数字背后有几次实测,你自己判断可信度。