文档目录

流式输出

SSE 帧怎么读、四条实践、计费与延迟口径,以及反向代理把流攒成整包时怎么查。

内容最后核对:2026-11-18

本页目录

怎么开

两种等价写法:

# 一、请求体里写 stream
curl -N -s "$BASE/chat/completions" \
  -H "Authorization: Bearer $KEY" -H 'Content-Type: application/json' \
  -d '{"model":"<模型名>","messages":[{"role":"user","content":"你好"}],"stream":true}'

# 二、直接打 /stream(请求体里的 stream 会被忽略)
curl -N -s "$BASE/chat/completions/stream" \
  -H "Authorization: Bearer $KEY" -H 'Content-Type: application/json' \
  -d '{"model":"<模型名>","messages":[{"role":"user","content":"你好"}]}'

curl 要加 -N(关掉 curl 自己的输出缓冲),否则看到的是「等半天然后一次吐出来」—— 而你会去查网关,其实问题在客户端。

帧长什么样

data: {"choices":[{"delta":{"content":"你"}}]}

data: {"choices":[{"delta":{"content":"好"},"finish_reason":"stop"}]}

data: [DONE]
  • 每个事件一行 data: ,事件之间一个空行。
  • [DONE] 是网关自己发的,表示流正常结束。
  • 思考过程在 delta.reasoning_content,与 delta.content 分开。

四条实践

  • 按行切,不要按字节切。 一个事件可能被拆成多个 TCP 包,按字节解码会把中文切坏。 用 SSE 库,或者按 \n 缓冲后再解析。
  • 没收到 [DONE] 就是中途断开。 别把「连接关了」当成「模型说完了」。
  • 只读你需要的字段。 只读 delta.content 就自动忽略思考过程,不用额外判断。
  • 不要在流式里做重试。 已经吐出去的 token 收不回来;重试意味着重新生成与第二次计费。

计费与延迟

  • 流式的费用在流结束后结算,按实际发出的 token 计。
  • 中途断开按已发出部分折算,不是按整段。
  • 延迟统计是首帧到达时间,不是整段输出时长 —— 这两件事差得远,混在一起会让 「首帧快但输出慢」的模型看起来像「很快」。

中间有反向代理时

网关这一侧已经禁用了压缩与缓冲(Cache-Control: no-transform、X-Accel-Buffering: no)。 再被缓冲一层,就会表现为「等很久,然后一次性吐出来」。

代理要关的东西
Nginxproxy_buffering off;,并对 SSE 路由关掉 gzip
ApacheSetEnv no-gzip 1 + flushpackets=on
Cloudflare 等 CDN对 text/event-stream 关闭缓冲 / 不缓存
应用侧别用会攒满才发的框架中间件(例如默认缓冲的压缩中间件)

判断方法:直连网关(绕过代理)流不流。直流也卡,那是上游或客户端;直流正常,问题在中间。

其它协议

协议流形态
OpenAIdata: {...} + data: [DONE]
Anthropic(/v1/messages)event: message_start / content_block_delta / message_stop
Gemini(:streamGenerateContent)alt=sse 时同样是 data: 帧,但字段是 Gemini 的