流式输出
SSE 帧怎么读、四条实践、计费与延迟口径,以及反向代理把流攒成整包时怎么查。
内容最后核对:2026-11-18
本页目录
怎么开
两种等价写法:
# 一、请求体里写 stream
curl -N -s "$BASE/chat/completions" \
-H "Authorization: Bearer $KEY" -H 'Content-Type: application/json' \
-d '{"model":"<模型名>","messages":[{"role":"user","content":"你好"}],"stream":true}'
# 二、直接打 /stream(请求体里的 stream 会被忽略)
curl -N -s "$BASE/chat/completions/stream" \
-H "Authorization: Bearer $KEY" -H 'Content-Type: application/json' \
-d '{"model":"<模型名>","messages":[{"role":"user","content":"你好"}]}'
curl 要加 -N(关掉 curl 自己的输出缓冲),否则看到的是「等半天然后一次吐出来」——
而你会去查网关,其实问题在客户端。
帧长什么样
data: {"choices":[{"delta":{"content":"你"}}]}
data: {"choices":[{"delta":{"content":"好"},"finish_reason":"stop"}]}
data: [DONE]
- 每个事件一行
data:,事件之间一个空行。 [DONE]是网关自己发的,表示流正常结束。- 思考过程在
delta.reasoning_content,与delta.content分开。
四条实践
- 按行切,不要按字节切。 一个事件可能被拆成多个 TCP 包,按字节解码会把中文切坏。
用 SSE 库,或者按
\n缓冲后再解析。 - 没收到
[DONE]就是中途断开。 别把「连接关了」当成「模型说完了」。 - 只读你需要的字段。 只读
delta.content就自动忽略思考过程,不用额外判断。 - 不要在流式里做重试。 已经吐出去的 token 收不回来;重试意味着重新生成与第二次计费。
计费与延迟
- 流式的费用在流结束后结算,按实际发出的 token 计。
- 中途断开按已发出部分折算,不是按整段。
- 延迟统计是首帧到达时间,不是整段输出时长 —— 这两件事差得远,混在一起会让 「首帧快但输出慢」的模型看起来像「很快」。
中间有反向代理时
网关这一侧已经禁用了压缩与缓冲(Cache-Control: no-transform、X-Accel-Buffering: no)。
再被缓冲一层,就会表现为「等很久,然后一次性吐出来」。
| 代理 | 要关的东西 |
|---|---|
| Nginx | proxy_buffering off;,并对 SSE 路由关掉 gzip |
| Apache | SetEnv no-gzip 1 + flushpackets=on |
| Cloudflare 等 CDN | 对 text/event-stream 关闭缓冲 / 不缓存 |
| 应用侧 | 别用会攒满才发的框架中间件(例如默认缓冲的压缩中间件) |
判断方法:直连网关(绕过代理)流不流。直流也卡,那是上游或客户端;直流正常,问题在中间。
其它协议
| 协议 | 流形态 |
|---|---|
| OpenAI | data: {...} + data: [DONE] |
Anthropic(/v1/messages) | event: message_start / content_block_delta / message_stop |
Gemini(:streamGenerateContent) | alt=sse 时同样是 data: 帧,但字段是 Gemini 的 |