Coder5424 这条记录同时保留了正常和异常请求，差别很明显。
Coder5424 用两张 24GB RTX 4090，运行 vllm/vllm-openai:v0.31.0，模型是 QuantTrio/Qwen3.5-35B-A3B-AWQ，TP=2。任务是文档分析，每次输入约 3万—5万 token。
按作者口径，正常单请求平均约 15 秒完成；异常请求等了约 20 分钟仍在生成。把其他请求全部清掉、只留这一条，现象依旧，因此单靠“排队太多”解释不了这份记录。
异常日志里，Running 为 1、Waiting 为 0，生成吞吐仍有数值，KV cache 使用率逐步上升。这和“服务完全停止工作”是两种现象。
还有一个后续：作者取消请求后，把相同请求重新提交，有时需要重复几次才能完成。但重试成功不等于根因解决，记录没有给出已确认修复。
接着排查时，我会优先对齐同一条请求的请求体、终止设置、服务日志和客户端响应；先分清生成没停，还是结果没传完，再逐项改变设置。这个排查顺序是整理建议，不是原帖结论。
来源整理：Coder5424 · 2026-10-22 · 原帖
