Baseten 工程师实测：LLM 生成的推理引擎比 vLLM 快最多 90%
2026-10-03
Baseten 工程师参照 MetaInfer 论文，用 Claude Code（Fable 5）为 Qwen-3.6-35B-A3B（NVFP4、单张 B200）自动生成推理引擎 VibeQwen：单流解码比 vLLM 0.25.1 快 90%，首 token 从 28ms 降到 12ms，并发 32 时吞吐高 71%。2026-10-03
Baseten 工程师参照 MetaInfer 论文，用 Claude Code（Fable 5）为 Qwen-3.6-35B-A3B（NVFP4、单张 B200）自动生成推理引擎 VibeQwen：单流解码比 vLLM 0.25.1 快 90%，首 token 从 28ms 降到 12ms，并发 32 时吞吐高 71%。