你的专家有搭档：HOPE 让它们留在一起
2026-11-09
MoE 模型的显存瓶颈主要来自专家 MLP：Qwen3.5-122B 约 250GB 参数内存中 95% 被专家占据，而每个 token 每层只用 8 个专家。现有剪枝方法按专家独立打分，忽略了专家之间的协作关系。新论文提出 HOPE（专家高阶剪枝），用二阶方法建模专家两两交互，在 50% 剪枝率下取得最佳平均排名，智能体编程任务上比次…2026-11-09
MoE 模型的显存瓶颈主要来自专家 MLP：Qwen3.5-122B 约 250GB 参数内存中 95% 被专家占据，而每个 token 每层只用 8 个专家。现有剪枝方法按专家独立打分，忽略了专家之间的协作关系。新论文提出 HOPE（专家高阶剪枝），用二阶方法建模专家两两交互，在 50% 剪枝率下取得最佳平均排名，智能体编程任务上比次…