深圳跑出大模型黑马

记者丨林典驰 编辑丨包芳鸣,魏雯静 大模型的回答，一定要一个字接一个字地生成吗？一家落地深圳的创业公司，正尝试给出另一种答案。 10月28日，扩散智能DiffuSpace（下称“DiffuSpace”）发布并开源最新模型Clover-35B-A3B-Preview。该模型采用混合专家架构（MoE），总参数350亿，每个Token激活约30亿参数，面向智能体编程与工具使用等任务。这也是公司将扩散语言模型从实验室研究推向应用的一次新进展。 与ChatGPT所代表的主流自回归生成路线不同，DiffuSpace选择了扩散语言模型（dLLM）。前者通常依次预测下一个Token，即模型处理文本的基本单元；后者尝试在多个位置并行补全内容，通过迭代逐步形成答案。 新模型发布之前，资本已率先入场。DiffuSpace近期连续完成两轮融资，总金额数亿元人民币，由经纬创投、顺为资本、君联资本联合领投，中科创星、华为哈勃、地平线等跟投。这家今年5月创立的企业，由香港大学NLP实验室联合主管孔令鹏教授与龚珊三、叶佳成等成员联合创办。 早在2022年，公司核心团队便开始研究扩散语言模型，是全球最早系统探索这一技术路线的团队之一。选择差异化的生成路线并不轻松，团队需要找到适合扩散语言模型的领域，而且需要保证生成速度在模型规模扩大后保持优势，测试成绩在任务中的表现也很重要。 不再只按顺序生成 理解DiffuSpace的选择，要从大模型如何生成内容说起。 自回归模型的工作方式近似于按顺序续写：根据已有内容，预测接下来最合适的Token，再将它加入上下文，继续预测下一个。这种方法支撑了主流大语言模型的发展，但生成过程中的先后依赖，也约束了并行处理的空间。 扩散语言模型则采用另一种思路。它可以从存在大量空缺的文本出发，同时预测多个位置的内容，再通过多轮处理逐步减少不确定性。对于需要兼顾多处约束的代码和结构化输出，这种生成方式提供了新的探索方向。 不过，“并行生成”并不等于一次写完全文，更不意味着模型天然拥有更强的推理能力。并行处理多少内容、需要多少轮迭代，以及如何兼顾速度与准确率，仍取决于具体模型和推理系统的设计。 Clover采用的便是分块扩散。根据其官方模型卡，模型在当前文本块内并行补全内容，完成后再将这一块纳入后续生成所参考的上下文。也就是说，它在块内引入双向信息交互，同时保留块与块之间的先后关系。 据团队介绍，Clover对门控Delta网络（GDN）进行了重构：一方面压缩和保存历史上下文，另一方面让当前文本块中的内容充分交互，并由模型学习如何选择两类信息。其目标是在扩大模型规模时，同时控制计算开销和保持生成质量。 根据官方模型卡，Clover总参数350亿，每个Token激活约30亿参数，通过调用部分专家参与计算。激活参数较少，并不意味着只需存储30亿参数；其BF16精度模型权重约为69GB，运行时还需额外的推理空间。 因此，Clover此次发布的看点，并非单纯将参数规模从Dream 7B的70亿扩大至350亿，而是团队试图证明：扩散语言模型在走向更大规模后，仍能兼顾能力与效率。 速度优势，先从智能体寻找价值 DiffuSpace此次将智能体编程和工具使用放在突出位置，背后有明确的应用逻辑。 与一次问答不同，智能体完成任务往往要反复经历理解需求、调用工具、读取结果和调整方案。一次生成节省的时间，可能沿着多步任务持续累积；相反，即使模型输出很快，如果频繁调用错误工具、反复返工，完整任务仍可能耗时较长。 据团队公布的结果，Clover在本次对比的六项智能体评测中，均取得所列模型的最高分。其中，SWE-bench Verified、Terminal-Bench 2.1和τ³ Overall的得分分别为73.6、51.7和65.3，超过对比中的Mercury 2.5及同尺寸Qwen3.6-35B-A3B等模型的得分。 在生成效率上，团队披露，Clover在单张英伟达GB300 GPU、BF16精度、单请求批量的条件下，使用内部智能体场景数据测得整体生成速度为每秒680个Token。 在官方展示的网页操作案例中，模型需要根据一条指令创建私有项目，并添加两名指定成员。在相同的智能体框架、提示词、工具和浏览器配置下，团队披露，Clover用13步、169.9秒完成任务，对照的Qwen3.6 Flash用21步、392.3秒完成。 不过，能否进一步降低成本，还要结合硬件利用率、并发能力与任务成功率判断。 DiffuSpace还计划推出基于Clover的决策模型，并拓展多模态能力。其中，决策模型拟在一次生成中联合处理最多8个关联问题，让不同判断相互参照，减少前后冲突。对于同一份材料中存在关联条件的判断任务，这提供了一个值得验证的方向。 深圳团队，从研究走向市场 尽管Dif