黄仁勋力挺开源AI后，英伟达甩出两大开源利器！输出速度快4倍、成本砍至1/3

智东西8月12日消息，昨日，英伟达发布开源大语言模型Nemotron 3.5 Lightning，以及面向Agent的开源智能路由库NeMo Switchyard。前者总参数量为300亿，推理时仅激活约30亿参数，输出速度最高达到同等规模模型的4倍；后者可以在多款模型之间自动分配任务，英伟达内部测试显示，其任务完成成本可降至全部使用Claude Opus 4.8时的1/3。 大模型测评机构Artificial Analysis对总参数量低于400亿的开放权重模型进行了比较。Nemotron 3.5 Lightning综合能力得分为24分，输出速度约为670 token/s，是图中唯一进入高速度、高得分区域的模型。 英伟达称，Nemotron 3.5 Lightning主要承担Agent执行长程任务时的工具调用、结果检查、格式整理和代码操作等高频工作。在技术上，Nemotron 3.5 Lightning结合多token预测、推测解码和低精度量化等技术提高推理效率。 据技术博客称，NeMo Switchyard会路由库根据任务难度、模型能力、成本和延迟选择模型，将复杂规划交给能力更强的前沿模型，把工具调用、结果检查和格式整理等高频操作交给速度更快、成本更低的模型。在LangChain完成的145项多轮Agent任务测试中，Switchyard仅将7%的请求交给前沿模型，整体成本降低74% 此外，据外媒The Information昨日报道，英伟达正在研发更大规模的Nemotron 4系列，其最大版本预计至少拥有1万亿参数，目标是达到全球领先开源模型的水平。不过，该模型尚未完成最终训练，具体规格及发布时间均未确定。 Nemotron 3.5 Lightning采用混合专家架构。该模型包含300亿参数，但处理每个token时，路由器只会调用少量专家模块，因此每次推理激活约30亿参数。这种设计使模型在保留300亿参数总体容量的同时，减少每次推理实际参与计算的参数量，从而降低计算开销。 英伟达将Nemotron 3.5 Lightning定位为Agent执行长程任务中的工作模型，主要负责工具调用、检查工具返回结果、整理输出格式和运行代码命令等高频操作。 在这套模型分工中，Nemotron 3 Ultra等前沿推理模型负责复杂规划和任务编排，Nemotron 3.5 Lightning则执行数量更多、流程相对固定的具体任务。英伟达认为，如果每一步都调用前沿模型，会增加成本和延迟。 Artificial Analysis测试显示，Nemotron 3.5 Lightning处于同类开源模型的能力—速度“帕累托前沿”，即目前没有其他参测模型能在综合能力和输出速度两项指标上同时超过它。 英伟达称，该模型的输出速度最高可达到同等规模模型的4倍。不过，这一数据主要反映特定部署环境下的生成速度，并不代表Nemotron 3.5 Lightning在综合智能方面超过所有同规模模型。 目前，网络安全厂商CrowdStrike、法务AI平台Harvey、代码审查工具商CodeRabbit正分别探索将该模型用于网络安全、法律服务和代码审查；科研平台Lila Sciences参与提升其物理及生命科学任务的推理能力，垂直微调服务商Fastino Labs则针对软件开发、金融和医疗场景进行了定制。 技术方面，Nemotron 3.5 Lightning在训练中加入多token预测能力，可以提前预测后续多个token，再对预测结果进行验证。英伟达还为其提供DSpark和DFlash两款草稿模型，用于快速生成待验证内容，以进一步提高推测解码速度。 英伟达称，Agent执行长程任务时，通常要经历规划、检索、工具调用、结果验证和纠错等多个环节，而不同环节对模型能力、响应速度和运行成本的要求并不相同。 NeMo Switchyard因此会结合请求内容、上下文、模型能力、运行成本和延迟，为Agent工作流中的不同环节选择模型。例如，复杂规划可以交给能力更强的前沿模型，工具调用和结果整理等常规步骤则可以转交给速度更快、成本更低的模型。 该工具并不局限于英伟达自己的模型，可以同时接入开源和闭源模型。开发者还可以根据准确率、速度和成本等目标调整路由策略。 NeMo Switchyard提供多种路由方式。其中，分类路由器根据任务所属领域选择模型；阶段路由器结合Agent当前执行阶段及工具使用情况调整模型；升级路由器则先调用成本较低的模型。如果当前模型无法可靠完成任务，NeMo Switchyard再交给能力更强的模型。 在合作伙伴测试中，AI Agent开发基础设施厂商LangChain在145项多轮Agent任务中进行了测试。Switchyard仅将7%的请求发送给Claude Opus 4.8，虽然准确率下降约6个百分点，但总体成本降低74%。 英伟达还在与企业级AI网关服务商KongKong、开源多模型统一网关厂商LiteLLM、开源大模型与智能体研发机构Nous Research和西门子等企业合作，将路由能力接入AI网关、开发工具和企业Agent。 多名员工预计，Nemotron 4最大版本可能拥有至少1万亿参数，规模约为Nemotron 3 Ultra的两倍。英伟达已经确定了部分训练数据和架构方案，但尚未完成最终训练，发布时间也没有敲定。 英伟达扩大模型投入，一方面可以用模型开发反向优化芯片和软件，另一方面也希望降低企业使用AI的门槛，从而扩大GPU需求。高质量开源模型越多，能够训练、微调和部署AI的企业就越多，英伟达硬件的潜在客户范围也会随之扩大。 不过，这也让英伟达与客户和投资对象之间的关系变得更加复杂。OpenAI和Anthropic等前沿实验室是英伟达芯片的重要客户，Reflection AI、Thinking Machines Lab等开源模型公司则获得过英伟达投资。英伟达亲自开发高性能模型，可能与这些企业形成直接竞争。 Nemotron 3.5 Lightning与NeMo Switchyard分别切入Agent的执行和调度环节：前者承担调用频繁、强调速度的具体任务，后者根据任务难度、模型能力、成本和延迟，在多款开源及闭源模型之间分配请求。这套方案的重点不是依赖一款模型完成全部工作，而是通过多模型协作控制长程Agent的运行成本。 随着Agent从一次性问答转向持续执行搜索、编程和企业流程等任务，模型调用量及推理成本随之增加。模型路由由此成为新的基础设施环节，云厂商、模型平台和Agent开发工具都在尝试将不同模型接入同一套工作流，竞争重点也从单一模型能力延伸至任务分配效率和整体成本。 英伟达此次同时布局执行模型、模型路由和被曝在研的万亿参数模型，正在将业务从GPU进一步延伸至Agent技术栈。若开源模型和多模型协作得到更广泛采用，新增的训练、微调和推理需求也可能继续带动其计算平台的使用。

📕作者： 李红宇撰 · 更新于 2026-08-12 22:37:19

🔞WWW.46149.COM网站历史记录查询-百度-百C浮嶋敏：点球大战前更换门将并非提前准备；我对决赛抱有期待

👄《灌顶》BY一蓑烟雨百度另一名以色列高级官员对此表示“极为受挫”。他称，以军一旦降低戒备级别，若想重新完成战术部署需要耗费大量时间。他说，“我们将所有军事资源都集中在单一战场，最后却发现长时间的高级别戒备完全是空耗，这令人非常沮丧。我们不明白美国总统的最终目的是什么”。以方认为特朗普随时可能再次改变主意，因此以军目前仍保持高级别的戒备状态。

🔞未上锁的房间32014年，德拉帕蒂因标志性的一跃广为人知，但并未在成为英雄后远离前线。顿巴斯战争期间，他多次率步战车小队深入敌后，执行营救和撤离任务。连续数小时遭到敌军包围和炮击、没有援军、装备损坏、弹药即将耗尽，这些极端情况一度是他的“日常”，而他总能带领部下全身而退。身先士卒是他的标签。有乌军军官回忆，成为高级军官后，德拉帕蒂还经常在视察部队时“技痒”，在士兵面前展示拆装枪支、驾驶战车的能力。

📸 记者 杜勇强 摄 · 更新于 2026-08-12 22:37:19