在英伟达最新模型上运行 CrewAI——结果如何

最近模型发布不断。但这个引起了我们的注意。

新发布的 英伟达 Llama Nemotron Super 1.5 —— 一个生产级、开放权重的模型，旨在企业环境中快速灵活地运行。很自然地，我们直接将其投入 CrewAI 进行测试。

要点？

• 易于托管
• 无缝集成
• 适用于结构化流程
• 在没有约束的情况下，会出现一些工具循环
• 最好与 CrewAI Flows 结合使用

以下是我们的发现。您可以在这里找到我们使用 CrewAI Flow 进行低级别控制和加速的演示：我们的演示。

几分钟内实现实时工作流

我们使用 vLLM 在 4 个英伟达 H100 GPU 上启动并运行了该模型，几乎没有任何障碍。没有奇怪的配置，也没有微调的困难。

一旦托管，将其插入 CrewAI 就像

llm = LLM(
    model="text-completion-openai/nemotron",
    temperature=1,
    top_p=0.95,
    api_base="<MODEL_API_BASE>",
    max_tokens=10000,
)

专业提示：存在一个最佳温度范围（约 0.6 - 1.2），在我们的多智能体编排测试中获得了更好的结果。

全面的提示控制、工具支持

值得强调的一点是，CrewAI 允许您完全控制其内部提示。

在这次测试中，我替换了每一个内部指令——Nemotron 处理得很好。

工具使用非常稳定，无论有没有推理，它都能作为一个智能体完成工作，即使是一个 49B 模型，所需要的只是对智能体进行一些轻微的提示调整，以保持简单并提供清晰的指令。

CrewAI Flows：最合适的选择

最好的体验是当我们把这个模型放入 CrewAI Flows——我们的低级、模块化编排层时，它运行得特别快！

Flows 是为实际自动化而构建的

• 有时你只是想让 LLM 丰富一封电子邮件。
• 有时你需要全面的智能体协作。
• 有时呢？你需要两者兼顾。

有了 Flows，你无需选择。你只需编排工作流所需的一切——不多不少。

CrewAI Flows 现在每天为从金融到联邦再到现场操作等各种用例提供超过 12,000,000 (12M) 次执行。

宏观视角：结构化代理

大多数平台仍然推崇单一模式，这会影响你对模型的选择

• 代理
• 图表
• 聊天机器人

但真实的团队是在一个代理范围内工作的，这对于像英伟达 Llama Nemotron Super 1.5 这样的模型特别有用。这种范围心态让你能从简单开始，并在此基础上发展

• 基于规则的流程
• 即时 LLM 调用
• 代理委托（按需）
• 完全自主的团队（当投资回报率真实存在时）

你不需要图表来发送 Slack 消息。你不需要 50 个令牌的提示链来丰富电子邮件。

你只需要在正确的时间采用正确的结构。CrewAI Flow 提供了这一点——像 Nemotron 这样的模型也完美融入。

最终结论

英伟达的 Llama Nemotron Super 49B 是一个可部署的资产——启动快、易于编排、随时可以插入工作流。

我们将继续在 Flows 中测试它，并很快分享更多实时演示。与此同时，向英伟达团队致以崇高的敬意，他们发布了一个对企业 AI 产生真正影响的模型。