省极客AI导航 提交工具

NVIDIA 开源完整 Run:ai 平台:K8s 上的 GPU 调度与份额管理可免费自建

2026-10-14 · #开源#GPU#基础设施#NVIDIA#开发工具

NVIDIA 于 10 月 13 日宣布将完整 Run:ai 平台开源,纳入 DSX AI Factory:含 KAI Scheduler、GPU Fractioning Operator、KAI Resource Management、Workload Map 等可独立采用的组件;代码在 DSX AI Factory 的 GitHub 组织,NGC 提供社区版 Helm 安装。社区产品不含 NVIDIA 企业支持。

NVIDIA 于 10 月 13 日在开发者博客宣布:完整 NVIDIA Run:ai 平台以开源形式发布,作为 NVIDIA DSX AI Factory 的一部分,供客户、开发者与生态伙伴获得生产级的 AI 工作负载与 GPU 编排能力。

Run:ai 面向 Kubernetes,用于在共享集群上动态分配 GPU、管理从数据处理、训练到推理的全生命周期。开源后,团队可整套采用,也可单独使用四个模块化组件:

  • KAI Scheduler:面向 GPU 的 K8s 调度引擎(Apache 2.0,已进入 CNCF Sandbox),支持 gang scheduling、公平份额与配额、拓扑感知、多种 GPU 共享方式等;
  • GPU Fractioning Operator:基于 CUDA 13.4 原生能力做硬内存上限的 GPU 分片,旧有专有分片实现已退役;该 Operator 与调度器解耦,可配合其他调度器;
  • KAI Resource Management:项目/部门层级的配额、保证与节点池,按组织而不是裸命名空间管 GPU;
  • Workload Map:把 PyTorchJob、RayCluster 等复杂工作负载当成一等对象描述的契约,便于统一调度与观测。

完整源码放在 NVIDIA DSX AI Factory 的 GitHub 组织中的 Run:ai 仓库;NVIDIA NGC 亦提供社区产品与 Helm chart。官方明确:社区产品不需要付费 Run:ai 订阅,也不包含 NVIDIA 企业支持。企业场景仍可通过 Mission Control、AI Enterprise 等商业渠道获得带支持的版本。

同期相关开源项目还包括加速权重加载的 Model Streamer(已集成进 vLLM、SGLang 等,可用 --load-format runai_streamer),以及编排多分量推理拓扑的 Grove。Crusoe、Nebius、Mirantis、vCluster 等八家 DSX 生态伙伴已宣布把开源 Run:ai 纳入各自产品。

详情见 NVIDIA 开发者博客原文。

对创作者意味着什么: 单人用云 API 或一张消费级显卡出片,几乎碰不到 Run:ai;但若你和小团队在共用几张卡训 LoRA、跑本地推理、或搭小型 Agent 集群,开源后等于少了一道商业授权门槛,可先试 GPU 分片与按项目配额,提高闲置利用率。注意社区版要自己运维,企业支持另算;上线前核对开源许可证与 NGC 条款,并把「调度软件免费」和「显卡与电费仍贵」分开算账。

信息来源:NVIDIA 开发者博客(本文为编辑整理改写)

推荐工具