平台内嵌趋动原生 GPU 池化软件 OrionX，可提高平台内 GPU 使用率至少 4 倍。

什么是 OrionX

OrionX AI 算力资源池解决方案，解决了客户以往 AI 应用 或 CUDA 应用独占 GPU 算力资源的问题。 OrionX 将所有的 AI 算力硬件池化后，将其虚拟成众多颗粒度可灵活调整的 vGPU，随时为 AI/CUDA 应用提供 AI 加速能力，极大提升 GPU 等 AI 加速器的利用率。平均物理 GPU 的利用率将从以前的 30% 提升至 90% 。

OrionX 在 Gemini 中的应用

构建 GPU 资源池

通过构建资源池，让平台内的 AI 用户共享平台的所有 GPU 算力。AI 开发人员不必再关心底层资源状况，专注于更有价值的业务层面，让应用开发变得更加便捷和简洁。

GPU 虚拟化

将平台内 GPU 切片为任意大小的 OrionX vGPU，允许多 AI 负载并行运行，从而提高物理 GPU 利用率。 提高 GPU 综合利用率高达 3-10 倍，1 张卡相当于起到 n 张卡的效果，使得平台算力资源平民化。

GPU 动态分配与释放

OrionX vGPU 资源随开发环境或训练任务开始时分配，随开发环境停止或训练任务结束时自动释放。OrionX vGPU 资源动态分配动态释放。

全局管理

Orionx 提供 GPU 资源管理调度策略和 GPU 全局资源池性能监控能力，为 Gemini 平台运维人员了解直观的资源利用率等信息提供了便捷度。

弹性扩展

支持从单台到整个数据中心 GPU 服务器纳管，轻松实现 GPU 资源池的横向扩展。全分布式部署，通过 RDMA（IB/RoCE）或 TCP/IP 网络连接各个节点，实现资源池弹性扩展。 用户添加的GPU 服务器不受地域限制，用户可以在一台没有GPU 的服务器上运行 GPU 应用，通过网络使用其他服务器上的远程 GPU，在 25G RDMA 网络上能达到本地 GPU 95% 以上的性能。