配额管理

更新时间:

配额指当前空间/个人在同一时间点可用的最大硬件资源量。Gemini 通过为空间和用户个人分配配额来有效管理和限制算力资源的使用,避免浪费或分配不均。

# 什么是配额

配额是平台为管理资源分配而提出的概念,资源分配的对象包括空间和空间成员。

  • 平台分配给空间的资源量称为 空间配额。 即空间内所有成员可同时使用的资源总和,不能超过该空间配额。某个空间的空间配额不能超过整个平台的资源。
  • 空间分配给空间成员的资源量称为 空间成员配额。 即个人可同时使用的每项资源的资源总和。 空间拥有者需要给空间配额中每一项配额资源设定超分比例,超分比例范围 1~10。每个空间成员的配额遵循公式 每位空间成员配额 =(空间资源配额 * 超分比例) / 空间总成员数(结果向上取整) 空间拥有者也可以单独为某个空间成员指定可使用的配额,一旦指定了成员配额,该成员在计算配额时则会忽略以上设置超分比的设置。

可分配的资源包括:CPU、内存、GPU(物理/虚拟)、显存、临时存储、持久化存储,这些资源也被称为 配额项

# 配额的验证规则

当空间成员在上传数据集、镜像、代码集,启动开发环境、可视化或提交离线任务时,会验证是否有足够配额,如果验证不通过则会终止操作,并提示配额不足。 配额验证规则如下:

  • 验证当前用户使用资源是否超过成员配额上限
  • 验证空间内所有用户使用资源是否超过空间配额上限

# 配额的消耗

如下场景会带来配额的消耗。

  • 空间配额消耗 为空间成员分配确定的个人配额。
  • 空间成员配额消耗
    • 持久化存储 消耗:上传数据集、镜像、代码集、模型训练后产生的结果集。
    • 计算资源 消耗:运行开发环境、离线任务、可视化任务等所有需要依赖镜像创建环境的任务。

      说明:计算资源包括 CPU 和 内存、GPU(物理/虚拟) 和 显存。

    • 临时存储 消耗:运行开发环境、离线任务、可视化任务等所有需要依赖镜像创建环境的任务。

      说明:任务执行所依赖的环境,其本身占用的存储,在开发环境停止或者任务结束后,临时存储将被释放。

# 配额不足的影响

配额中包含多个资源项,配额不足可能是其中某个资源项不足,可能带来如下影响。

  • 无法上传数据集、镜像、代码集。
  • 无法启动开发环境、可视化或提交离线任务等相关需要占用配额的操作。

配额不足有如下两种解决思路:

  • 提高空间配额或空间成员配额。
  • 删除无用的数据集、镜像、代码,并停止空跑的开发环境、可视化或离线任务来释放已占用的配额。