高效的存储策略

更新时间:

本节为您介绍平台对于 AI 资产的存储方案。平台灵活高效的存储策略,既给予用户丰富的存储选择,又可以降低训练数据读取速度的瓶颈,保障存储内容安全可靠,从而提高模型的训练速度。

# 存储方案

平台存储方案包括:

  • 全内置存储
    平台中所有 AI 资产都由平台自己存储。
  • 内置存储 + 外接存储 平台中的 AI 资产可以部分存储在平台内部,部分存储在外接存储中,外接存储支持 NFS 存储和对象存储(S3 协议)。

# 支持分布式

平台支持分布式存储,部署平台时指定存储副本数比如指定为 3 副本,则当用户在平台中产生需存储的数据时,这些数据将会被存储为一模一样的三份,当有副本因为故障或掉电数据毁坏时,平台为用户提供了恢复副本的能力。分布式存储为用户的数据安全提供了保障,避免了模型训练因数据存储问题而降低效率。

# 支持多级缓存

平台采用多级缓存策略,结合业界成熟的存储技术和趋动专利读写方法,为平台的存储带来如下优势:

  • 缓存资源成本低

    • 内存回收方便,小文件不会造成内存碎片,大大提高内存利用率。
    • 硬盘作为内存缓存的扩展,可减少内存使用,降低成本。
  • 读写效率高

    • 分片存储减少内存读写锁的竞争,提高内存读写效率。
    • 成本降低后,缓存资源丰富,可将远端数据提前缓存至本地,提高模型训练对远端数据的读取速度。