高效的存储策略
更新时间:
本节为您介绍平台对于 AI 资产的存储方案。平台灵活高效的存储策略,既给予用户丰富的存储选择,又可以降低训练数据读取速度的瓶颈,保障存储内容安全可靠,从而提高模型的训练速度。
# 存储方案
平台存储方案包括:
- 全内置存储
平台中所有 AI 资产都由平台自己存储。 - 内置存储 + 外接存储 平台中的 AI 资产可以部分存储在平台内部,部分存储在外接存储中,外接存储支持 NFS 存储和对象存储(S3 协议)。
# 支持分布式
平台支持分布式存储,部署平台时指定存储副本数比如指定为 3 副本,则当用户在平台中产生需存储的数据时,这些数据将会被存储为一模一样的三份,当有副本因为故障或掉电数据毁坏时,平台为用户提供了恢复副本的能力。分布式存储为用户的数据安全提供了保障,避免了模型训练因数据存储问题而降低效率。
# 支持多级缓存
平台采用多级缓存策略,结合业界成熟的存储技术和趋动专利读写方法,为平台的存储带来如下优势:
缓存资源成本低
- 内存回收方便,小文件不会造成内存碎片,大大提高内存利用率。
- 硬盘作为内存缓存的扩展,可减少内存使用,降低成本。
读写效率高
- 分片存储减少内存读写锁的竞争,提高内存读写效率。
- 成本降低后,缓存资源丰富,可将远端数据提前缓存至本地,提高模型训练对远端数据的读取速度。