添加外部数据源

更新时间:

将外部存储源(如 NFS、OBS)与平台对接,便可以在平台中直接使用外部数据源中的数据进行训练和调试了,当前平台支持对接的外部数据源有华为的 OBS、AWS 的 S3、NFS。

# 前提条件

已获取外部数据源的连接信息,且这个外部数据源是正常可访问的。

# 操作步骤

  1. 登录平台。

  2. 在左侧导航栏中选择 数据,进入 数据 页面。

  3. 单击右上角的 创建数据 按钮。

  4. 创建数据 页面填写数据源信息。

    • 数据来源:选择 数据源

    • 数据名称:外部数据源的名称在同一空间下唯一。

    • 标签:选择恰当的标签,便于您根据标签检索到该数据。

    • 公开性:请依据实际情况配置。

    • 来源:选择您的存储源,可选择aws_s3、huawei_obs、local_nfs。

    • 连接属性:您在同一空间内仅可使用该连接一次,请根据实际情况输入,然后点击 测试连接,测试成功才可进行下一步。

  5. 单击 创建,则该外部数据源添加成功。

# 填写说明

# aws_s3

单击 测试连接,测试成功才可进行下一步。
测试连接 失败,说明平台所在节点无法正常访问指定的 S3 服务,请检查网络连接是否畅通以及配置的连接信息是否正确。

# huawei_obs

Endpoint:参考 对象存储服务OBS-查看桶的信息 (opens new window)域名信息 中获取存储桶的 Endpoint 信息。
Region:参考 对象存储服务OBS-查看桶的信息 (opens new window) 获取桶的 区域 信息,并参照 地区和终端节点 (opens new window)获取区域的英文标识。
AK:即 Access Key ID,参考 华为云官方指导 (opens new window) 获取。
SK:即 Secret Access Key,参考 华为云官方指导 (opens new window) 获取。

单击 测试连接,测试成功才可进行下一步。
测试连接 失败,说明平台所在节点无法正常访问指定的 OBS 服务,请检查网络连接是否畅通以及配置的连接信息是否正确。

# local_nfs

连接属性中的信息将传递到 mount -t nfs -o vers=3 serverip:/data/path /path 命令中执行,从而将外部 NFS 数据源挂载到平台。

  • Server:NFS Server 端的服务器 IP,传递到上述命令的 serverip 中。

  • Path:数据源在 NFS Server 中的路径,传递到上述命令的 /data/path 中。

  • 挂载参数:即 -o 后指定的参数。例如:指定以只读方式、v3 版本的协议挂载,则填写为 -o ro,vers=3
    一般系统会以默认值挂载,无需特殊指定,如有特殊要求也可参考下表指定。

    参数 说明 默认值
    vers 用于指定以什么版本协议挂载 NFS,默认使用服务端相同的协议。
    suid/nosuid 当挂载的文件系统上有任何 SUID 的程序时,只要使用 nosuid 就能取消设置 SUID 的功能。 suid
    rw/ro 指定文件系统是只读(ro)或读写(rw)。 rw
    dev/nodev 可读文件系统上的字符或块设备,取消选项为 nodev。 dev
    exec/noexec 是否具有执行文件的权限,如果想要挂载的仅是普通资源数据区 (如:图片、附件)那么可以选择 noexec。 nouser
    sync/async 以同步/非同步的方式执行文件系统的输入输出动作。
    sync(同步)仅适合 ext2、ext3、fat、vfat 和 ufs 等文件系统;
    async(异步)方式虽可提高性能,但会降低数据安全性,生产环境不推荐使用(除非对性能要求很高,但不要求数据可靠性)
    async

单击 测试连接,测试成功才可进行下一步。

测试连接 失败,说明平台所在节点无法正常访问指定的 NFS server,请参照下述解决方式:

  1. 请检查网络连接是否畅通。
  2. 请检查 Server 指定的机器上是否正确安装和开启 NFS server。
  3. 请检查 Path 指定的路径是否在 NFS server 的配置里。

# 添加后管理

# 查看外部数据源

数据详情 页中您可查看数据源的详细信息,包括:创建信息、连接信息、具体数据文件、数据关联的项目等。

# 修改外部数据源

外部数据源在添加后,可修改其公开性、基础属性和连接属性。

  • 修改公开性
    在列表页中找到要修改的数据源,然后在其卡片上选择 ... > 修改公开性

  • 修改基础属性
    在列表页中找到要修改的数据源,然后在其卡片上选择 ... > 修改基础属性,如上图所示。

  • 修改连接信息

    1. 在详情页中,鼠标悬置于 连接属性 上,然后单击弹出卡片中的 修改 按钮。
    2. 连接属性 对话框中重新配置连接参数,并测试连接。

      注意:对象存储的连接属性,如果不打算修改 SK,请不要编辑 SK 输入框里的内容。若要修改,请清空输入框内容后输入新的SK内容。

    3. 单击 确定,修改成功。

# 移除外部数据源

注意:移除外部数据源不会影响已经用该数据源提交的已经在运行的离线训练任务,但可能会导致用该数据源已提交但非正在运行的离线训练任务失败。

列表里找到需要移除的数据源,并单击其卡片上的 ... > 删除
进入数据源页面