上传数据集

更新时间:

您可以将数据集上传到平台,以便后续使用已上传的数据集提交离线任务。
数据集的上传将占用您的持久化存储,超过免费存储额度将产生费用。

目前,平台支持网页上传和 SFTP 传输两种数据集上传方式,对于小数据集轻量文件您可选择直接进行网页上传,或者通过数据页获取 SFTP 链接信息以完成SFTP 传输。

# 操作步骤

# 创建数据集

  1. 登录平台。

  2. 在左侧导航栏中选择 数据,进入 数据 页面。

  3. 单击右上角的 创建数据 按钮。

  4. 创建数据 页面填写数据集信息。

    • 数据来源:选择数据集。

    • 数据名称:数据集名称在同一空间下唯一。

    • 标签:选择恰当的标签。

    • 公开性:请依据实际情况配置。

  5. 单击 创建,则数据集创建成功,默认返回 数据详情 页。

    此时数据集是空的,您还需执行下述步骤上传数据到数据集中。

# 选择数据上传方式

数据详情 页中单击右上角的 上传 按钮,弹出数据集上传方式选择框:
网页上传 :适合数据集较小等轻量级文件上传选择。建议 “单次上传总大小不超过 2G ,文件数量不超过 20 个” 时选择此方式。
SFTP传输 :文件大小在 2G 以上、或对传输环境要求较高时,选择此方式,支持断点续传。

说明 :数据首次创建时,上传 选择框将自动弹出,对于已完成过数据集上传数据您可依据文件大小,按下述操作完成上传。

# 上传数据

该操作适用于首次上传、后期追加上传。
如果是后期追加上传数据,不会实时同步到开发环境,如您需同步到挂载该数据的开发环境中,需重启该环境。

# 网页上传

  1. 选择 网页上传,点击上传或拖拽需上传文件至提示框中上传区域。
  2. 文件上传完成后,单击右下角 确认完成 按钮。

# SFTP传输

  1. 选择 SFTP传输,下方显示 SFTP 传输的连接信息。

    图中可复制的内容即为连接信息,其中:

    • 使用 SFTP 传输工具上传数据集,需获取 传输地址用户名密码

    • 使用命令行上传数据集,获取 连接字符串密码 即可。

  2. 使用 SFTP 传输工具上传数据集。

    SFTP 工具推荐: WinSCP、Xftp (Windows)、Transmit(Mac) 或其他 Linux 命令行工具。

    此处以 WinSCP 工具为例进行说明。

    • ① 打开 WinSCP 工具,默认弹出 登录 的窗口。

    • ② 配置传输文件编码。

      说明:待上传文件的名称需为 UTF-8 编码。

      dataSet_uploadUTF-8

    • ③ 将 ④ 中获取的 SFTP 连接信息填写到 WinSCP 登录 窗口中。

      如图所示,左边为获取到的连接信息,右边为 WinSCP 登录 窗口。

      dataSet_uploadSftp

    • ④ 单击 登录,等待 SFTP 连接成功。
      连接成功后,左侧为本地文件,右侧为平台目录,将平台目录切换到 /upload 下。

    • ⑤ 选中需上传的文件,右键选择 上传,等待传输完成。
      dataSet_upload01

  3. 使用命令行上传数据集。

    • ① 复制 1. 获取 SFTP 连接信息 获取到的连接信息的 链接字符串

      dataSet_uploadCmd

    • ② 打开您的命令行工具并将其粘贴进去,回车后可连接上远程服务器。

    • ③ 执行如下命令上传数据集。

      sftp> put -r /root/test /upload
      

      其中 /root/test 为您本地待上传数据集。

  4. 返回平台,单击 确认完成,关闭传输通道。
    也可参考 传输通道管理 关闭传输通道。

# 上传后管理

# 修改数据集

数据集在添加后,可修改其公开性、基础属性、并继续上传数据。

  • 修改公开性
    在列表页中找到要修改的数据集,然后在其卡片上选择 ... > 修改公开性

  • 修改基础属性
    在列表页中找到要修改的数据集,然后在其卡片上选择 ... > 修改基础属性

  • 修改数据
    你可通过 数据详情 页右上角的 传输数据 按钮,为该数据集新增数据。

# 删除数据集

删除数据集可能会影响到使用该数据集提交的正在运行的离线训练任务,导致读取数据失败,请谨慎操作。

# 查看数据集详情

可查看创建信息、公开性、具体数据文件、数据关联的项目等。

# 传输通道管理

单击平台顶部导航栏的 传输 按钮,进入 文件传输 页面。

dataSet_uploadFinish

每个用户仅支持 3 个 SFTP 通道(不区分空间),建议及时关闭已传输完成的通道,超过 7 天未关闭的传输通道将会被强制关闭。