AI 开发面临的挑战

• 问题 1：管理难题

  • 资源管理难：算力资源昂贵，但是缺乏有效管理，闲置情况严重。
  • 监控运维难：缺乏全面监控，无法准确掌握资源利用率和健康状况。
  • 资源调度难：相对粗放以卡或节点级调度，难于面对复杂多变的场景。
  • 用户管理难：多租户下，难以科学合理的分配资源，难以确保数据安全。

• 问题 2：开发难题

  • 环境搭建难：深度学习对算力、数据、框架的复杂要求，导致配置环境需要付出大量时间精力。
  • 模型训练难：AI技术架构多而复杂，工程难度高，严重影响模型开发与调优化过程效率。
  • 团队协作难：开发环境缺乏协同合作，导致大量重复工作，业务进展缓慢。
  • 开发资源管理难：缺乏对代码、镜像、模型数据的统一管理，容易形成资源孤岛。

Gemini 的定位

Gemini AI 平台是一款一站式全流程人工智能平台。
平台打通模型开发与训练，原生支持多机多卡训练环境，优化 AI 场景下 IO 吞吐、持久化、结构化维护模型生产信息，优化数据资源共享路径，最终提高平台整体资源利用率，消除信息孤岛，大幅提高 AI 算法工程师工作效率，使其聚焦于算法与模型开发的核心工作，利用有限的资源更快挖掘商业价值与远见洞察。

主要功能

Gemini 主要功能如下：

• 用户侧 用户侧主要为算法工程师提供研发平台，主要包括：

  • AI 模型在线开发

  • 模型训练
    支持单机训练、分布式训练，以及自动训练的设置。

  • AI 资产管理 包括对镜像、数据、模型的整合与管理，支持外部数据源的接入和外部代码仓库的连接。

• 管理侧 管理侧主要为平台管理员提供可视化管理的能力，主要包括：
  • 运维管理
    包括集群管理、节点管理、GPU 管理、缓存管理、存储管理和系统服务。
  • 业务管理
    包括对平台所有开发环境、离线任务、可视化任务、AI 资产以及排队的管理。
  • 账户管理
    包括对用户、权限、空间及配额的管理。
  • 计费管理 支持开启计费功能，由管理员定价各类资源，支持对各空间（部门）的费用进行分别结算及账单查询。
  • 统计报表 支持对分别按平台、空间、用户的维度统计各类资源使用和任务等信息，同时支持将统计信息以报表形式导出。
  • 系统设置
    提供监控告警、邮件服务、对接企业用户系统、对接外部镜像仓库平台基础参数设置的能力。