智能驾驶 AI 训练场景
智能驾驶正在重塑交通格局，为人们带来更舒适高效的驾驶体验。当下，智能驾驶融合了先进的传感技术、大数据和人工智能算法，为了确保车辆能够在各种复杂环境中安全、高效地运行，智能驾驶 AI 训练涉及大量的数据处理、算法开发和模型训练。
智能驾驶 AI 训练场景
智能驾驶正在重塑交通格局，为人们带来更舒适高效的驾驶体验。当下，智能驾驶融合了先进的传感技术、大数据和人工智能算法，为了确保车辆能够在各种复杂环境中安全、高效地运行，智能驾驶 AI 训练涉及大量的数据处理、算法开发和模型训练。
AI 训练数据管理面临的挑战
存储成本居高不下
- 数据以每年翻倍的速度迅猛增长
- 数据采集成本高，价值高，必须长期保留
- 数据存储在对象存储中
数据流转效率低
- 数据流转主要采用对象存储数据同步技术
- 数据同步效率低，同步数据没有版本管理
- 需要大量手工操作
数据安全风险
- 重要的原始数据和结果数据没有保护，无法应对逻辑错误（误操纵、病毒攻击等）导致的数据丢失
- 无法应对灾难事故
数据检索困难
- 由于文件个数高达数十亿，常用数据和过期数据混在一起，导致数据检索困难
AI 训练数据管理面临的挑战
存储成本居高不下
- 数据以每年翻倍的速度迅猛增长
- 数据采集成本高，价值高，必须长期保留
- 数据存储在对象存储中
数据流转效率低
- 数据流转主要采用对象存储数据同步技术
- 数据同步效率低，同步数据没有版本管理
- 需要大量手工操作
数据安全风险
- 重要的原始数据和结果数据没有保护，无法应对逻辑错误（误操纵、病毒攻击等）导致的数据丢失
- 无法应对灾难事故
数据检索困难
- 由于文件个数高达数十亿，常用数据和过期数据混在一起，导致数据检索困难
方案核心价值
大幅降低存储总成本
- 将不常用的老数据存储到备份/归档平台，可以大大节省数据处理平台和AI训练平台存储容量，并提高数据处理及AI训练的性能
- 备份/归档平台采用分级存储机制，介质成本可节省72%*
确保数据安全合规
- 备份重要的原始数据及结果数据，防止误操作和病毒攻击导致数据破坏
- 备份/归档平台提供多种容灾选项，防止意外灾难
- 提供操作审计功能，满足合规审计要求
提高数据流转效率
- 实现数据处理平台、AI训练平台和备份归档平台之间高效批量流转数据，大幅提升AI训练效率
- 记录数据流转过程中的日志，为监控及系统优化提供原始依据
简化人工操作
- 通过自动化流程。极大简化手动操作步骤，减轻操作压力的同时，减少人为操作失误
- 提供灵活的API接口，可以与业务系统对接，实现高效数据管理
*：采用磁盘+磁带分层存储，比完全磁盘存储节省72%费用。
方案核心价值
大幅降低存储总成本
- 将不常用的老数据存储到备份/归档平台，可以大大节省数据处理平台和AI训练平台存储容量，并提高数据处理及AI训练的性能
- 备份/归档平台采用分级存储机制，介质成本可节省72%*
*：采用磁盘+磁带分层存储，比完全磁盘存储节省72%费用。
确保数据安全合规
- 备份重要的原始数据及结果数据，防止误操作和病毒攻击导致数据破坏
- 备份/归档平台提供多种容灾选项，防止意外灾难
- 提供操作审计功能，满足合规审计要求
提高数据流转效率
- 实现数据处理平台、AI训练平台和备份归档平台之间高效批量流转数据，大幅提升AI训练效率
- 记录数据流转过程中的日志，为监控及系统优化提供原始依据
简化人工操作
- 通过自动化流程。极大简化手动操作步骤，减轻操作压力的同时，减少人为操作失误
- 提供灵活的API接口，可以与业务系统对接，实现高效数据管理
方案技术优势
高效批量数据流转
- 采用多流并发传输技术，实现高效批量数据流转
- 灵活的API接口，可直接对接生产系统
按需批量数据备份/归档
- 根据实际用户需求，对批量数据进行备份/归档
- 备份/归档数据根据策略实现分级存储
- 为备份/归档数据创建元数据索引
数据快速检索
- 通过元数据索引，快速查询备份/归档数据
数据批量恢复
- 支持批量恢复数据到指定存储平台（如：数据处理平台、AI训练平台）
- 采用挂载恢复，用户可直接访问备份/归档数据
方案技术优势
高效批量数据流转
- 采用多流并发传输技术，实现高效批量数据流转
- 灵活的API接口，可直接对接生产系统
按需批量数据备份/归档
- 根据实际用户需求，对批量数据进行备份/归档
- 备份/归档数据根据策略实现分级存储
- 为备份/归档数据创建元数据索引
数据快速检索
- 通过元数据索引，快速查询备份/归档数据
数据批量恢复
- 支持批量恢复数据到指定存储平台（如：数据处理平台、AI训练平台）
- 采用挂载恢复，用户可直接访问备份/归档数据
方案整体架构
方案整体架构
