帮助中心
语言选择
免费试用
AnyBackup
性能爆表
认识数据管理“性能观”
简介
生产系统
传输网络
数据管理平台
“性能爆表”应用场景
百 TB 级数据库
PB 级数据仓库
百亿级小文件
海量虚拟机
大规模测试数据
“性能爆表”数据表现
同行性能对比
产品
AnyBackup Family 8
简介
创新客户价值
我们的客户
副本数据湖
AnyBackup Family 7
AnyBackup Enterprise 7
AnyBackup Express 7
AnyBackup Master Server 7
AnyBackup 软件订阅服务
AnyBackup 订阅服务
订阅一体机
AnyBackup for 华为云
数据保护即服务
Microsoft 365 保护服务
AnyStorage
成功案例
方案
行业方案
金融行业测试数据管理
场景方案
副本数据中台
体系化防勒索病毒
数据中心分级保护
两地三中心灾备
AnyShare 高性能保护
海量非结构化数据分级保护
体系化数据灾备与可观测性
生态方案
副本数据脱敏方案
数据库复制容灾联创方案
创新灾备特性
通用应用数据保护
应用级灾备
灾难恢复管理
国产化数据库保护
工作负载
SaaS
Microsoft 365
云原生
Kubernetes
数据库
Oracle | SQL Server  | MySQL
虚拟化
VMware
大数据
Hadoop | GaussDB | SAP HANA
物理
NAS
资源
Demo中心
不可变存储能力演示
强制数据保留能力演示
灾难恢复管理演示
AnyShare 高性能备份恢复演示
虚拟机跨云容灾演示
混合云灾难恢复演示
Kubernetes 应用迁移演示
副本数据脱敏方案演示
智能灾备运维方案演示
测试数据管理方案演示
社区
产品博客
开发者社区
活动
2023 新品发布会
统一数据管理平台
神盾会
神盾会十三 副本数据中台
神盾会十二 体系化防勒索病毒方案
神盾会十一 应用级灾备
神盾会十 海量数据管理用户体验
神盾会九 测试数据管理
神盾会八 性能爆表
神盾会七 备份数据湖
神盾会六 混合云分级保护解决方案
神盾会五 Kubernetes数据保护
神盾会四 灾难恢复管理
神盾会三 副本数据脱敏方案
神盾会二 大数据平台保护方案
神盾会一 防勒索病毒整体解决方案
在线研讨会
研讨会三 智能灾备运维方案
研讨会二 分布式架构
研讨会一 海量非结构化数据保护方案
SMART 2022
数据驱动型组织
数据即服务
Microsoft 365 保护服务
试用与购买
软件订阅服务
许可模式
价格对比
如何购买
AnyShare
产品
AnyShare Family 7
简介
版本对比
版本升级
电子文档安全管理系统
AnyShare 订阅服务
简介
订阅一体机
for 华为云
一体化优势
企业内容门户
内容即服务
内容数据湖
NAS 数据整合
AnyRobot 可观测性
AnyShare 高性能备份恢复
生产力提升
AnyShare 认知助手
企业云盘
智能搜索
安全策略
知识中心
表格中心
标签及编目
SAP 数据资产管理
Movement 计划
计划简介
产品对比
优惠政策
迁移故事
方案
中台方案
什么是非结构化数据中台
内容即服务
文档治理体系专业服务
知识管理
生态方案
华途
亿赛通
第四范式
浩辰
睿展
网智易通
永中
SAP 数据资产管理
生产力故事
按行业
能源
消费与服务业
制造业
按场景
文档管理
知识管理
安全合规
共享协作
智能搜索
数据迁移
表格自动化
统一内容管理
统一认证登录
业务系统集成
标签及编目
按数据
图片
视频
文档
邮件
表格
元数据
活动

揭秘会集锦

立即观看一气呵成 揭秘会（九）
揭秘会
一气呵成 · 揭秘会（九）
近在咫尺 · 揭秘会（八）
独树一帜 · 揭秘会（七）
始终如一 · 揭秘会（六）
智者见智 · 揭秘会（五）
洞若观火 · 揭秘会（四）
海纳百川 · 揭秘会（三）
川流之下 · 揭秘会（二）
别有洞天 · 揭秘会（一）
行业研讨会
工程勘察设计
新零售
SMART 2022
中台与反脆弱
数据驱动型组织
知识中心服务
文档治理体系
资源
Demo中心
智能搜索-图片搜索
智能搜索-相似结果折叠
AnyShare 高性能备份恢复
资料下载
数据驱动型组织蓝皮书
全域数据治理白皮书
非结构化数据中台白皮书
AnyShare Family 7 产品手册
AnyShare Family 7 技术白皮书
社区
开发者社区
产品博客
专家博客
在线支持
AnyShare 在线帮助
AnyShare 技术知识库
如何购买
我想先试用
知识中心服务
AnyShare Family 7
我已是Anyshare 客户
从V5/V6版本升级到V7
AnyRobot
可观测性
认识“可观测性”
简介
开发测试可观测
IT运维可观测
业务运营可观测
安全合规可观测
“可观测性” 运用场景
统一日志管理及可观测性
云基础设施可观测性
灾备体系可观测性
AnyShare可观测性
可观测性中台
“可观测性” 的对比表现
可观测性与监控的对比
产品
AnyRobot Family 5
AnyRobot Eyes 5
AnyRobot 订阅服务
AnyRobot 订阅一体机
AnyRobot for 私有云
技术优势
机器数据管道
KPI 智能分析
关联分析
SuperAgent
生产力提升
智能告警
可视化及仪表盘
大屏可视化
机器数据湖
AnyShare 可观测性
方案
中台方案
可观测性中台
行业方案
智慧医院
智慧边检
场景方案
统一日志管理及可观测性
云基础设施可观测性
灾备体系可观测性
业务性能监控
AnyShare 可观测性
生态方案
业务性能监控
ITSM 解决方案
运维故事
按行业
电子政务
城商行
垂直政府
石油石化
高校
边检
医院
高端制造
企业
按场景
统一日志管理及可观测性
云基础设施可观测性
灾备体系可观测性
可观测性中台
AnyShare 可观测性
业务性能监控
查看所有
活动
新品发布会
云原生时代的可观测性平台
线上活动
联璧会（四）机器数据湖
联璧会（三）云基础设施运维解决方案
联璧会（二）AnyRobot Library 5
联璧会（一）AnyRobot Eyes 5
在线研讨会 （四）AnyRobot + 听云携手创新智能运维
在线研讨会 （三）AnyRobot & 听云业务性能监控方案
在线研讨会 （二）智能灾备运维方案
在线研讨会 （一）基于 Hub 架构纳管 Splunk
行业研讨会
高校
金融
SMART 2022
中台与反脆弱
数据驱动型组织
智能运维中台
资源
Demo中心
AnyRobot Eyes 5 产品演示
SuperAgent
云基础设施可观测性
统一日志管理及可观测性
机器数据管道
KPI 智能分析
大屏可视化
智能告警
资料下载
数据驱动型组织蓝皮书
全域数据治理白皮书
AnyRobot Family 5 产品手册
AnyRobot Family 5 eBook
社区
开发者社区
产品博客
在线支持
AnyRobot 在线帮助
AnyRobot 技术知识库
如何购买
我想先试用
AnyRobot Family 5
AnyRobot 订阅服务
购买 AnyRobot 订阅服务
部署在私有云
我已是 AnyRobot 客户
一对一在线咨询
我是 AnyRobot 新客户
一对一在线咨询
AnyDATA
领域认知智能
认识“领域认知智能”
了解领域认知智能
了解领域知识网络
了解领域大模型
了解 RAG 模式
Able说AI
ChatGPT来了，知识图谱何去何从？
复旦大学肖仰华：大模型与知识图谱联合驱动的领域认知智能
GPT 对 NLP 领域是福还是祸
大模型真的“大”吗？
到底多有钱，我才能拥有专属大模型？
揭秘Prompt
RAG：大模型落地的秘密武器？
大模型的阴暗面：智能背后的安全隐忧
“大力出奇迹”失效了？领域大模型如何落地
产品
AnyDATA Framework 3
领域知识图谱构建
认知搜索
智能问答
图分析
领域认知应用
AnyShare 认知助手
KWeaver 开源框架
方案
通用方案
领域认知中台解决方案
行业方案
智慧城市产业大脑方案
制造业认知中台解决方案
产业链情报分析与管理解决方案
活动

无界会四 图分析服务

观看回放
无界会
无界会一 认知驱动·先进制造
无界会二 走近领域知识网络
无界会三 产业链知识网络
无界会四 图分析服务
SMART 2022
知识中台重磅亮相
领域智商点亮认知智能
认知智能在智慧城市建设中的应用分享
资源和支持
Demo中心
图分析
产业链知识网络
企业画像
归因分析
智能问答
产业链招商
知识图谱构建
资料下载
智慧城市产业大脑方案白皮书
数据驱动型组织蓝皮书
全域数据治理白皮书
爱分析·数据产品开发市场厂商评估报告
AGI时代的领域认知智能框架 eBook
AnyDATA Framework 3 技术白皮书
社区
开发者社区
产品博客
如何获得支持？
获得认知中台支持，一对一咨询
开源相关技术服务，一对一咨询

爱数博客

全部 AnyBackup AnyShare AnyRobot AnyDATA AnyFabric

Anyshare秒传功能解析

2020-05-26 3692 0
秒传功能具体是什么？


如果服务端存在一个文件，客户端再次上传相同内容的文件，无需实际传输，只需要多条文件记录共同持有这份数据

秒传服务有哪些基本原理？
1 如何判定两个文件内容相同：
     对服务端和客户端的文件都计算校验值，校验值相同的文件，内容相同
     文件校验值和文件名无关
2 采用文件长度、文件前200k内容的md5校验值，整个文件的crc32校验值、md5校验值组合进行秒传判定。有两个步骤：
     (1) 比较文件长度、文件前200k内容的md5校验值，如果任意一个值不匹配，则文件内容肯定不同，避免计算整个文件的校验值
     (2) 如果步骤(1)中两个值相同，再比较整个文件的crc32校验值、md5校验值。两个校验值都相同，文件内容相同，添加文件记录指向已有的数据，秒传成功

Anyshare 是怎么做到秒传文件的？
数据库：
version_data 表中的一条记录代表一个文件数据
version_object 表中的 data_index，指向 version_data 表中的data_index，即实现了多个版本（原始版本和秒传版本）都指向一个文件数据

秒传文件：

(1) 上传一个文件，version_object表中一条记录指向version_data表中一条记录，文件的校验值未计算
(2) 服务端计算文件的校验值
(3) 上传相同内容文件，秒传校验码协议， length、slice_md5相同
(4) 秒传文件协议， length 、md5、crc32相同
(5) 添加一条version_object记录，指向同一条version_data表记录

删除文件：

(1) 有多条版本对象记录指向同一条数据记录
(2) 删除时，只删除version_object中的记录
(3) 只有一条版本记录指向数据记录时，删除version_data和version_object表中这两条记录，并删除存储中的数据

Anyshare 秒传功能实测

1 查看控制台配置，确认已经开启文件秒传功能



2 通过客户端上传已经上传过的文件，秒传成功


 

请就本文对您的益处进行评级：

返回 下一篇：视频详解｜AnyShare运维分析方案

标签

产品技术

相关文章

AnyShare Family 7.0.5.5发布，更智能、更开放的知识创建及管理！

AnyShare Family 7.0.5.5发布，更智能、更开放的知识创建及管理！

AnyShare Family 7.0.5.4发布，更智能、更易用的工作流！

AnyShare Family 7.0.5.4发布，更智能、更易用的工作流！

AnyShare Family 7.0.5.3发布，提升智能化文本撰写能力！

AnyShare Family 7.0.5.3发布，提升智能化文本撰写能力！

热门标签

版本发布 在线教学

热门文章

AnyRobot Family 5.0.2.7版本发布通知 AnyShare Family 7.0.5.5发布，更智能、更开放的知识创建及管理！ Able 说 AI 丨 大模型中立：构筑全场景业务赋能的认知智能架构

最近文章

AnyFabric Family 更易用、更安全、更智能！ Able 说 AI 丨 大模型中立：构筑全场景业务赋能的认知智能架构 AnyShare Family 7.0.5.5发布，更智能、更开放的知识创建及管理！
关于爱数
公司新闻
公司活动
客户成功故事
加入爱数
联系我们
如何购买
已有注册账户
加入伙伴生态
登录合作伙伴门户
进入伙伴赋能中心
快速链接
开发者社区
专家博客
知识库
隐私声明法律声明用户协议Cookie声明廉洁协议云服务等级协议（SLA）
电话咨询
联系爱数
销售咨询：400 8216055
技术咨询：400 8801569
在线交流
关注爱数
联系销售
技术支持

版权所有 © 2006-2023 上海爱数信息技术股份有限公司 沪ICP备09089247号 沪公网安备 31011202011832

语言选择
关于爱数
公司新闻
公司活动
客户成功故事
加入爱数
联系我们
如何购买
已有注册账户
加入伙伴生态
登录合作伙伴门户
进入伙伴赋能中心
快速链接
开发者社区
专家博客
知识库
电话咨询
联系爱数
销售咨询：400 8216055
技术咨询：400 8801569
在线交流
关注爱数
联系销售
技术支持
语言选择
隐私声明法律声明用户协议Cookie声明廉洁协议云服务等级协议（SLA）

版权所有 © 2006-2023 上海爱数信息技术股份有限公司 沪ICP备09089247号 沪公网安备 31011202011832

关于爱数
公司新闻
公司活动
客户成功故事
加入爱数
联系我们
如何购买
已有注册账户
加入伙伴生态
登录合作伙伴门户
进入伙伴赋能中心
快速链接
开发者社区
专家博客
知识库
电话咨询
联系爱数
销售咨询：400 8216055
技术咨询：400 8801569
在线交流
关注爱数
联系销售
技术支持
语言选择
隐私声明法律声明用户协议Cookie声明廉洁协议云服务等级协议（SLA）

版权所有 © 2006-2023 上海爱数信息技术股份有限公司 沪ICP备09089247号 沪公网安备 31011202011832

扫码关注「爱数官方微信」

扫码关注「爱数服务号」

大数据基础设施领航者

抖音扫一扫 查看更多精彩视频

大数据基础设施领航者

拨打400

免费销售咨询热线

400 8216055

7*24 小时免费售后服务热线

400 880 1569

购买咨询

购买咨询

售后服务

售后服务

申请试用

申请试用

返回顶部

免费销售咨询热线: 400 8216055

7*24 小时免费售后服务热线: 400 880 1569

拨打400

拨打400

购买咨询

购买咨询

售后服务

售后服务

申请试用

申请试用

为了给您提供更优质的服务，请您先完善以下信息：
确认提交

扫码关注

爱数技术支持中心公众号