帮助中心
语言选择
免费试用
AnyBackup
性能爆表
认识数据管理“性能观”
简介
生产系统
传输网络
数据管理平台
“性能爆表”应用场景
百 TB 级数据库
PB 级数据仓库
百亿级小文件
海量虚拟机
大规模测试数据
“性能爆表”数据表现
同行性能对比
产品
AnyBackup Family 8
简介
创新客户价值
我们的客户
副本数据湖
AnyBackup Family 7
AnyBackup Enterprise 7
AnyBackup Express 7
AnyBackup Master Server 7
AnyBackup 软件订阅服务
AnyBackup 订阅服务
订阅一体机
AnyBackup for 华为云
数据保护即服务
Microsoft 365 保护服务
AnyStorage
成功案例
方案
行业方案
金融行业测试数据管理
场景方案
副本数据中台
体系化防勒索病毒
数据中心分级保护
两地三中心灾备
AnyShare 高性能保护
海量非结构化数据分级保护
体系化数据灾备与可观测性
生态方案
副本数据脱敏方案
数据库复制容灾联创方案
创新灾备特性
通用应用数据保护
应用级灾备
灾难恢复管理
国产化数据库保护
工作负载
SaaS
Microsoft 365
云原生
Kubernetes
数据库
Oracle | SQL Server  | MySQL
虚拟化
VMware
大数据
Hadoop | GaussDB | SAP HANA
物理
NAS
资源
Demo中心
不可变存储能力演示
强制数据保留能力演示
灾难恢复管理演示
AnyShare 高性能备份恢复演示
虚拟机跨云容灾演示
混合云灾难恢复演示
Kubernetes 应用迁移演示
副本数据脱敏方案演示
智能灾备运维方案演示
测试数据管理方案演示
社区
产品博客
开发者社区
活动
2023 新品发布会
统一数据管理平台
神盾会
神盾会十三 副本数据中台
神盾会十二 体系化防勒索病毒方案
神盾会十一 应用级灾备
神盾会十 海量数据管理用户体验
神盾会九 测试数据管理
神盾会八 性能爆表
神盾会七 备份数据湖
神盾会六 混合云分级保护解决方案
神盾会五 Kubernetes数据保护
神盾会四 灾难恢复管理
神盾会三 副本数据脱敏方案
神盾会二 大数据平台保护方案
神盾会一 防勒索病毒整体解决方案
在线研讨会
研讨会三 智能灾备运维方案
研讨会二 分布式架构
研讨会一 海量非结构化数据保护方案
SMART 2022
数据驱动型组织
数据即服务
Microsoft 365 保护服务
试用与购买
软件订阅服务
许可模式
价格对比
如何购买
AnyShare
产品
AnyShare Family 7
简介
版本对比
版本升级
电子文档安全管理系统
AnyShare 订阅服务
简介
订阅一体机
for 华为云
一体化优势
企业内容门户
内容即服务
内容数据湖
NAS 数据整合
AnyRobot 可观测性
AnyShare 高性能备份恢复
生产力提升
AnyShare 认知助手
企业云盘
智能搜索
安全策略
知识中心
表格中心
标签及编目
SAP 数据资产管理
Movement 计划
计划简介
产品对比
优惠政策
迁移故事
方案
中台方案
什么是非结构化数据中台
内容即服务
文档治理体系专业服务
知识管理
生态方案
华途
亿赛通
第四范式
浩辰
睿展
网智易通
永中
SAP 数据资产管理
生产力故事
按行业
能源
消费与服务业
制造业
按场景
文档管理
知识管理
安全合规
共享协作
智能搜索
数据迁移
表格自动化
统一内容管理
统一认证登录
业务系统集成
标签及编目
按数据
图片
视频
文档
邮件
表格
元数据
活动

揭秘会集锦

立即观看一气呵成 揭秘会（九）
揭秘会
一气呵成 · 揭秘会（九）
近在咫尺 · 揭秘会（八）
独树一帜 · 揭秘会（七）
始终如一 · 揭秘会（六）
智者见智 · 揭秘会（五）
洞若观火 · 揭秘会（四）
海纳百川 · 揭秘会（三）
川流之下 · 揭秘会（二）
别有洞天 · 揭秘会（一）
行业研讨会
工程勘察设计
新零售
SMART 2022
中台与反脆弱
数据驱动型组织
知识中心服务
文档治理体系
资源
Demo中心
智能搜索-图片搜索
智能搜索-相似结果折叠
AnyShare 高性能备份恢复
资料下载
数据驱动型组织蓝皮书
全域数据治理白皮书
非结构化数据中台白皮书
AnyShare Family 7 产品手册
AnyShare Family 7 技术白皮书
社区
开发者社区
产品博客
专家博客
在线支持
AnyShare 在线帮助
AnyShare 技术知识库
如何购买
我想先试用
知识中心服务
AnyShare Family 7
我已是Anyshare 客户
从V5/V6版本升级到V7
AnyRobot
可观测性
认识“可观测性”
简介
开发测试可观测
IT运维可观测
业务运营可观测
安全合规可观测
“可观测性” 运用场景
统一日志管理及可观测性
云基础设施可观测性
灾备体系可观测性
AnyShare可观测性
可观测性中台
“可观测性” 的对比表现
可观测性与监控的对比
产品
AnyRobot Family 5
AnyRobot Eyes 5
AnyRobot 订阅服务
AnyRobot 订阅一体机
AnyRobot for 私有云
技术优势
机器数据管道
KPI 智能分析
关联分析
SuperAgent
生产力提升
智能告警
可视化及仪表盘
大屏可视化
机器数据湖
AnyShare 可观测性
方案
中台方案
可观测性中台
行业方案
智慧医院
智慧边检
场景方案
统一日志管理及可观测性
云基础设施可观测性
灾备体系可观测性
业务性能监控
AnyShare 可观测性
生态方案
业务性能监控
ITSM 解决方案
运维故事
按行业
电子政务
城商行
垂直政府
石油石化
高校
边检
医院
高端制造
企业
按场景
统一日志管理及可观测性
云基础设施可观测性
灾备体系可观测性
可观测性中台
AnyShare 可观测性
业务性能监控
查看所有
活动
新品发布会
云原生时代的可观测性平台
线上活动
联璧会（四）机器数据湖
联璧会（三）云基础设施运维解决方案
联璧会（二）AnyRobot Library 5
联璧会（一）AnyRobot Eyes 5
在线研讨会 （四）AnyRobot + 听云携手创新智能运维
在线研讨会 （三）AnyRobot & 听云业务性能监控方案
在线研讨会 （二）智能灾备运维方案
在线研讨会 （一）基于 Hub 架构纳管 Splunk
行业研讨会
高校
金融
SMART 2022
中台与反脆弱
数据驱动型组织
智能运维中台
资源
Demo中心
AnyRobot Eyes 5 产品演示
SuperAgent
云基础设施可观测性
统一日志管理及可观测性
机器数据管道
KPI 智能分析
大屏可视化
智能告警
资料下载
数据驱动型组织蓝皮书
全域数据治理白皮书
AnyRobot Family 5 产品手册
AnyRobot Family 5 eBook
社区
开发者社区
产品博客
在线支持
AnyRobot 在线帮助
AnyRobot 技术知识库
如何购买
我想先试用
AnyRobot Family 5
AnyRobot 订阅服务
购买 AnyRobot 订阅服务
部署在私有云
我已是 AnyRobot 客户
一对一在线咨询
我是 AnyRobot 新客户
一对一在线咨询
AnyDATA
领域认知智能
认识“领域认知智能”
了解领域认知智能
了解领域知识网络
了解领域大模型
了解 RAG 模式
Able说AI
ChatGPT来了，知识图谱何去何从？
复旦大学肖仰华：大模型与知识图谱联合驱动的领域认知智能
GPT 对 NLP 领域是福还是祸
大模型真的“大”吗？
到底多有钱，我才能拥有专属大模型？
揭秘Prompt
RAG：大模型落地的秘密武器？
大模型的阴暗面：智能背后的安全隐忧
“大力出奇迹”失效了？领域大模型如何落地
产品
AnyDATA Framework 3
领域知识图谱构建
认知搜索
智能问答
图分析
领域认知应用
AnyShare 认知助手
KWeaver 开源框架
方案
通用方案
领域认知中台解决方案
行业方案
智慧城市产业大脑方案
制造业认知中台解决方案
产业链情报分析与管理解决方案
活动

无界会四 图分析服务

观看回放
无界会
无界会一 认知驱动·先进制造
无界会二 走近领域知识网络
无界会三 产业链知识网络
无界会四 图分析服务
SMART 2022
知识中台重磅亮相
领域智商点亮认知智能
认知智能在智慧城市建设中的应用分享
资源和支持
Demo中心
图分析
产业链知识网络
企业画像
归因分析
智能问答
产业链招商
知识图谱构建
资料下载
智慧城市产业大脑方案白皮书
数据驱动型组织蓝皮书
全域数据治理白皮书
爱分析·数据产品开发市场厂商评估报告
AGI时代的领域认知智能框架 eBook
AnyDATA Framework 3 技术白皮书
社区
开发者社区
产品博客
如何获得支持？
获得认知中台支持，一对一咨询
开源相关技术服务，一对一咨询

爱数博客

全部 AnyBackup AnyShare AnyRobot AnyDATA AnyFabric

并行重删如何保证效率？（上篇）

2020-06-02 3629 3
传统重删模式大多基于单个节点进行，此方案在大数据时代，容易面临数据访问、处理性能不足，存储空间资源紧张等挑战。AnyBackup 7 采用并行重删技术，通过在多个不同的节点上构建指纹库，并将指纹并行分布于多个节点，有效解决单点性能和存储空间压力问题。

我相信很多人和我有相同的疑问：指纹库分布于多个节点，数据块的指纹会发送到不同的节点进行重删；如果一个数据块的指纹第一次在节点1进行去重并记录，下一次备份时有一个相同的数据块，而它的指纹可能发送至其他的节点，那将会被作为非重复的数据块重新进行去重并写入数据，这样势必会降低重删率和备份性能。
带着这个疑问，我开始做一些探索。

首先，我了解到 AnyBackup 7 的指纹库设计：

指纹库设计

指纹库分为逻辑指纹库和物理指纹库，以 AnyBackup 7.0.8 为例：
  • 逻辑指纹库：逻辑指纹库指操作员界面上建立的指纹库，界面上建立一个逻辑指纹库，后台会建立 32 个物理指纹库，这些物理指纹库尽量平均的分布在指纹池所选的所有节点。
  • 物理指纹库：每个节点上真实的指纹库。
为什么是 32 个物理指纹库呢？这是为了适配后续的版本大于 3 个节点的集群环境，这样的设计，可以让重删集群最大可以使用到 32 个节点。

指纹映射

  • 数据切片计算出指纹后依照一定映射规则，发送至映射的物理指纹库内进行查询。
  • 指纹映射规则一致，保证相同的指纹一定存放在同一个物理节点指纹库内。

其中的奥秘已经慢慢被揭开：关键就在于指纹映射，通过指纹映射统一的规则，保证相同的指纹一定存放在同一个物理节点指纹库内。从而保证相同的数据块会进行去重，前文提到的疑问中的情况不会发生。可以减少并行重删时每次都要查找全部指纹的时间损耗，并在保证重删率不减少的前提，线性提升单个指纹库的重删容量，可适用于更大数据量的备份场景，备份窗口更小。
那么指纹的映射规则具体是如何实现，这里先留一个悬念，在下篇再进行分享。

相关文章：
并行重删如何保证效率？（下篇）

请就本文对您的益处进行评级：

返回 下一篇：AnyBackup 7.0 的群集架构究竟是...

标签

产品技术

相关文章

AnyBackup Family 8.0.2.0 发布通知

AnyBackup Family 8.0.2.0 发布通知

AnyBackup Family 7.0.18.2 发布通知

AnyBackup Family 7.0.18.2 发布通知

AnyBackup Family 8.0.1.0 发布通知

AnyBackup Family 8.0.1.0 发布通知

热门标签

版本发布 在线教学

热门文章

AnyRobot Family 5.0.2.7版本发布通知 AnyShare Family 7.0.5.5发布，更智能、更开放的知识创建及管理！ Able 说 AI 丨 大模型中立：构筑全场景业务赋能的认知智能架构

最近文章

Able 说 AI 丨 大模型中立：构筑全场景业务赋能的认知智能架构 AnyShare Family 7.0.5.5发布，更智能、更开放的知识创建及管理！ AnyRobot Family 5.0.2.7版本发布通知
关于爱数
公司新闻
公司活动
客户成功故事
加入爱数
联系我们
如何购买
已有注册账户
加入伙伴生态
登录合作伙伴门户
进入伙伴赋能中心
快速链接
开发者社区
专家博客
知识库
隐私声明法律声明用户协议Cookie声明廉洁协议云服务等级协议（SLA）
电话咨询
联系爱数
销售咨询：400 8216055
技术咨询：400 8801569
在线交流
关注爱数
联系销售
技术支持

版权所有 © 2006-2023 上海爱数信息技术股份有限公司 沪ICP备09089247号 沪公网安备 31011202011832

语言选择
关于爱数
公司新闻
公司活动
客户成功故事
加入爱数
联系我们
如何购买
已有注册账户
加入伙伴生态
登录合作伙伴门户
进入伙伴赋能中心
快速链接
开发者社区
专家博客
知识库
电话咨询
联系爱数
销售咨询：400 8216055
技术咨询：400 8801569
在线交流
关注爱数
联系销售
技术支持
语言选择
隐私声明法律声明用户协议Cookie声明廉洁协议云服务等级协议（SLA）

版权所有 © 2006-2023 上海爱数信息技术股份有限公司 沪ICP备09089247号 沪公网安备 31011202011832

关于爱数
公司新闻
公司活动
客户成功故事
加入爱数
联系我们
如何购买
已有注册账户
加入伙伴生态
登录合作伙伴门户
进入伙伴赋能中心
快速链接
开发者社区
专家博客
知识库
电话咨询
联系爱数
销售咨询：400 8216055
技术咨询：400 8801569
在线交流
关注爱数
联系销售
技术支持
语言选择
隐私声明法律声明用户协议Cookie声明廉洁协议云服务等级协议（SLA）

版权所有 © 2006-2023 上海爱数信息技术股份有限公司 沪ICP备09089247号 沪公网安备 31011202011832

扫码关注「爱数官方微信」

扫码关注「爱数服务号」

大数据基础设施领航者

抖音扫一扫 查看更多精彩视频

大数据基础设施领航者

拨打400

免费销售咨询热线

400 8216055

7*24 小时免费售后服务热线

400 880 1569

购买咨询

购买咨询

售后服务

售后服务

申请试用

申请试用

返回顶部

免费销售咨询热线: 400 8216055

7*24 小时免费售后服务热线: 400 880 1569

拨打400

拨打400

购买咨询

购买咨询

售后服务

售后服务

申请试用

申请试用

为了给您提供更优质的服务，请您先完善以下信息：
确认提交

扫码关注

爱数技术支持中心公众号