爱数新闻

近年来，随着互联网的高速发展，数据总量呈爆炸式增长的趋势，各种档案文件（学校）、图片文件（电商）、影像文件（PACS影像系统）、结算单（金融）、图纸文件（事业单位）等非结构化数据，已逐渐成为了大数据的代名词。社交网络、移动通信、电子商务、电子存档等各种应用，产生了数亿级甚至百亿级的海量小文件（LOSF，lots of small files）。

小文件分布广、数量大，且发挥着重要的作用。然而，天灾人祸等意外情况又屡有发生，导致小文件数据面临着巨大威胁。但是小文件数据保护，一直是业界的难题，为什么难以解决呢？举个例子：一块石头和一盘散沙，哪一个更难保护呢？风来了，护住石头某一个角即可，但盘子里的散沙，就难护住了。

不过别着急，海量小文件数据保护，爱数AnyBackup有妙招。

小文件存储方式

要想保护好小文件数据，首先必须弄清楚，小文件数据都是如何存储的，从而针对性地保护。

目前，小文件数据的存储方式主要有普通文件服务器、共享式NAS存储系统、分布式文件系统三种主流存储方式，以及其他针对性的存储方式。

爱数小文件数据保护技术

针对上述三种主流的海量小文件场景，爱数AnyBackup通过块级数据保护、文件级别数据保护技术，对其提供针对性的高效保护方式。

块级数据保护技术

整个数据保护过程是基于块级别来存储数据的，因此，在普通文件服务器、基于虚拟化平台的文件服务器场景下，数据保护的效率非常高。数据块持续跟踪技术，可对增量变化的数据进行后续增量保护，可进一步缩短备份时间，提高保护效率。

• 整机级别：若文件服务器只在一台或几台虚拟机上，可在虚拟化层面上对虚拟机进行整机备份或通过CDP方式来备份，无需将备份代理安装到文件服务器中，如通过调用VMware的VADP和IOFilter的开放接口实现。

• 磁盘级别：在服务器操作系统上安装备份代理，基于系统API直接读取硬盘块数据。在CDP场景中，还需额外考虑磁盘层数据块变化持续跟踪技术。磁盘级别的保护无需考虑操作系统如何划卷、文件系统格式是什么。

• 存储镜像级别：对文件服务器存储进行快照，然后将存储的快照进行镜像备份，通常基于Lun裸卷进行，需依赖于存储接口来完成。

• 卷层级别：通过在服务器操作系统上安装备份代理，基于系统API获取硬盘分区表，分析卷属性获取卷位图信息，从而获取卷中数据块。与磁盘级别备份的区别在于，需分析分区表和文件系统格式，才知道卷起始位置和结束位置。若再加入CDP场景，还需额外考虑卷层数据块变化持续跟踪技术。但该种保护无需考虑文件的具体分布，只要在该卷上即可。

文件级数据保护技术

由于每个文件都要完成文件索引、元数据、内容获取等过程，导致单个文件所耗费的时间无法改变。在这种情况下，可通过并发与打包、文件级重复数据删除技术，从而使数据保护的整体效率大幅提升。

• NDMP：通过NDMP协议，备份代理调用相应接口完成文件存取。该场景中备份代理直接与存储对接，无需经过NAS挂载的操作系统，不仅减少了NAS的网络延迟，还能快速地将文件以存储厂商支持的格式提取出来，以节省备份时间。同时，NDMP还提供了多个级别的增量备份，可根据实际情况选择，从而提升备份速率。

• HTTP并发请求：备份代理调用相应接口进行存取数据。该场景中数据保护最大的挑战在于网络带宽和数据传递环节。如果没有特殊处理分布式存储中小文件的请求，获取一个文件至少需发送一次请求，将导致效率低下。因此，数据保护时，应明确该分布式文件系统的架构，从而针对性提高效率，如通过多并发来解决网络空闲等待的问题。该方式在数据增量变化的跟踪上往往采用时间戳或归档位版本增量的方式来完成，前者逻辑较简单，后者要求分布式文件系统具备内部归档位处理，逻辑较为复杂。

• 本地API并发+打包技术：前期规划时未考虑到数据保护，而后期需保护的服务器中，小文件数量已经非常大，且分布较为松散。此时若无法使用磁盘级别、卷层备份，通常采用系统API进行多并发存取文件的方式。在有额外的存储空间时，可考虑先对文件进行打包，再进行存取和传输，虽然打包也要耗费相应的时间，但在小文件数量较大的场景中，仍能够提高保护效率。

有了爱数AnyBackup提供的小文件数据保护技术，还担心小文件这盘散沙无法保护吗？不管是狂风暴雨，还是人为误操作，爱数AnyBackup为您提供高效保护。