爱数博客

全部 AnyBackup AnyShare AnyRobot AnyDATA AnyFabric DIP

浅谈 AnyShare ECeph 存储技术优势

2020-04-02 5953 0
ECeph是一个可大规模横向扩展的分布式对象存储系统,提供可支持纠删码数据冗余策略的对象存储服务。 ECeph对象存储系统通过软件将通用硬件的本地存储资源整合从而构建全分布式存储池,提供企业级的可靠性和可用性。
ECeph对象存储系统可以选配AnyShare文档云(外置或者内置),为客户打造分布式存储解决方案及统一文档云方案,助力解决客户的非结构化数据统一存储和管理难题。
 
技术优势

自动校验
对于云中心的海量数据,有一定概率发生数据块静默损坏,如果读取到损坏数据块后直接传输给上层应用,将导致不可预知后果。
ECeph在后台,以较低优先级,以每天为周期自动执行普通校验任务(对比所有数据块的基本属性与状态)和以星期为周期的深度校验(对比数据块的所有数据位计算得出的CRC)。自动校验任务可发现并自动修复损坏的数据块,保障数据的可靠性。


故障自愈
在分布式系统中,常见的故障有网络链路故障、掉电、服务器宕机、硬盘故障等,ECeph能够容忍这些故障,并进行自动修复(默认自动修复时间15分钟后),使系统自动恢复到健康状态,保证数据的可靠性和系统可用性。

自愈过程:
1. 当系统中某些磁盘失去响应后(网络中断、节点掉电、硬盘故障等原因导致),受影响的存储池处于降级状态,其有效的副本数是N-1。
2. ECeph重新计算数据块映射,复制新的副本数据块,以保证存储池的有效副本数是N这个过程为recovering。
3. recovering是并行的,以保证recovering过程并行、高效。CRUSH算法使得所有磁盘上的主数据块和副本数据块在recovering后仍然保持均衡分布。
4. recovering完成后,即ECeph自愈完成,系统恢复健康状态,可抵御下一次故障风险(注:ECeph节点/磁盘组数量大于副本数量才能执行自动修复)。

智能数据均衡
ECeph集群增加节点(磁盘)或减少节点(磁盘)时,CRUSH算法总是以最小化数据迁移,使数据均衡分布。
数据均衡的过程是并发进行的,实现数据在较短的时间内恢复其完整性;但它运行在较低的优先级,以尽量减少对业务的影响。

删减节点
ECeph支持系统规模自动收缩。分布式存储系统中的节点可能被主动从集群中删除,或是因为故障,而被系统删除。
节点删除后会触发recovering,通过计算失效节点上的数据,从其它副本上再拷贝一份到新的磁盘上。

添加节点
ECeph支持系统规模自动扩张。用户只需几步操作,即可将新节点无缝加入到ECeph集群中。
新加入节点会触发数据迁移,从而保证所有节点上的数据量基本平衡。

磁盘变动
如果磁盘故障超时,也会触发recovering,数据修复过程遵循数据再平衡原则,保证所有磁盘上的数据总量基本一致。
同样,如果插入新的磁盘,并加入到集群中,这会触发数据主动再平衡,这个过程与添加节点类似。

数据条带
存储设备都有吞吐量限制,它会影响性能和伸缩性,所以存储系统一般都支持条带化(把连续的信息分片存储于多个设备)以增加吞吐量和性能。ECeph的条带化提供了类似RAID0一样的吞吐量、RAID镜像组一样的可靠性和更快的恢复。
ECeph的对象存储把展现给用户的数据格式(REST风格对象)转换为可存储于RADOS分布式存储集群的对象。条带化就是将对象进行条带化处理在处理大对象时条带化成一个对象集中的多个对象能带来显著的读/写性能提升。并行地写入相应对象时,将会呈现出明显的写性能提高,因为对象映射到了不同的归置组、并进一步映射到不同 OSD ,可以并行地以最大速度写入。


多租户
租户即对象存储资源的使用者,可拥有和管理Bucket。多租户技术的实现重点,在于不同租户间应用程序环境的隔离(application context isolation)以及数据的隔离(data isolation),以维持不同租户间应用程序不会相互干扰,同时数据的保密性也够强。

 
核心价值
 
分布式存储,随需而用
ECeph以全对称、分布式架构为基础,使用通用的x86架构硬件,构建一个海量存储资源池,提供分布式对象存储服务,为上层应用提供Amazon S3接口。

以弹性高效满足未来数据存取需求
ECeph采用分布式架构,支持通过横向扩展硬件节点线性地增加系统性能及容量,能满足用户日益增长的数据存储需求,初期无需复杂的资源规划。系统提供数据的自动均衡策略,当系统中磁盘出现故障时,数据能重新均衡到各个磁盘。系统采用CRUSH算法,能有效的解决元数据访问的瓶颈问题,客户端无需查表,可通过计算直接得出数据存储的位置。

自动化数据服务于运维管理
ECeph提供了自动化的管理平台,通过管理平台能轻松完成业务配置,并提供告警、性能报表等丰富的监控和管理功能。
 

请就本文对您的益处进行评级:

标签

产品功能

相关文章

热门标签

版本发布 在线教学
chat
support
trial
为了给您提供更优质的服务,请您先完善以下信息:
确认提交

扫码关注

爱数技术支持中心公众号

请选择:

请选择咨询类型

AnyShare
AnyBackUp
AnyRobot

扫码关注

爱数技术支持中心公众号

contact us

提交成功!

我们将在 24 小时之内联系你。