爱数博客

为了应对数据不合规、数据泄漏和计算机病毒（如勒索病毒）等风险对企业数字资产的威胁，AnyShare Family 7实现了完备的内容处理框架。随着客户需求的不断挖掘，目前内容处理框架可用于内容识别、摘要提取、搜索等多种场景。完整的应用场景如下：
 

我们可以通过杀毒服务和加解密服务来了解内容处理框架是如何运作的。


内容处理服务（Content Pipeline）作为OSS网关服务的一部分，为上游业务服务（内容应用服务，例如元数据，杀毒，文档集，内容分析及检索）提供内容处理能力，按需将原始内容生产适合上游应用服务使用的内容。


内容处理涉及的服务逻辑结构：

 

杀毒原理和应用

AnyShare 杀毒服务，提供实时杀毒、选择文档范围主动发起杀毒的功能。通过启用杀毒服务，可以对文件进行安全管控，未经杀毒的文档不允许下载、预览；也可以对病毒文件采取修复或隔离操作。

杀毒服务的模块交互如下：

• efastdaemon（文档访问微服务）将文件上传、编辑等事件，发送到消息队列，entivirus监听事件，生成上传杀毒的任务。

• entivirus 调用 efastdaemon 的API，获取文档信息、文档下载地址，查杀病毒后，将文件标记未无毒，或者通过API将文件隔离。

• entivirus 访问 对象存储服务，下载待查杀的文件。

• sharemgnt_server 中包含查杀病毒管理和病毒库管理，提供了初始化主动杀毒任务、查询杀毒任务进度、更新病毒库等功能。

• sharesite_server 在分布式跨地域部署场景下，总站点病毒库更新后，会同步病毒库下载地址到分站点，分站点sharesite_server调用分站点 sharemgnt_server 的接口更新病毒库。

• 杀毒任务管理，病毒库管理，相关信息会持久化到MySQL中。

目前AnyShare内置了瑞星杀毒服务，如果要对接其他厂家的杀毒服务，可以通过实现特定的thrift协议来完成。

加解密原理和应用

加解密服务用于满足客户的数据安全需求，可以实现本地密文文件上传到AnyShare后解密并生成摘要标签等用于文档搜索和管理，下载文件时为密文文件；也可以实现本地为明文文件（可信环境）上传后存储为密文文件，防止数据泄漏。

文件的加解密处理流程如下：

• 文档集微服务生成任务（包含任务id，文件doc_id列表等信息）并推送到消息队列中

• 第三方应用微服务订阅相关消息进行任务处理

• 第三方应用微服务调用文件下载接口

• 第三方应用微服务获取文件下载地址

• 第三方应用微服务通过文件下载地址从对象存储获取文档

• 第三方应用微服务加解密处理

• 第三方应用微服务加解密或其他动作完成后，调用请求上传文件接口

• 第三方应用微服务获取文件上传地址

• 第三方应用微服务上传文件

• 第三方应用微服务回执加解密完成的nsq消息

• 文档集微服务获取回执的nsq消息

目前AnyShare已实现华途、亿赛通、绿盾、IPGuard等多个DLP厂商的加解密服务做集成。如果有其他DLP厂商的加解密需求，可以通过实现特定的grpc协议接入。