中央音乐学院求学记：五线谱上的“日志云”，让音符更安全地跃动

        爱数 AnyRobot 日志云从“1.0”成长到“2.0”以后，在爱数数据管理大家庭进一步成长。但是实践是检验实力的标准，于是 AnyRobot 开始游学之旅。
      初到央音
        来到北京西城区鲍家街43号这里是全国艺术院校中唯一一所国家重点大学和“211”工程建设院校中央音乐学院的所在地

        听说在中央音乐学院的生活是这样的：

        爱数 AnyRobot 日志云在学院门槛流连忘返，握紧小拳头，下定决心要成为这诺大学院的一员。

        认识学院
        中央音乐学院网络与信息办公室的主任接见了爱数 AnyRobot 日志云，先介绍了学院网络与信息办公室的基本情况，然后留了一道关于“日志合规”的入学考题。
        入学考题是这样的：

        学院网络与信息办公室于2006年3月，兼有学院信息化建设应用服务与校园 IT 应用硬件环境建设与管理两个职能。随着学院智慧校园建设的发展，新校园一卡通系统、新校园办公系统等陆续上线和运营，每天无时无刻不在产生海量的日志数据。
         2017年6月1日，《中华人民共和国网络安全法》正式施行，要求网络运营者留存网络安全日志不少于六个月。

        但是，由于学院网络与信息办公室之前没有主动采取任何有效的日志存储管理措施，日志默认分布于大量设备自身的日志缓存或者日志文件中，信息非常庞杂，而且通常只保留很短一段时间后就丢弃了，之后再也无人过问。
         学院在实际的日志合规建设中遭遇了以下问题：
        Problem 1 : 50+ 数据源
        50+ 数据源，涵盖网络设备、Oracle 数据库、服务器、操作系统等不同来源的日志，日志格式和内容千差万别，很难识别日志含义。
        Problem 2 : 100GB+ 每日日志增量
        100GB+ 每日日志增量，一个月内就达到4 亿+ 日志事件，根据网络安全法中至少留存六个月以上的要求，预估至少需要 18T 的存储空间。
        Problem 3 : 日志分散
        原先日志分散存储在各个服务器中，存储周期不一致，偶有人为删除操作或黑客恶意删除行为，很难做到全平台、全量日志统一安全存储。

小试牛刀

        2016年，从诞生于爱数数据管理大家庭开始，爱数 AnyRobot 日志云就专攻“日志管理与分析”方向，对于网络安全法的日志合规存储要求当然不在话下。
        爱数 AnyRobot 日志云走进了中央音乐学院的数据中心考堂，在这度过了充实的四天。

解决方案拓扑示意图

        在日志合规存储核心需求之外，爱数 AnyRobot 日志云如何玩出花样来？
         场景一：提供智能的日志划词解析方法。通过框选日志中所需的内容即可提取字段，与之前纯手动编写正则表达式提取字段相比，能够大大提高工作效率，降低使用门槛。

    正则划词解析示意图

        场景二：学院网络与信息办公室从组织架构上划分为网络运行维护部、用户服务部、信息与应用部这三个科室，AnyRobot 能够将不同来源主机、不同日志类型的日志数据归集到不同的日志分组，方便各科室快速查看其分管的设备日志，而无需重复输入各设备的账号密码。

日志分组管理示意图

        学有所成
        2017年12月，爱数 AnyRobot 日志云收到了学院网络与信息办公室主任的真诚寄语。
         “网络安全法对学院的 IT 合规建设提出了挑战，而你运用海量日志集中统一存储管理能力，为学院化解了日志合规难题，让我们能够更安心的、更专注的响应业务需求。” 随之而来的，还有一份梦寐以求的“录取通知书”。