爱数新闻

在讨论海量日志分析技术之前，我们先来讨论一下什么是海量日志。

海量日志是大数据的重要组成部分。数据仓库之父比尔.恩门(Bill Inmon) 在他的2016年的新书《数据架构》中提到，企业中数据的组成部分中，非结构化的数据占比已经达到了 70% 以上。而这些非结构化数据中，占据主导位置的是日志数据，可以说日志数据是“大数据”分析的核心。

这些数据贯穿所有的企业经营活动，用户的操作行为、服务器的系统日志、网络设备的日志记录、应用程序的调试日志等等，会直接影响企业的日常运行，与IT运维人员也是息息相关。

海量的日志数据十分满足大数据的4V特征：

日志样例

那么，海量日志的威力有多大呢？我们可以通过一组数据来感受一下。

假设有一个对外应用服务器集群，产生日志的速度为10000条/s，每条日志的平均大小为200字节，那么这个应用服务器每天、每月、每年的日志增量为：

这么多的数据，我们如何来进行分析呢？一方面我们需要能够处理更多的数据，另一方面，我们希望查询结果更加的实时（例如：1秒之内返回结果）。

如果这些数据在关系型数据库的世界里，数据以行的方式存储，假设我们需要对数以亿计的数据中的某一个数据进行求和计算，那么首先，我们需要将所有这些数据全部读出来，找到对应的字段，然后进行累加，而我们的计算瓶颈完全取决于磁盘的读写能力。

我们可以用分库或者分表的方式将数据库进行拆分，增加系统并行计算的能力，但是可能依然需要数百台设备才能在1s之内返回这些数据。然而我们没有这么多机器，那么只能慢慢等待分析任务执行完毕。如此一来，既耗时又费力。

▼

后来，大数据技术诞生了。在大数据分析的场景中，列式存储架构取代了行式存储。如果要对某一个字段进行统计，只需要读取相应列的数据，不需要进行整个表的遍历，这样一来，需要读取的数据量变小了，同时，MapReduce 也能够使得分析应用更好地实现分布式计算。

可即便如此，计算的瓶颈依然在磁盘的读写效率上，计算速度并没有本质的变化，如果需要做实时数据的分析，还是需要大投入大量的存储和计算资源。

行式数据库vs列式数据库

▼

从逻辑上来说，如果要对海量的数据进行快速的分析，在资源不变的前提下，最好的方法就是减少每次计算所需要读取的数据量。但是如果减少了数据量的读取，分析的结果就无法做到更大的覆盖范围和更加精准的结果。

基于这个思考，我们可以将计算分层，将最近一段时间产生的数据放在实时要求高的数据存储中，使用更好的计算资源来进行分析，将更长时间的历史数据存入离线存储设备中进行批量计算，这部分计算时间可能长达数十分钟或者数个小时，但是计算的结果可以用于和实时分析的结果进行合并，使得分析的覆盖范围和结果的精准度不受影响。

在大数据分析技术中，还有一项非常重要的技术 —— 流式计算，即数据进入系统时就进行必要的预处理操作，这部分的处理，同样减少了后续数据分析中所需要读取的数据量。

海量日志分析技术数据流程图

爱数 AnyRobot Family 3.0（下面简称 AnyRobot） 海量日志分析融入了大数据分析技术，其核心要点在于三个重要方面：海量日志的采集处理、海量日志的存储、海量日志的分析。下面，我们就以AnyRobot为例剖析海量日志分析技术。