前方高能！日志解析的深渊与救赎

1、结构化是日志解析绕不过的坎

尽管对日志的分析已经形成了一些相对成熟的使用场景，例如日志降噪，RCA等等，但是日志的结构化解析一直没有很好的解决方案。从SOC到现在的AIOps，日志的结构化已经逐渐形成了一个门槛，甚至让很多日志分析相关的项目倒在这个门槛前。

业界也有一些解决方案，例如：CEF的倡导者Anton Chuvakin 是SIEM的资深专家，他从2006年开始提倡安全厂商遵循一个统一标准的CEF输出日志，就是为了降低日志解析难度，能够用最小的成本实现日志的分类。在他2019年的一篇文章中（见文末参考文献），他不得不承认CEF实际上是失败的，在不同厂商之间统一标准几乎是一个不可能完成的任务。

另一个正在进行的尝试是结构化日志，即输出日志的时候已经是结构化的，例如json。实际上，这个尝试也不能完全解决这个问题，也有很多厂商放弃日志结构化解析，使用索引应付通常的搜索场景，更深入的分析则使用NLP技术。

然而，这些方案只能解决一些局部的问题，日志解析实现结构化终究是一个绕不过的坎。

2、日志自动化解析的难点

特别是安全和AIOps应用场景下，日志解析至少有4个难点：

01

准确掌握日志的结构难，格式随意，缺乏标准，现在常用的办法是看文档，或者看足够多的样本日志，然后猜。而如何得到足够多的样本日志，又是一个难题，因为你可能很难知道还会有哪些日志会被输出，永远也没有信心保证每一种日志你都看到了。

02

字段准确提取难，如何按照日志格式结构将字段提取出来，现在最常用的办法是为每一种日志格式写一个或多个正则表达式。依靠正则表达式的匹配提取需要的字段。正则表达式的语法、debug、性能调优都是专业技能，非一朝一夕就能掌握。

03

解析需求多样，而且经常持续变化，让日志解析难上加难。

04

性能要求高，日志的应用场景基本上都要求实时分析，留给日志解析这个环节的时间并不多。

3、日志自动解析的关键能力

那么，日志解析能不能实现自动化呢？总结我们12年的SOC运营经验中可以看出，日志自动解析解决方案要想投入实际应用，无论是基于LCS、cluster、还是deeplearning，核心算法必须要具备几个关键能力：

01

训练必须是递增式的、online的。只有这种方式能跟得上越来越快的日志源系统迭代速度。

02

训练必须是全量的。各种格式的日志出现的频率是极不平衡的，如果用一个有限的日志样本集合去训练算法，必然存在某些低频出现的日志没有包含在这个训练集的可能，这些日志就不会被解析。

03

结果的稳定性，在持续训练时，日志结构化后的结果必须是稳定的，否则将带来日志分析结果的不确定性，造成误报漏报，影响到系统的可信度。

04

训练结果要适应需求的多样性，日志结构化需求存在多样性，一条日志在不同的应用场景下可以有多个格式。

4、4个步骤实现日志的自动解析

面对日志自动解析的这些挑战，融天精灵日志智能解析系统EZLogic尝试着从另外一个方面切入，去解决日志自动化解析的这些难题。显然，目前还没有技术能让日志管理系统能够从理解用户的使用场景，分析解析需求，到解析日志的全流程实现自动化，中间必定存在人工的过程。作为使用场景和解析引擎之间的桥梁，我们的设计思路和目标是使用算法尽可能缩短这个过程并降低难度。

EZLogic通过4个步骤实现日志的自动解析：

01

将训练样本日志token化，类似NLP中的词法分析。

02

将每一条日志的所有可能的、有意义的字段都识别出来，这里的字段可以小到只是这条日志里的一个词、一个数字，也可以大到是整个日志。这个过程类似NLP中的句法分析。

03

归纳所有日志的结构特征，通过LCS、聚类等方法的集成，找到典型日志结构，这些日志结构既能覆盖足够多的日志，又能最大限度的保留日志中的结构信息。

04

用户从这些典型日志结构中，对需要进行解析的字段进行命名，系统自动生成对应的解析pattern，实现日志自动解析。

实际上，这4个步骤就是在模拟一个经验丰富的工程师，通过查看大量的日志样本，归纳分析日志结构的过程，实现启发式的自动化日志解析。

EZLogic具备几个有趣的特性：

01

实时在线训练，实时在线解析，训练和解析同时进行；

02

即时分析，用户选择要解析的字段后，能即时看到在历史数据里的解析结果和覆盖率，不需要对历史数据重新解析；

03

性能非线性。同样的日志可以被多个用户按照不同的格式解析，训练和解析的开销基本不增加。

这个几个特性让EZLogic这个日志自动化解析的算法+人工过程更有可行性和实用性。在下一篇文章中我们将看看EZLogic在实际应用场景下是如何帮助用户快速准确实现日志结构化解析的，敬请期待。

参考文献：

1.“Security Correlation Then and Now: A Sad Truth About SIEM” ，https://medium.com/anton-on-security/security-correlation-then-and-now-a-sad-truth-about-siem-fc5a1afb1001