- B . 智能运维 - - - 质量保障 - - - 异常检测 - - - 日志分析
- 概述
- 难点
- 非结构化日志
- 时效性
- 异常类型多
- 解决方案1
- 日志模板提取
- FT - tree
- 核心思想：系统日志消息中详细信息字段的子类型通常 \ n是频繁出现的单词的最长组合。
- 步骤
- 统计词频
- 按照词频，对每条日志的单词重新排序
- 把所有的日志建成一个树，有一个虚拟的根节点
- 对这些树进行裁剪
- 特征树方法
- STE
- LogSimilarity
- 特征提取
- 特征向量
- 频率特征
- 周期性特征
- 序列特征
- 爆发性特征
- 故障预测
- 有监督的分类算法
- 解决方案2 - - - 基于深度学习
- 检测方法
- 执行路径异常检测。将异常检测问题转换成一个log key的多分类问题， \ n使用LSTM对日志的log key序列建模， \ n自动从正常的日志数据中学习正常的模式并且由此来判断系统异常。 \ n同时，LSTM可以增量式地调整模型参数，以便适应随着时间推移而出现的新日志文件。
- 1 . 提取日志模板（log key）
- 2 . 利用LSTM，判断下一时刻哪几类模板出现的概率的较大， \ n如果出现小概率模板，我们就认为是异常
- 参数和性能异常检测。f有时候系统虽然是按照正常操作步骤执行的， \ n但是记录的日志中的参数是不正常的，比如延迟比正常要大，这种情况也属于异常。
- 保存每个模板的参数，作为异常检测的维度
- 工作流异常检测。虽然工作流模型在异常检测的有效性上不如LSTM模型， \ n但是工作流模型可以可视化地帮助运维工程师在发现异常后找出异常的原因。
- 解决方案3
- 关键点
- 日志模板提取
- 位置参数
- 时序特征：指数加权移动平均值
- 关联规则：经典的关联分析算法
- 优先级权重
- 解决方案4
- 关键点
- 日志向量化
- 日志转化为抽象的日志事件
- 去除重复的日志事件
- 日志事件对应的重要性不同，LogCluster相同还将对其进行赋权。 \ nLogCluster系统综合了两种算法， \ n分别是文本分析中经典的IDF算法和基于对比的加权算法。
- 我们可以将日志序列转化为N维向量形式（N为日志事件的种类数）， \ n每一个元素表示一个日志事件的权值。
- 日志聚类
- 计算两个向量Si和Sj的相似度，余弦相似度，实际中该阈值设置为0 . 5
- 序列提取
- 在得到聚类结果之后，LogCluster系统对每一个类别选取一个代表序列。 \ n改序列是整个簇的最中心点
- 复现比对
以上所述就是小编给大家介绍的《日志分析》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！
猜你喜欢:
- 使用 Go 进行日志分析并生成 Excel，再也不担心做日志分析了
- GoAccess对Nginx日志分析完美分析
- ELK日志分析方案
- iOS崩溃与日志分析
- MySQL 日志安全分析技巧
- 携程 ClickHouse 日志分析实践
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
计算机程序设计艺术（第1卷）
[美] 唐纳德·E. 克努特 / 苏运霖 / 国防工业出版社 / 2002-9 / 98.00元
7卷本《计算机程序设计艺术》的第1卷以基本的程序设计概念和技术开始，然后专注于信息结构——计算机内部信息的表示、数据元素之间的结构关系以及如何有效地处理它们，给出了对于模拟、数值方法、符号计算、软件和系统设计的初等应用。书中附有大量习题和答案，标明了难易程序及数学概念的使用。 此新版本增加了几十项简单且重要的算法和技术，并对有关数学预备知识作了大量修改以适应现时研究的趋势。一起来看看 《计算机程序设计艺术（第1卷）》 这本书的介绍吧!
