- B . 智能运维 - - - 质量保障 - - - 异常检测 - - - 日志分析
- 概述
- 难点
- 非结构化日志
- 时效性
- 异常类型多
- 解决方案1
- 日志模板提取
- FT - tree
- 核心思想：系统日志消息中详细信息字段的子类型通常 \ n是频繁出现的单词的最长组合。
- 步骤
- 统计词频
- 按照词频，对每条日志的单词重新排序
- 把所有的日志建成一个树，有一个虚拟的根节点
- 对这些树进行裁剪
- 特征树方法
- STE
- LogSimilarity
- 特征提取
- 特征向量
- 频率特征
- 周期性特征
- 序列特征
- 爆发性特征
- 故障预测
- 有监督的分类算法
- 解决方案2 - - - 基于深度学习
- 检测方法
- 执行路径异常检测。将异常检测问题转换成一个log key的多分类问题， \ n使用LSTM对日志的log key序列建模， \ n自动从正常的日志数据中学习正常的模式并且由此来判断系统异常。 \ n同时，LSTM可以增量式地调整模型参数，以便适应随着时间推移而出现的新日志文件。
- 1 . 提取日志模板（log key）
- 2 . 利用LSTM，判断下一时刻哪几类模板出现的概率的较大， \ n如果出现小概率模板，我们就认为是异常
- 参数和性能异常检测。f有时候系统虽然是按照正常操作步骤执行的， \ n但是记录的日志中的参数是不正常的，比如延迟比正常要大，这种情况也属于异常。
- 保存每个模板的参数，作为异常检测的维度
- 工作流异常检测。虽然工作流模型在异常检测的有效性上不如LSTM模型， \ n但是工作流模型可以可视化地帮助运维工程师在发现异常后找出异常的原因。
- 解决方案3
- 关键点
- 日志模板提取
- 位置参数
- 时序特征：指数加权移动平均值
- 关联规则：经典的关联分析算法
- 优先级权重
- 解决方案4
- 关键点
- 日志向量化
- 日志转化为抽象的日志事件
- 去除重复的日志事件
- 日志事件对应的重要性不同，LogCluster相同还将对其进行赋权。 \ nLogCluster系统综合了两种算法， \ n分别是文本分析中经典的IDF算法和基于对比的加权算法。
- 我们可以将日志序列转化为N维向量形式（N为日志事件的种类数）， \ n每一个元素表示一个日志事件的权值。
- 日志聚类
- 计算两个向量Si和Sj的相似度，余弦相似度，实际中该阈值设置为0 . 5
- 序列提取
- 在得到聚类结果之后，LogCluster系统对每一个类别选取一个代表序列。 \ n改序列是整个簇的最中心点
- 复现比对
以上所述就是小编给大家介绍的《日志分析》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！
猜你喜欢:
- 使用 Go 进行日志分析并生成 Excel，再也不担心做日志分析了
- GoAccess对Nginx日志分析完美分析
- ELK日志分析方案
- iOS崩溃与日志分析
- MySQL 日志安全分析技巧
- 携程 ClickHouse 日志分析实践
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
算法竞赛入门经典（第2版）
刘汝佳 / 清华大学出版社 / 2014-6-1 / CNY 49.80
《算法竞赛入门经典（第2版）》是一本算法竞赛的入门与提高教材，把C/C++语言、算法和解题有机地结合在一起，淡化理论，注重学习方法和实践技巧。全书内容分为12 章，包括程序设计入门、循环结构程序设计、数组和字符串、函数和递归、C++与STL入门、数据结构基础、暴力求解法、高效算法设计、动态规划初步、数学概念与方法、图论模型与算法、高级专题等内容，覆盖了算法竞赛入门和提高所需的主要知识点，并含有大量......一起来看看 《算法竞赛入门经典（第2版）》 这本书的介绍吧!
