内容简介:tshark是网络分析工具wireshark下的一个工具,主要用于命令行环境进行抓包、分析,尤其对协议深层解析时,tcpdump难以胜任的场景中。本系列文章将整理介绍tshark相关内容。本文将介绍与tshark相关的开源系统。Apache Spot是一个开源软件,提供流量和数据包分析的洞察力。通过透明的服务交付,可以帮助识别企业与服务提供商或在云规模运营的资源之间发生的攻击、潜在安全威胁,深入了解其网络环境及安全风险。虽然威胁情报工具有助于识别未知威胁和攻击,但发现未知威胁仍然是一项挑战。 Apache
tshark是网络分析工具wireshark下的一个工具,主要用于命令行环境进行抓包、分析,尤其对协议深层解析时,tcpdump难以胜任的场景中。本系列文章将整理介绍tshark相关内容。本文将介绍与tshark相关的开源系统。
Apache Spot
Spot简介
Apache Spot是一个开源软件,提供流量和数据包分析的洞察力。通过透明的服务交付,可以帮助识别企业与服务提供商或在云规模运营的资源之间发生的攻击、潜在安全威胁,深入了解其网络环境及安全风险。虽然威胁情报 工具 有助于识别未知威胁和攻击,但发现未知威胁仍然是一项挑战。 Apache Spot通过大数据和科学计算学科中强大的技术,专注于检测诸如横向移动,旁道数据逃逸,内幕问题或隐身行为等事件的“深层安全问题”,使用流量和数据包分析技术暴露可疑连接和以前看不见的攻击的能力,为公司构建一个旨在支持这一战略的解决方案。
整体架构
主要功能及特点
感知Telemetry
- Flows.
- 域名解析DNS (pcaps).
- 代理Proxy.
** 并行采集框架Parallel Ingest Framework
- 开源解码器Open source decoders.
- 读取hadoop数据Load data in Hadoop.
- 数据转换Data transformation.
机器学习Machine Learning
- 快速过滤10亿级事件Filter billion of events to a few thousands.
- 无监督学习Unsupervised learning.
操作分析Operational Analytics
- 可视化Visualization.
- 启发式分析Attack heuristics.
- 噪音过滤Noise filter.
Spot采集架构
由上图可知,Apache Spot在处理DNS流量时采用 tshark
方案,用于协议解析数据ETL等工作。
tshark相关源码
根据架构图,发现主要在ingest模块,查看相关源码,可以发现Spot是如何应用tshark的。具体代码如下:
查看源码 spot-ingest/pipelines/dns/worker.py
# build process cmd. process_cmd = "tshark -r {0}{1} {2} > {0}{1}.csv".format(self._local_staging, file_name, self._process_opt)
再查看相关配置 spot-ingest/ingest_conf.json
"dns":{ "type":"dns", "collector_path":"/collector_path/dns", "local_staging":"/collector_path/dns/tmp", "supported_files":[".pcap"], "pkt_num":"650000", "pcap_split_staging":"/collector_path/dns/dns_staging", "process_opt":"-E separator=, -E header=y -E occurrence=f -T fields -e frame.time -e frame.time_epoch -e frame.len -e ip.src -e ip.dst -e dns.resp.name -e dns.resp.type -e dns.resp.class -e dns.flags.rcode -e dns.a 'dns.flags.response == 1'" },
上面 Dshark
命令就不详细介绍,可参考上篇文章:tshark使用示例(2)
尝试Demo
- 部署 docker 环境
- 抽取docker镜像: docker pull apachespot/spot-demo
- 启动镜像: docker run -it -p 8889:8889 apachespot/spot-demo
- 在浏览器中打开 http://localhost :8889/files/ui/flow/suspicious.html#date=2016-07-08
参考
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网
猜你喜欢:- Python fileinput 模块:命令行工具利器
- Python fileinput 模块:命令行工具利器
- JMockit:单元测试利器
- 利器+
- Go 调试利器:delve
- go调试利器-delve
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。