fate0/webanalyzer: WhatWeb + Wappalyzer in python

webanalyzer

安装

pip install -U webanalyzer

使用

命令行

webanalyzer -u "http://www.fatezero.org"

usage:

[*] webanalyzer --help
Usage: webanalyzer [OPTIONS]

Options:
  -u, --url TEXT                  Target  [required]
  -a, --aggression INTEGER RANGE  Aggression mode, 1 enable custom plugins
                                  aggression mode, 2 enable all plugins
                                  aggression mode
  -U, --user-agent TEXT           Custom user agent
  -H, --header TEXT               Pass custom header LINE to serve
  -r, --disallow-redirect         Disallow redirect
  -l, --list-plugins              List the plugins
  -v, --verbose INTEGER           Verbose level
  --help                          Show this message and exit.

类库

作为类库使用

import webanalyzer

w = webanalyzer.WebAnalyzer()

w.headers = {
    "User-Agent": "custom ua",
    "header-key": "header-value"
}

w.allow_redirect = True
w.aggression = 0
r = w.start("http://www.fatezero.org")

print(r)

规则编写

基础信息

例子:

{
    "name": "wordpress",
    "author": "fate0",
    "version": "0.1.0",
    "description": "wordpress 是世界上最为广泛使用的博客系统",
    "website": "http://www.wordpress.org/",
    "matches": [],
    "condition": "0 and 1 and not 2",
    "implies": "PHP",
    "excludes": "Apache"
}

描述:

规则信息

例子:

[
    {
        "name": "rule name"
        "search": "all"
    }
]

描述:

返回信息

例子:

[
    {
        "name": "4images",
        "version": "1.1",
        "certainty": 100,
        "origin": "custom"
    }
]

描述:

检测逻辑

aggression
or

Q & A

• WhatWeb 的规则如何转换成 webanalyzer 的规则？

可以看下 tools/whatweb.rb 代码，实际上我这并没有成功转换全部规则，依旧有部分 passive, aggressive 函数规则以及其他规则并没去转换， 不过成功转换比例占大多数。

• Wappalyzer 的规则如何转换成 webanalyzer 的规则？

可以看下 tools/wappalyzer.py 代码，因为 Wappalyzer 的规则本来就是 json 格式，所以比较容易转换，但是依旧有部分字段我没有保留在我的规则中。

• 为什么使用 json 作为规则格式？

更通用，即便更换编程语言，也可以继续复用本来的规则。

• 和 WhatWeb、Wappalyzer 的区别？

WhatWeb 的规则使用 ruby 编写，在规则方面，其他编程语言很难复用，也只能通过子进程的方式调用 WhatWeb。 Wappalyzer 更多的作为一个浏览器插件使用。

• 如何同步 WhatWeb、Wappalyzer 的规则？

可以看下 .travis.yml ，通过 travis-ci 达到每天自动同步规则，每周自动同步至 pypi 。

引用

• WhatWeb
• Wappalyzer