扫描器及常见爬虫特征-526互联

Nessus

Nessus 扫描器的特征信息同样在请求的 URL，Headers，Body 三项里

URL：

nessus
Nessus

Headers：

x_forwarded_for: nessus
referer: nessus
host: nessus

Body：

nessus
Nessus

AWVS

AWVS 扫描器在请求的 URL，Headers，Body 三项里随机包含了能代表自己的特征信息

URL：

acunetix-wvs-test-for-some-inexistent-file
by_wvs
acunetix_wvs_security_testacunetix
acunetix_wvs
acunetix_test

Headers：

Acunetix-Aspect-Password:
Cookie: acunetixCookie
Location: acunetix_wvs_security_testX-Forwarded-Host: acunetix_wvs_security_testX-Forwarded-For: acunetix_wvs_security_testHost: acunetix_wvs_security_testCookie: acunetix_wvs_security_testCookie: acunetix
Accept: acunetix/wvs
Origin: acunetix_wvs_security_testReferer: acunetix_wvs_security_testVia: acunetix_wvs_security_testAccept-Language: acunetix_wvs_security_testClient-IP: acunetix_wvs_security_testHTTP_AUTH_PASSWD: acunetix
User-Agent: acunetix_wvs_security_testAcunetix-Aspect-Queries:任意值
Acunetix-Aspect:任意值

Body (请求的 post 信息)

acunetix_wvs_security_testacunetix

APPScan

Appscan 在请求的 URL，Headers，Body 三项里随机包含了能代表自己的特征信息

URL：

Appscan

Headers：

Content-Type: Appscan
Content-Type: AppScanHeader
Accept: Appscan
User-Agent:Appscan

Body：

Appscan

Webinspect

Webinspect 在请求的 URL，Headers，Body 三项里随机包含了能代表自己的特征信息

URL：

HP404

Headers：

User-Agent: HP ASC
Cookie: webinspect
X-WIPP: 任意值
X-Request-Memo: 任意值
X-Scan-Memo: 任意值
Cookie: CustomCookie
X-RequestManager-Memo: 任意值

Body：

Webinspect

Rsas

Rsas 的主要的特征在 URL 和 Headers 中

URL：

nsfocus

Headers：

User-Agent: Rsas

WebReaver

WebReaver 的特征只在 Headers 中的 UA 中

Headers：

User-Agent: WebReaver

Sqlmap

Sqlmap 在 URL，Headers，Body 中都含有特征值

URL：

sqlmap

Headers

User-Agent: sqlmap (后接版本号，跟当前版本有关系)

Body：

sqlmap

X-Ray

Requests 爬虫

UA 中默认为：python-requests/版本号

百度爬虫

Baiduspider

判断 UA 是否带有 baiduspider 字段

360 爬虫

360Spider

360 搜索蜘蛛爬虫的 UA 为：

Mozilla/5.0(windows NT 6.1; wOw64)ApplewebKit/537.36(KHTML, like Gecko) Chrome /50.0.2661.102Safari/537.36; 360Spider

360 搜索社区认证的 360so 蜘蛛IP段：

180.153.232.
180.153.234.
180.153.236.
180.163.220.
42.236.101.
42.236.102.
42.236.103
42.236.10.
42.236.12.
42.236.13.
42.236.14.
42.236.15.
42.236.16.
42.236.17.
42.236.46.
42.236.48.
42.236.49.
42.236.50.
42.236.51.
42.236.52.
42.236.53.
42.236.54.
42.236.55.
42.236.99.

谷歌爬虫

Googlebot

google 搜索引擎蜘蛛爬虫的 UA 一般为

Mozilla/5.0 (compatible; Googlebot/2.1;+http://www.google.com/bot.html)
Googlebot/2.1(+http://www.googlebot.com/bot.html)
Googlebot/2.1(+http://www.google.com/bot.html)
Googlebot-Image/1.0

google 搜索引擎爬虫的 IP 段为∶

66.249.
203.208.60.
216.239.
66.102.
64.233.
72.14.

必应爬虫

微软 Bing 蜘蛛爬虫的 UA 是

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534+ (KHTML, like Gecko) BingPreview/1.0b
Mozilla/5.0 (Linux; Android 8.0.0; MHA-AL00 Build/HUAWEIMHA-AL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/68.0.3440.91 Mobile Safari/537.36 BingWeb/6.9.6
Mozilla/5.0 (Linux; Android 8.0.0; MI 6 Build/OPR1.170623.027; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/70.0.3538.110 Mobile Safari/537.36 BingWeb/6.9.6
Mozilla/5.0 (Linux; Android 8.0.0; ONEPLUS A3010 Build/OPR1.170623.032; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/67.0.3396.87 Mobile Safari/537.36 BingWeb/6.9.0
Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 BingPreview/1.0b

一些 IP 段为：

207.46.13.
157.55.39.
40.77.167.

腾讯搜搜爬虫

Sosospider：搜搜网页蜘蛛
Sosoblogspider：搜搜博客蜘蛛
Sosoimagespider：搜搜图片蜘蛛

雅虎爬虫

Yahoo! Slurp：雅虎英文
Yahoo! Slurp China：雅虎中国
YahooFeedSeeker：雅虎订阅
Yahoo Blogs：雅虎博客蜘蛛
Yahoo Image：雅虎图片蜘蛛
Yahoo AD：雅虎广告蜘蛛
Yahoo ContentMatch Crawler：Yahoo 搜索竞价蜘蛛
Yahoo-MMCrawler：雅虎图片

搜狗爬虫

搜狗搜索引擎 UA 为

# PC UA
Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
Sogou inst spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
Sogou spider (+http://www.sogou.com/docs/help/webmasters.htm#07)

# 移动 UA
Sogou wap spider(+http://www.sogou.com/docs/help/webmasters.htm#07)

# 新闻 UA
Sogou News Spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

# 图片 UA
Sogou Pic Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

# 视频 UA
Sogou Video Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

# 未知 UA
Sogou Push Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

搜狗蜘蛛 IP 段：

123.126.113.79-123.126.113.191
220.181.89.190
220.181.89.189
218.30.103.155
61.135.189.75
220.181.94.228
61.135.189.74
220.181.89.157
220.181.89.165
220.181.89.183
220.181.89.194
218.30.103.80

字节头条爬虫

统一 UA 标志为：Bytespider，具体 UA 为：

Mozilla/5.0 (compatible; Bytespider;[https://zhanzhang.toutiao.com/] AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.0.0 Safari/537.36
Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; [https://zhanzhang.toutiao.com/]
Mozilla/5.0 (iPhone; CPU iPhone OS 7_1_2 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Version/7.0 Mobile Safari/537.36 (compatible; Bytespider; [https://zhanzhang.toutiao.com/]