各大搜索引擎蜘蛛IP检查工具,帮您判断IP是否为搜索引擎蜘蛛或爬虫,轻松识别真假蜘蛛,防止假冒各大搜索引擎蜘蛛或爬虫对您的网站进行恶意访问!
目前能识别的有:
1、百度蜘蛛:Baiduspider
2、谷歌蜘蛛:Googlebot
3、360蜘蛛:360Spider(粗略识别,最终辨别真伪请到 http://www.so.com/help/spider_ip.html )
4、搜狗蜘蛛:Sogou News Spider、Sogou XXX spider等
5、必应蜘蛛:bingbot
6、雅虎蜘蛛:“Yahoo! Slurp China”或者Yahoo!
7、有道蜘蛛:YoudaoBot,YodaoBot
其他的蜘蛛建议屏蔽。
(说明:由于缓存等原因,建议分时段或多次查询;判断结果仅供参考。)
检查结果处理:
1、检查结果:无法识别(明确不属于本工具识别范围内的7种蜘蛛当前正在使用的IP)
第一步:多查询几次,看看是否是缓存等原因造成实际结果还没有出来;
第二步:多次查询后都是这个结果,那随机输入几个同IP段的其他IP进行检查,然后根据情况处理;
a、如果同IP段的其他IP属于百度、谷歌、360、搜狗等常用的蜘蛛,建议查看网站访问日志,并观察该IP的访问行为是否对网站正常运行造成影响,有影响就将IP加入黑名单,没有影响就保留继续观察;
b、如果同IP段的其他IP不属于百度、谷歌、360、搜狗等常用的蜘蛛,建议将IP加入黑名单。
2、检查结果:疑似360蜘蛛
请到 http://www.so.com/help/spider_ip.html 对比是否属于360公布的IP。