Robots协议基础
Robots协议,即Robots Exclusion Standard 网络爬虫排除协议。
作用:网站告知网络爬虫哪些页面可以爬取,哪些不能爬取
形式:在网站根目录下的robots.txt文件
例:京东的Robots协议
http://www.jd.com/robots.txt
可以看到京东对爬虫的限制:
对于任何的网络爬虫来源,遵守如下协议
User-agent: *
Disallow: /?*
Disallow: /pop/.html
Disallow: /pinpai/.html?*
以下四个网络爬虫不允许爬取任何资源
User-agent: EtaoSpider
Disallow: /
User-agent: HuihuiSpider
Disallow: /
User-agent: GwdangSpider
Disallow: /
User-agent: WochachaSpider
Disallow: /
基本协议语法:
注释
- 代表所有
./代表根目录
User-agent: * # 代表的是那些爬虫
Disallow: / # 代表不允许爬虫访问的目录
其他网站的一些Robots协议(但并不是所有网站都有robots协议):
百度:http://www.baidu.com/robots.txt
新浪新闻:http://news.sina.com.cn/robots.txt
腾讯:http://www.qq.com/robots.txt
腾讯新闻:http://news.qq.com/robots.txt
国家教育部:http://www.meo.edu.cn/robots.txt (注:无robots协议)
Robots协议的遵守方式
(1) Robots协议的使用
网络爬虫:自动或人工识别robots.txt,再进行内容爬取
约束性:Robots协议是建议但并非约束性,网络爬虫可以不遵守,但存在法律风险。
(2) Robots协议的理解
爬取网页,玩转网页
访问量很小:可以遵守
访问量很大:建议遵守
爬取网站,爬取系列网站
非商业且偶尔,建议遵守
商业利益:必须遵守
爬取全网
必须遵守
暂无评论内容