?拒绝蜘蛛协议

拒绝蜘蛛协议（Robots Exclusion Protocol）拒绝蜘蛛协议（Robots Exclusion Protocol）是什么协议？

?协议

”也有很多人并不知道爬虫禁用协议（robots exclusion protocol），他们认为可以通过在页面上声明“本页面受版权保护，拒绝索引”就可以保护页面，不用说，网络爬虫很难理解这样的话。

?网络爬虫排除标准

robots协议即网络爬虫排除标准（robots exclusion protocol），也称为爬虫协议，搜索引擎根据网站设置的robots协议抓取可以被抓取的页面，对于不可以被抓取的页面，搜索引擎不抓取。

?机器人排除协议

...该把它上传在何处，接下来您会学习在这个文件中键入命令，搜索引擎会遵循壹个叫做“机器人排除协议”(Robots Exclusion Protocol)的协议。其实，它的格式很简单，并且能够满足大多数的控制需要。