欢迎光临沧州利畅网络科技有限公司

联系方式:13230779008
沧州利畅网络公司

robots文件如何设置?

8次阅读

robots.txt文件Disallow和Allow设置顺序的不同会产生不一样的效果。

拿个robots .txt语法的例子:


1、搜索引擎可以访问/www/seo的文件夹或者URL

User-agent: *

Allow: /www/seo

Disallow: /www/


2、顺序改变后

User-agent: *

Disallow: /www/

Allow: /www/seo


这样遵守robots规则的搜索引擎就访问不到/www/seo这个路径了。


robots .txt几个语法命令解释:

1、User-agent: *

定义搜索引擎。一般情况下,网站里面都是:User-agent: *,这里*的意思是所有,表示定义所有的搜索引擎。

比如,我想定义百度,那么就是User-agent: Baiduspider;定义google,User-agent: Googlebot】

2、Disallow 【禁止爬取】

3、Allow 【允许】

4、 $ 结束符【Disallow: .aspx$ 这句话就是屏蔽所有的以.aspx结尾的文件,不管它前面是什么样子】

5、 * 【0或多个任意字符。Disallow: *?* 这个是屏蔽所有带“?”的文件,可以这样屏蔽所有的动态路径】


总结来说就是robots.txt

这个文件里语法的顺序是从上到下匹配,先允许后禁止。

另外注意:User-agent,Allow,Disallow的“:”后面有一个字符的空格。


文章来源于网络和书籍,由网销百科工作人员整理编辑发布,如有涉及到任何人的利益或权益请联系删除,微信号:cztzrh

cache
Processed in 0.007363 Second.