robots.txt文件Disallow和Allow设置顺序的不同会产生不一样的效果。
拿个robots .txt语法的例子：
1、搜索引擎可以访问/www/seo的文件夹或者URL
User-agent: *
Allow: /www/seo
Disallow: /www/
2、顺序改变后
User-agent: *
Disallow: /www/
Allow: /www/seo
这样遵守robots规则的搜索引擎就访问不到/www/seo这个路径了。
robots .txt几个语法命令解释：
1、User-agent: *
定义搜索引擎。一般情况下，网站里面都是：User-agent: *，这里*的意思是所有，表示定义所有的搜索引擎。
比如，我想定义百度，那么就是User-agent: Baiduspider；定义google，User-agent: Googlebot】
2、Disallow 【禁止爬取】
3、Allow 【允许】
4、 $ 结束符【Disallow: .aspx$ 这句话就是屏蔽所有的以.aspx结尾的文件，不管它前面是什么样子】
5、 * 【0或多个任意字符。Disallow: *?* 这个是屏蔽所有带“?”的文件，可以这样屏蔽所有的动态路径】
总结来说就是robots.txt
这个文件里语法的顺序是从上到下匹配，先允许后禁止。
另外注意：User-agent，Allow，Disallow的“:”后面有一个字符的空格。
