您现在的位置是:主页 > SEO技术 >

网站robots.txt文件要怎么制作?

来源:www.xiaoxiaseo.com 发布时间:2018-07-07 编辑:长沙seo


网站robots.txt文件要怎么制作?当蜘蛛进入一个网站,首先看的就是robots.txt文件了,如果你不懂这个,就会很麻烦,如果由于不懂robots文件,是很容易导致网站不被搜索引擎爬行,那么做网站就没有任何的意义了。因此我们真的有必要来了解下,怎么制作网站robots文件了。

那么,网站robots.txt文件该怎么编写呢?请大家看下面的编写方法:

User-agent:制定规则适用于哪个蜘蛛。

“*”代表所有搜索引擎。针对某个搜索引擎,则写该搜索引擎蜘蛛名称。在国内,99%的企业网站和个人,都非常的重视百度搜索引擎了,因此都是不会选择屏蔽百度搜索引起了。下图是小夏SEO博客的robots文件。
robsts文件
 User-agent:Baiduspider 百度蜘蛛

User-agent:Googlebot-Mobile 谷歌蜘蛛

User-agent:360Spider 360蜘蛛

User-agent:Sosospider SOSO蜘蛛

User-agent:Sogou News Spider 搜狗蜘蛛

Robots文件中的特殊符号的作用和意思:

*表示所有搜索引擎,用于指定蜘蛛使用;菜鸟怎么学好SEO优化?

~表示以某字符串开头;

$表示以某字符串结尾;

/表示当前目录下的所有内容。

参数说明:

User-agent 指定搜索引擎蜘蛛名称;

Disallow要禁止抓取的内容;

Allow允许抓取的内容。

不同的网站,网站robots.txt文件要怎么制作的方法也是不一样的,希望可以帮到那些对robots.txt文件还不太了解的SEO新手朋友们。


更多阅读

长沙网:移动搜索引擎优化

SEO技术 2019-07-16
移动搜索引擎是现在的新潮流,长沙网移动网站的优化自然也是不容小觑的。好......查看全文

我们来聊聊seo可以使用在哪些方面!

SEO技术 2018-12-03
说到seo行业还是有很多人不知道的,就好比小夏seo本人一样,在没有接触之前还......查看全文

网站中出现死链接的原因 有什么影响?

SEO技术 2018-07-19
在优化网站的过程中,有很多细节问题是我们无法避免的,特别是一些刚刚改动......查看全文

做SEO优化的时候需要注意这几点!

SEO技术 2018-08-23
涉及SEO行业的都知道,网站最怕被K掉,K掉的网站是很难恢复的。那么小夏SEO博......查看全文

什么样的方法才能快速提升网站排名?

SEO技术 2018-07-09
什么样的方法才能够快速提升网站排名?这个问题是众多的seo人员比较关系的问......查看全文
返回全部新闻
展开

Copyright © 2018 小夏SEO 版权所有