您现在的位置是:主页 > SEO技术 >

网站robots.txt文件要怎么制作?

来源:www.xiaoxiaseo.com 发布时间:2018-07-07 编辑:长沙seo


网站robots.txt文件要怎么制作?当蜘蛛进入一个网站,首先看的就是robots.txt文件了,如果你不懂这个,就会很麻烦,如果由于不懂robots文件,是很容易导致网站不被搜索引擎爬行,那么做网站就没有任何的意义了。因此我们真的有必要来了解下,怎么制作网站robots文件了。

那么,网站robots.txt文件该怎么编写呢?请大家看下面的编写方法:

User-agent:制定规则适用于哪个蜘蛛。

“*”代表所有搜索引擎。针对某个搜索引擎,则写该搜索引擎蜘蛛名称。在国内,99%的企业网站和个人,都非常的重视百度搜索引擎了,因此都是不会选择屏蔽百度搜索引起了。下图是小夏SEO博客的robots文件。
robsts文件
 User-agent:Baiduspider 百度蜘蛛

User-agent:Googlebot-Mobile 谷歌蜘蛛

User-agent:360Spider 360蜘蛛

User-agent:Sosospider SOSO蜘蛛

User-agent:Sogou News Spider 搜狗蜘蛛

Robots文件中的特殊符号的作用和意思:

*表示所有搜索引擎,用于指定蜘蛛使用;菜鸟怎么学好SEO优化?

~表示以某字符串开头;

$表示以某字符串结尾;

/表示当前目录下的所有内容。

参数说明:

User-agent 指定搜索引擎蜘蛛名称;

Disallow要禁止抓取的内容;

Allow允许抓取的内容。

不同的网站,网站robots.txt文件要怎么制作的方法也是不一样的,希望可以帮到那些对robots.txt文件还不太了解的SEO新手朋友们。


更多阅读

长沙企业网站SEO优化需要注意这5点

SEO技术 2019-02-20
虽然说他们都掌握了一定的优化知识,不过在实际优化操作中,往往都会忽略掉......查看全文

怎么选择合适的网站关键词?

SEO技术 2018-08-17
小夏经常看到很多新手SEO把关键词随便放到文章里面就可以了,对此并没有明确......查看全文

长沙网站推广公司:SEO人思考

SEO技术 2019-07-15
今天这篇文章不谈论任何的技术、也不谈论任何的方法,只讨论SEO人共同的价值......查看全文

SEO文章为什么要有规律的更新?

SEO技术 2018-08-01
网站中的内容可以说是一个网站的灵魂,因此在我们把网站搭建好之后,接下来......查看全文

网站的移动端要如何进行优化?

SEO技术 2018-07-13
很多站在都开始慢慢的重视移动端优化的,那么网站的移动端要如何进行优化呢......查看全文
返回全部新闻
展开

Copyright © 2018 小夏SEO 版权所有