您现在的位置是:主页 > SEO技术 >

网站robots.txt文件要怎么制作?

来源:www.xiaoxiaseo.com 发布时间:2018-07-07 编辑:长沙seo


网站robots.txt文件要怎么制作?当蜘蛛进入一个网站,首先看的就是robots.txt文件了,如果你不懂这个,就会很麻烦,如果由于不懂robots文件,是很容易导致网站不被搜索引擎爬行,那么做网站就没有任何的意义了。因此我们真的有必要来了解下,怎么制作网站robots文件了。

那么,网站robots.txt文件该怎么编写呢?请大家看下面的编写方法:

User-agent:制定规则适用于哪个蜘蛛。

“*”代表所有搜索引擎。针对某个搜索引擎,则写该搜索引擎蜘蛛名称。在国内,99%的企业网站和个人,都非常的重视百度搜索引擎了,因此都是不会选择屏蔽百度搜索引起了。下图是小夏SEO博客的robots文件。
robsts文件
 User-agent:Baiduspider 百度蜘蛛

User-agent:Googlebot-Mobile 谷歌蜘蛛

User-agent:360Spider 360蜘蛛

User-agent:Sosospider SOSO蜘蛛

User-agent:Sogou News Spider 搜狗蜘蛛

Robots文件中的特殊符号的作用和意思:

*表示所有搜索引擎,用于指定蜘蛛使用;菜鸟怎么学好SEO优化?

~表示以某字符串开头;

$表示以某字符串结尾;

/表示当前目录下的所有内容。

参数说明:

User-agent 指定搜索引擎蜘蛛名称;

Disallow要禁止抓取的内容;

Allow允许抓取的内容。

不同的网站,网站robots.txt文件要怎么制作的方法也是不一样的,希望可以帮到那些对robots.txt文件还不太了解的SEO新手朋友们。


更多阅读

网站锚文本对SEO优化有什么作用?

SEO技术 2018-08-22
网站锚文本不管是新站长还是老站长都知道是什么,但是还有存在部分人不清楚......查看全文

网站关键词排名时间

SEO技术 2018-08-24
从事SEO行业的朋友应该会经常碰到这样的问题那就是:“网站关键词排名时间”......查看全文

【邵阳seo】企业网站优化方式有哪些?

SEO技术 2019-03-25
现在随着互联网的发展,越来越多的企业一般都会进行seo优化的,不过根据邵阳......查看全文

来看看你的企业站是不是需要SEO优化!

SEO技术 2018-08-31
现在这个时代可以说是互联网+时代,许多公司的以及个人都开始折腾属于自己......查看全文

怎么利用站内锚文本来提高网站权重?

SEO技术 2018-08-09
SEO优化人员都知道,锚文本的作用是可以优化关键词,所以是比较重要的。锚文......查看全文
返回全部新闻

Copyright © 2018 小夏SEO 版权所有