专注百度关键词优化SEO,网站SEO优化服务商
7X24服务热线:400-180-2807

获取第一时间及时的SEO行业资讯、常见问答

「优化网站排名提升」较为详尽的robots.txt协议书文档书写

Time:2021-4-18 04:53:52  来源:米同科技  发布:SEO优化  访问量:615 次

许多建站程序,在完工网址后,都网址网站根目录,默认设置有robots.txt协议书文档。在网站优化市场竞争日趋严重的今日,本来开设之初无提升要素的robots.txt文档也被利润最大化应用,把握其书写,防患于未然。

一:robots.txt协议书文档有什么作用?

百度搜索引擎浏览一个网站的情况下,最开始浏览的文档就是说robots.txt。她告知百度搜索引擎搜索引擎蜘蛛,什么网页页面能够被爬取,什么严禁爬取。表层看来,这一作用功效比较有限。从seo优化的视角看来,能够根据屏蔽掉网页页面,做到集中化权重值的功效,这,都是提升工作人员更为注重的地区。

以某seo网站为例,其robots.txt文档如下图所示:

二:网址设定robots.txt的好多个缘故。

1:设定访问限制维护网站安全性。

2:严禁百度搜索引擎抓取失效网页页面,集中化权值到关键网页页面。

三:如何使用规范书写撰写协议书?

几个定义需把握。

User-agent表达界定哪家百度搜索引擎,如User-agent:Baiduspider,界定百度爬虫。

Disallow表达严禁浏览。

Allow表达运作浏览。

根据之上三个指令,能够组成多种多样书写,容许哪家百度搜索引擎浏览或严禁哪家网页页面。

四:robots.txt文档放到那边?

此文档需置放在网址的网站根目录,且对英文字母尺寸有限定,文件夹名称务必为小写字母。全部的指令第一个英文字母需英文大写,其他的小写字母。且指令以后要有一个英语空格符空格符。

五:什么情况下必须应用该协议书。

1:没用网页页面,许多网址常有在线留言,隐私条款等网页页面,这种网页页面相对性于seo优化而言,功效并不大,这时必须应用Disallow指令严禁这种网页页面被百度搜索引擎爬取。

2:动态性网页页面,公司类型网站屏蔽掉动态性网页页面,有益于网站安全性。且好几个网站地址浏览同一网页页面,会导致权重值分散化。因而,一般状况下,屏蔽掉动态性网页页面,保存静态数据或伪静态网页。

3:网站后台管理网页页面,网站后台管理还可以分类于没用网页页面,严禁百度收录有百益而无一害。

来源于:robots.txt协议书



当前位置:主页 > SEO优化 > 「优化网站排名提升」较为详尽的robots.txt协议书文档书写
上一篇:  | 下一篇:
相关资讯推荐
在线咨询
400-180-2807

在线客服人员为您答疑解惑