Robot.txt协议的细节问题

 Robot.txt协议的细节问题

对于很多seo优化人员来说Robot.txt是必修课之一,但是一提到这个协议,大家可能都会说这不就是用于网站和搜索引擎交流的通用协议嘛,难道菜头先生解释的能有百度百科详细吗?看到这可能你也会认为它只是一个辅助的小东西,但是在菜頭先生看来虽然它很小,但是很可爱,更是很关键的一个协议。因为存在太多太多的细节我们需要去考虑了。

大家都会知道,网站建设尤其是一些电子商务网站的建设,细节要求真是浩如烟海。但是这些细节如果稍有不注意就会对整个网站造成严重的伤害,那么菜頭先生今天帮您分析一下Robot.txt这个细节,我们平时到底该注意哪些细节呢?

第一、需要屏蔽动态化链接

当网站做好静态化或者伪静态化后,我们需要屏蔽掉前面的动态页面所产生的链接。具体的写法是这样的:Disallow: /*?* ,英文状态下书写哦。

第二、注意“/"的区别

很多站长都会认为在Robot.txt协议中加不加“/”都是无关紧要的事情。但是菜头先生在这里认为这是大大的错误。举个例子,Disallow; /s 与Disallow: /s/的区别,前者对于搜索引擎的蜘蛛来说就是禁止抓取所有含有s开头的页面或者目录,而后者可能提醒蜘蛛的是不要抓取是目录下的页面。这两种区别真的是天差万别,菜頭先生在做的时候可能会选择后者,因为前者会造成广范围的“误杀”。

第三、CSS和JS需要屏幕吗?

在很多站长看来,这个是需要的。但是菜头先生只能说google站长工具明确的说明:封禁css与js调用,可能会影响页面质量的判断,从而影响排名。通过实践百度方面也会有相类似的影响。

第四、对于已经删除过的目录或页面该怎么办呢?

Robot.txt协议的细节问题-菜头先生

Robot.txt协议的细节问题-菜头先生

对于已经删除的页面或者目录,很多站长都会选择屏蔽。但是这些页面或目录其实在删除前已经被搜索引擎收录了。屏蔽,真是一个号的选择吗?答案显然是不对的。最佳的做法,菜头先生认为还是把这些页面详细的整理出来,并且集中的提交一下。然后自定义404页面。这样做的目的是正面应对,而不是逃避。

以上小小分析代表,菜头先生的心意,欢迎交流哦。



您可以选择一种方式赞助本站

支付宝扫一扫赞助

微信钱包扫描赞助

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: