robots.txt文件对网站优化的影响

2018-11-26 16:40:34 栏目:行业动态 查看()

 网站SEO来说,robots文件的影响就如同网站页面中没有设置导航一样,会给蜘蛛带去一定的困扰。使其在抓取网站的过程中不能快速且有效的抓取有效的数据元素,进而影响网站整体质量及优化进度。robots文件到底对网站有着哪些影响呢?随企翼网小编一起来看看吧。

  一、robots.txt带来的好处
  1、几乎所有的搜索引擎蜘蛛都遵循robots.txt给出的爬行规则,协议规定搜索引擎蜘蛛进入某个网站的入口即是该网站的robots.txt,当然,前提是该网站存在此文件。对于没有配置robots.txt的网站,蜘蛛将会被重定向至404 
错误页面,相关研究表明,如果网站采用了自定义的404错误页面,那么蜘蛛将会把其视作robots.txt——虽然其并非一个纯粹的文本文件——这将给蜘蛛索引网站带来很大的困扰,影响搜索引擎对网站页面的收录。
  2、robots.txt可以制止不必要的搜索引擎占用服务器的宝贵带宽,如email 
retrievers,这类搜索引擎对大多数网站是没有意义的;再如image 
strippers,对于大多数非图形类网站来说其也没有太大意义,但却耗用大量带宽。
  3、robots.txt可以制止搜索引擎对非公开页面的爬行与索引,如网站的后台程序、管理程序,事实上,对于某些在运行中产生临时页面的网站来说,如果未配置robots.txt,搜索引擎甚至会索引那些临时文件。
  4、对于内容丰富、存在很多页面的网站来说,配置robots.txt 
的意义更为重大,因为很多时候其会遭遇到搜索引擎蜘蛛给予网站的巨大压力:洪水般的蜘蛛访问,如果不加控制,甚至会影响网站的正常访问。
  5、同样的,如果网站内存在重复内容,使用robots.txt限制部分页面不被搜索引擎索引和收录,可以避免网站受到搜索引擎关于duplicate 
content的惩罚,保证网站的排名不受影响。
  二、robots.txt带来的风险
  1、凡事有利必有弊,robots.txt同时也带来了一定的风险:其也给攻击者指明了网站的目录结构和私密数据所在的位置。虽然在Web服务器的安全措施配置得当的前提下这不是一个严重的问题,但毕竟降低了那些不怀好意者的攻击难度。
  2、如果设置不对,将导致搜索引擎将索引的数据全部删除。
扫二维码与项目经理沟通

我们在微信上24小时期待你的声音

解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流

郑重申明:久飞软件以外的任何单位或个人,不得使用该案例作为工作成功展示!