SEO教程第41课:如何利用robots来优化网站 | seo入门教程
当前位置:厦门seo » seo入门教程 » SEO教程第41课:如何利用robots来优化网站

SEO教程第41课:如何利用robots来优化网站

日期: 2013-12-18   

seo入门教程
        今天看了一篇文章,是关于robots用来优化网站的内容,当时我看到标题就很是不解,robots是用来对搜索引擎抓取网站范围界定的文件,用他结合SEO来优化网站,怎么能实现呢,我的第一反应就是不相信,但是好奇心又让我看完了这篇文章,看完之后我才恍然大悟,不禁感叹SEO真是无处不在,那么如何用robots来优化网站呢?
        首先我想说的是搜索引擎来到网站首先会看网站有没有robots.txt这个文件,如果有就会按照上面的要求来抓取网站内容,如果没有这个文件的话,就会按照顺序抓取,不管是什么内容都会去抓取,这样势必会影响搜索引擎蜘蛛爬行的效率,这样我们就可以把对SEO没有影响的内容不让搜索引擎去抓取,比如说 admin是管理员登陆入口不需要搜索引擎抓取,plugin是插件目录页,不需要搜索引擎来抓取,以此类推,只要是对SEO没有什么帮助、对收录没有影响的就可以设置成disallow,但是今天最大的发现不是这个,这个一般做SEO的人都知道,下面说说我的最大发现。
        第二:把网站地图的 URL(绝对路径)放在robots.txt文件中,明白了吧?这样的话只要搜索引擎进入网站就会沿着网站地图爬行网站的内容了,因为网站地图可以到达网站的任何地方,这也符合重要的内容前置的原则,再加上第一条中的界定可以大大节省搜索引擎的抓取效率,从SEO的角度来讲的话是有好处的。

评论 (1)

  1. 浅笑无声
    2014 年 4 月 10 日 下午 6:31

    以为我,你现在不要忙着修改,再观察一些时间,因为搜索引擎对robots协议的执行,要有一个时间过程的,等到你网站静态页面收录差不多了,再修改robots文件比较好!

留下评论

你需要先 登陆 才能留下评论 。