收藏本站点击这里把无忧站长工具下载到桌面

[经验分享]网站robots到底应该屏蔽那些文件或目录?

5910runtaoy发表于:2015-11-21 13:19:19

  
有很多人觉得robots很简单,看不上,觉得默认的robots就可以了,其实不然,做一个针对自己网站的robots对seo其实挺有帮助。



1.图片目录的屏蔽
  现在建站越来越简单,基本上会打字就会建网站,而恰是因为如此,网上出现了很多的同质化网站,被重复运用,这么的网站查找引擎是一定不喜爱的,建议在 robots.txt文件中进行屏蔽imags 或 img等图片目录;
2.模板目录的屏蔽
  模板文件常常与生成文件高度相 似,一样易构成一样内容的出现。对查找引擎很不友好,因而,应当进行模板 目录的屏蔽。通常模板目录的文件目录是:templets等
3.CSS目录的屏蔽
  CSS目录文件在查找引擎的抓取中没有用处,也无法供应有价值的信息。所以剧烈建议站长朋友们在Robots.txt文件中将其进行屏蔽。为搜索引擎供应一个跟友好的索引环境。CSS样式的目录通常是:CSS 或许 style什么的。
4.多url的屏蔽
  很多网站静态和动态URL进行同一篇内容的访问,假定你生成全站静态了,那你有必要屏蔽动态地址。这儿有两个利益:1、查找引擎对静态的URL比动态的URL更友善、更简略录入;2、避免静态、动态URL能访问同一篇文章而被查找引擎 判为重复内容。
5.缓存目录的屏蔽
  很多CMS程序都有缓存目录,缓存目录可以十分有用的行进网站的访问速度,***网站带宽,提升用户体验。不过,这么的缓存目录也有一定的缺点,那就是会让查找引擎进行重复的抓取。建议大家对其屏蔽
6.被删去目录的屏蔽
  在网站的打开过程中,目录的删去和***是不行避免的,假定你的网站其时目录不 存在了,那应该对此目录进行robots屏蔽,并回来精确的404过错页面。
7.后台目录的屏蔽
  在能确保网站安全的情况下,如果你的网站运营计划较小,就算网站后台目录出现在robots.txt文件中,也没事,如果你的网站运营计划较大,竞争夺手过多,最好别出现任何你网站后台处理目录的信息,以防被黑客利用。
Ta好可怜,还没人回复Ta,赶紧抢沙发吧!

一周热门话题