官方公告:我司为了更好的拓展全国业务,即日起所有新老客户均可通过平台担保交易合作,全国首家!

登录    顺的网络官网:www.sd668.cn

SEO优化,百度关键词优化,seo人工优化,优化公司,关键词SEO优化,百度SEO优化,网站关键词优化,网站排名优化,佛山seo优化,佛山seo公司,佛山网站优化,顺德seo优化1.jpg

SEO,SEO优化,百度关键词优化,seo人工优化,优化公司,关键词SEO优,百度SEO优化,网站优化,seo培训,新站优化,整站优化,快速排名,百度排名,7天快速排名,关键词优化,搜索引擎优化,佛山SEO
  •   seo-网站快速排名「一个月保持首页」「顺的推SEO」 >  seo技术
  • 「SEO」Robots.txt文件进阶使用方法!
  • 2019-09-15 08:48 星期7 4552 0评论

    「SEO」Robots.txt文件进阶使用方法!

     

    本文章由SEO优化指导用户上传提供

    关于Robots.txt在网站SEO优化中所发挥的作用和重要性,我们不再一一阐述了,SEO今天主要来和大家聊一聊它的高级用法,也可以叫做进阶使用方法吧。

     Robots.txt文件进阶使用方法.jpg

    「SEO」Robots.txt文件进阶使用方法

     

    robots.txt文件高级应用robots.txt使用要点总结

    在介绍进阶使用方法之前,我们先来回顾一下robots.txt的使用要点:

     

    1)文件名必须为小写。不能是RoBotS.TXT。

     

    2)每个域名(不管是不是子域名)都只能有一个robots.txt文件,放置于网站根目录。yourname.com的robots.txt对abc.yourname.com没有约束。

     

    3)每种协议都可以有一个robots.txt。如和https://yourname.com可以分别有一个robots.txt。

     

    4)每个端口可以有一个robots.txt。如和:8080可以分别有一个robots.txt。

     

    5)user-agent的名称以及user-agent,allow,disallow,crawl-delay,sitemap这些指示符的大小写不敏感。

     

    6)robots.txt所包含的URL为大小写敏感。分清大小写才能有效排除索引。

     

    7)allow和disallow的URL必须是不包括协议、域名、端口的路径。disallow: 就错了。改为disallow: /abc.htm

     

    8)sitemap必须包括从http或https开始的完整的URL。

     

    9)robots.txt不是死链提交工具,想要删除死链索引还是应该登陆各搜索引擎站长平台提交。

     

    10)robots.txt只做减法,有没有这个文件的区别即是去不去做这个排除。删除robots.txt意味着完全开放爬虫漫游。

     

    11)robots.txt只防君子不防小人。历史上发生过多次违反robots.txt的事件。网站要把机密信息放到登陆后。

     

    12)要想严格不让搜索引擎索引还是推荐用noindex标签。但是百度并不支持。

     

    13)crawl-delay并不被谷歌和百度支持,Yandex和Bing则支持。Yandex还支持host指示符来表示偏好的域名。

     

    14)符号#用于注释。后面的内容会被忽略。

     

    robots.txt指令中看不见的通配符*

    这里要说的是通配符*。它代表任意长度的任意字符。请注意每一行allow,disallow之后都有一个看不见的*。

     

    也就是说如果你写了disallow: /seo/,那么下面的内容就会影响到所有以/seo/开头的URL,比如:

     

    但是也有例外的情况,那就是allow和disallow之后没有任何赋值的情况。比如下面这种写法:

     

    User-agent: * Disallow: /cyberworld/map/ # This is an infinite virtual URL space

    # Cybermapper 可以访问任意页面

     

    User-agent: cybermapper Disallow:合并多个User-Agent

    如果你有多个讨厌的机器人在抓取你的网页消耗你的资源,那你可能会通过disallow屏蔽他们(当然要他们是君子的前提下)。你可以通过user-agent一次性把他们屏蔽。

     

    User-agent: bad-bot-a User-agent: bad-bot-b Disallow: /

    这种写法在当你有多个user-agent,每个虽然都比较复杂但是都一样的情况下显得很有用。

     

    User-agent: bad-bot-a User-agent: bad-bot-b Disallow: /XXX

    这样你就可以让robots.txt变得简洁。

     

    为不同的搜索引擎订制不同的Sitemap

    如果我们想让某些搜索引擎只访问特定的sitemap,这种情况下该如何处理呢?除了在站长平台提交网站地图,我们还可以在robots.txt内实现。别忘了sitemap文件也是一个资源,我们一样可以用disallow去屏蔽掉。假定我们给百度的网站地图是sitemap-bd.xml文件,其他搜索引擎的地图文件是sitemap.xml,我们可以通过下面的方式来实现:

     

    User-agent: * Disallow: /sitemap-bd.xml User-agent: baiduspider Disallow: /sitemap.xml Sitemap:  Sitemap:

    这样一来站点就有专门针对百度可见的地图文件了,而其他搜索引擎抓取的是另外一个网站地图文件。

     

    Sitemap太大了该怎么办?

    我们知道,一般来说搜索引擎对站点地图的大小和所包含的URL的数量都有所限制。比如百度对单个sitemap文件的限制是五万条URL和10MB的文件大小。在这种情况下,你可以在robots.txt中给出多个sitemap文件的URL。除了这种分拆方式,你还可以使用sitemap索引文件,比如下面这个例子。

     

    「SEO」Robots.txt文件进阶使用方法

     

    多个站点地图制作索引压缩例子

    其他主流的搜索引擎也认这个索引格式。

     

    那么问题来了,即便是这样,文件多且大,传输会变得非常没有效率。为了解决这个问题我们可以对站点地图进行GZIP压缩。像7-zip这样的压缩工具都可以对文件压缩。需要注意的是在压缩前你的单个站点地图文件仍然必须小于10MB并且包含URL数量小于五万条。

    除非注明,否则均为SEO优化顾问服务_零基础SEO优化指导全网营销【顺的推SEO】真实故事改编,转载必须以链接形式标明本文链接。

SEO,SEO优化,百度关键词优化,seo人工优化,优化公司,关键词SEO优,百度SEO优化,网站优化,seo培训,新站优化,整站优化,快速排名,百度排名,7天快速排名,关键词优化,搜索引擎优化,佛山SEO

首页 |  关键词价格查询 |  按天扣费 |  疑义解答 |  合作流程 |  SEO案例 |  新闻中心 |  联系我们 |  网站地图 |  xml地图

联系人:赖经理 咨询热线:13929141150 座机:0757-26110631

Copyright © 佛山市顺的网络工程有限公司 粤ICP备17011811号
技术支持:顺的网络
百度统计
客服中心

咨询热线

139-2914-1150

优化咨询 售后咨询 渠道合作 建站咨询

seo优化网络公司.jpg

更多案例可加客服经理微信,朋友圈定期更新案例
  在线时间:8:00-18:00