网商网
江苏鸿图官方微博
关于我们
咨询电话: 400-806-0519
  • 高端网站制作

    千套个性风格第一印象
    完美制作,整站静态化

  • 强大网站管理功能

    集产品、新闻、下载、视频等强大功能

  • 人工+智能全面优化

    企业网站建设+整合营销+底层营销,SEO整站优化系统全面智能推广

  • 全方面效果监控

    强大的效果查看程序,一键查看各大搜索引擎营销的关键词排名情况

  • 全方位营销覆盖

    各大搜索引擎全面推广

  • 最强技术团队+优质服务

    拥有最专业的互联网技术营销团队,6*24小时客服无缝对接

  • 品牌口碑营销

    视频、软文、微博、论坛、百度等,全面提升企业互联网品牌影响力

点击查看更多
关于2017年“端午节”期间江苏鸿图服务及审核

尊敬的江苏鸿图客户和合作伙伴: 你们好!感谢大家一直以来对我司各项工作的支持与信任,...

关于2017年“劳动节”期间江苏鸿图服务及审核

尊敬的江苏鸿图客户和合作伙伴: 你们好!感谢大家一直以来对我司各项工作的支持与信任,...

点击查看更多
中小型企业实现网络营销三步曲

谈起网络营销,很多的中小企业都不知道从何下手,只是知道,网络营销是大势所趋,已经到...

网站运营管理的6S理论

6S是一个网站管理工作的基础。6S运用到网站管理维护中,可以提升网站质量、网站形象、服务...

点击查看更多
运营网站推广方式难,该怎么解决

运营过网站的兄弟都晓得,搭站简略,推广难。依据八匹马网络传媒数据显现,查找引擎是大...

[网站建设之]百度收录突然减少的原因及解决

一个网站的更新、优化和推广是增加网站收录必不可少的基本工作,但有时在自己辛苦过后,...

点击查看更多
隐藏详细

搜索引擎蜘蛛占用流量过多,可以使用robots.txt屏蔽

发布:2014-09-15 09:00   已有[ ]位围观   发布人:江苏鸿图

我们知道,搜索引擎都遵守互联网robots协议,可通过robots.txt来进行限制。先对robots.txt一些实例说明,然后根据上面网站情况进行规则设置,首先在网站跟目录下面建立一个robots.txt文件。
 
例1. 禁止所有搜索引擎访问网站的任何部分 
 
User-agent: * 
 
Disallow: / 
 
例2. 允许所有的robot访问 (或者也可以建一个空文件 “/robots.txt” file) 
 
User-agent: * 
 
Allow: 
 
例3. 禁止某个搜索引擎的访问(禁止BaiDuSpider)
 
User-agent: BaiDuSpider 
 
Disallow: / 
 
例4. 允许某个搜索引擎的访问 
 
User-agent: Baiduspider 
 
allow:/ 
 
例5.禁止二个目录搜索引擎访问
 
    User-agent: * 
 
Disallow: /admin/
 
Disallow: /install/
 
例6. 仅允许Baiduspider以及Googlebot访问
 
User-agent: Baiduspider
Allow: /
User-agent: Googlebot
Allow: /
User-agent: *
Disallow: /
 
例7. 禁止百度搜索引擎抓取你网站上的所有图片
 
User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$
 
三、     问题解决(规则设置)
 
根据以上实例,经过分析网站日志,主要是百度抓取图片占用了流量,他还有两个目录也不希望搜索引擎抓取,设置规则如下解决:
 
User-agent: * 
 
Disallow: /admin/
 
Disallow: /install/
 
User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$
 
因为搜索引擎索引数据库的更新需要时间。虽然蜘蛛已经停止访问您网站上的网页,但百度搜索引擎数据库中已经建立的网页索引信息,可能需要数月时间才会清除。也就是说设置限制之后日志还会看见蜘蛛爬行,逐渐会降低抓取直到完全生效,这种问题会持续一段时间。如果您需要尽快屏蔽,访问以下帮助中心进行投诉,搜索引擎就会较快处理。

上一篇:一个网站打开的速度受哪些因素影响? 下一篇:没有了