点击精灵Logo
您的位置:首页 >seo中级

CCbot是什么蜘蛛?

来源:精灵SEO 发布时间:2020-06-30

  CCbot是什么蜘蛛?您的网站日志中是否有出现过一个不太常见的CC蜘蛛,访问名称为:CCBot/2.0,下面我们具体来了解一下CCbot是什么蜘蛛?

CCbot是什么蜘蛛

  一. CCbot是什么蜘蛛?

  CCbot,全称为Common Crawl Bot,是一个非营利性基金会致力于提供可以被所有人访问和分析的Web爬网数据的开放存储库。

  二. 你如何处理CCbot蜘蛛?

  方法1. 使用robots.txt

  使用robots.txt文件来允许或禁止蜘蛛访问页面的权限。robots.txt是放在网站根目录中,蜘蛛来访问时会先查找并查看robots.txt文件,并遵守robots协议来访问网站上的内容,允许访问则访问,不允许访问蜘蛛则离开。

  ①. 不允许任何蜘蛛访问您站点的任何部分

  User-agent:*

  Disallow:/

  ②. 允许任何蜘蛛访问您站点的任何部分

  User-agent:*

  Disallow:

  ③. 不允许CCbot蜘蛛访问网站的任何部分

  User-agent:ccbot

  Disallow:/

  ④. 允许CCbot蜘蛛访问您站点的任何部分

  User-agent:ccbot

  Disallow:

  ⑤. 允许CCbot蜘蛛访问您站点,但不允许CCbot访问“wp-admin”文件夹

  User-agent:ccbot

  Disallow:/wp-admin

  方法2. 使用元标记

  可以在页面中使用元标记来帮助控制搜索引擎蜘蛛对您网站的访问权限。如果您为所有页面使用模板,则可以在和之间添加元标记, 它将适用于使用该模板的所有页面。如果要控制特定页面,可以在和之间的各个页面上添加元标记 。

  ①. 允许所有蜘蛛访问您的页面

  ②. 允许所有蜘蛛访问您的网页并跟踪页面上的链接

  ③. 允许所有蜘蛛访问您的网页,但不允许他们跟踪链接

  ④. 不允许任何蜘蛛访问您的网页

  ⑤. 允许CCbot访问您的网页

  ⑥. 不允许CCbot访问您的页面

  ⑦. 允许CCbot访问您的页面并跟踪更多页面的链接

  如果你在网站日志中也发现了CCbot,不要惊慌,你接下来需要做的就是是允许它继续爬行还是禁止爬行?May个人觉得这类蜘蛛没有多大的意义,一旦发现这类蜘蛛爬行比较频繁,最好的方式就是禁止这些蜘蛛继续访问我们的网站。

相关文章内容简介

1 网站关键词排名优化需要做什么

  我们做关键词优化的最终目的是关键词获得排名,但是我们做关键词优化的前要先定位自己所处的位置。   首先,我们应该先做好网站定位,给了自己一个方向后接下来我们就开始寻找竞争对手,因为竞争对手是作为我们努力的风向标。为什么是竞争对手是我们的风向标呢?哪些是我们的竞争对手呢?我们可以把同行中网站优化做得最好的视为竞争对手,然后分析竞争对手的网站SEO数据,从对方的网站SEO数据中我们可以获得同行的重点是在优化哪些关键词的排名。   从同行中比较强的竞争对手中获得一些SEO数据后,我们再通过分类筛选出适合我们网站发展的关键词,接着进行关键词优化难易分析。前期我们网站的权重、收录、关键词排名都是比较薄弱的,所以我们应该先选择优化长尾关键词。   获取精准的关键词   简单来说,关键词优化的方法有站内关键词优化和站外关键词优化。   站内关键词优化是关键词排名的基础,站外关键词优化是提升关键词排名的快捷方法,但是两者必须同时进行才能达到最好的效果。   但是不管是站内关键词优化还是站内关键词 [阅读全文]

2 建设站群推广注意事项

  站群就是一网站的集合,但是一定要统一,分级管理,信息共享,单点登录才可以。最初的站群由政府提出,现在已经应用领域范围很广,例如政府门户网站群、大型企事业网站群、行业网站群等。站群,即一个人或一个团队操作多个网站,目的是通过搜索引擎获得大量流量,或者是将链接指向同一个网站,以提高搜索排名。下面我们一起来看看建设站群推广注意事项吧!   一、不能使用站群间交叉链接   清晰站群的服务方向,一些网络推广的朋友总是对站群“寄予厚望”,不但希望站群能够带来关键词的外部链接投票分数,还希望站群能够有很高的PR。通过使用这些站群自己给自己做外部链接,结果站群之间成了蜘蛛网的外部链接结构,这样做最薄弱的环节就是这种站点间的交换链接极容易被搜索引擎判断为链接工厂,而无形中又将所有的论坛关系通过外部链接联系到一起。一旦搜索引擎发现破绽,一根绳子上的蚂蚱,谁也跑不了了。   二、站群选择的服务器IP要避免相似   在wang络推广过程中,有些人认为站点的IP没有注意的必要。但是,当你转移站点的时候,论 [阅读全文]

系统提示

登录密码错误!!!