著名搜索引擎蜘蛛名称以及介绍

   百度（Baidu）公司旗下负责网页搜索的蜘蛛名称为：Baiduspider，该蜘蛛不仅能够为网页搜索抓取网页和文件，而且还能为图片等其他搜索抓取图片等相关的信息，可谓功能强大；Baiduspider-cpro是百度公司负责抓取百度联盟会员站点的蜘蛛，该蜘蛛只会出现在百度联盟会员的站点上；Baiduspider-sfkr是原来百度十分（即百度竞价的前身）的蜘蛛，该蜘蛛主要是抓取参与百度竞价排名或其他搜索营销服务的网站。

    谷歌（Google）公司旗下负责网页搜索的蜘蛛名称为：Googlebot，该蜘蛛主要从Google的网站索引和新闻索引中抓取网页；Googlebot-Mobile是谷歌移动搜索的蜘蛛名称，主要是从Google的移动索引中抓取网页；Googlebot-Image是谷歌图片搜索的蜘蛛名称，主要是从Google的图片索引中抓取网页；Mediapartners-Google是谷歌为联盟会员站点开发的蜘蛛，主要是抓取网页确定 AdSense 的内容（网站上没有展示 AdSense 广告的情况下，Google是不会才使用此蜘蛛来抓取您的网站）；Adsbot-Google是谷歌为抓取网页来衡量 AdWords 目标网页的质量（只有使用 Google AdWords 为网站做广告的情况下，Google才会使用此蜘蛛）。

    雅虎（Yahoo）公司旗下搜索引擎众多，Inktomi、Altavista和Alltheweb都是其旗下搜索引起网站，中文搜索易搜（yisou.com）也是其旗下搜索引擎站点。Slurp是雅虎的网页蜘蛛，他可以从Yahoo！的索引中抓取网页，同时也是Inktomi的蜘蛛；Yahoo!-AdCrawler用来抓取Yahoo！搜索引擎广告登陆页网页；Altavista使用的网页蜘蛛为Scooter；Alltheweb使用的网页蜘蛛为FAST-WebCrawler（PS：通过这里我们能看到alltheweb原为fast公司开发的搜索引擎）。

    微软（Microsoft）公司旗下的搜索引擎多次修改名称，原为MSN，后修改为Live，今年又给自己起了个名字叫Bing（中文名称必应）。其负责网页搜索的蜘蛛为：MSNBot；而MSNBot-Media不仅仅负责图片的爬取，还负责视频、音乐等多媒体的爬取；MSNBot-NewsBlogs主要是负责新闻和博客的爬取；MSNBot-Products是产品和购物类网站的爬取蜘蛛；MSNBot-Academic则是学术、论文类的爬取蜘蛛。

    搜狐（Sohu）公司一直都认为自己是中文搜索行业的鼻祖，搜狗（sogou）也号称是第三代中文搜索引擎。sogou spider是这个搜索引擎的发动机，其职责是访问互联网上的网页，存储到本地数据库中，并从中发现新的链接，走访互联网，使用户能在搜狗搜索引擎中搜索到您网站的网页。

    网易（Netease）公司旗下的有道（youdao）原为yodao，后修改为今天的域名和品牌，但其搜索引擎的爬取程序依然没有变化仍然为YodaoBot。有道宣称其搜索引擎爬虫可以抓所有的内容。

    腾讯(Tencent)公司旗下的搜搜（soso）原使用的是谷歌的技术，李开复的离职后，搜搜也开始独立，Sosospider是其网页搜索引擎的蜘蛛名称。

   此外著名的搜索引擎以及蜘蛛还包括Alexa：ia_archiver、AOL：sqworm、ask.com：Ask等等。