搜索引擎大全2016最新各大主流搜索引擎蜘蛛UA标识名称大全及PHP判断是搜索蜘
1.南方网遵循行业规范，任何转载的都会明确标注作者和来源；2.本站的原创文章，请转载时务必注章作者和来源：南方网，不尊重原创的行为本网或将追究责任；3.作者可能会经编辑修改或补充。
php判断函数：/***判断是否为蜘蛛by:南方网*@returnstring*/functionis_spider(){$robot=0;$USER_AGENT=strtolower($_SERVER[HTTP_USER_AGENT]);if(strpos($USER_AGENT,bot))$robot=1;if(strpos($USER_AGENT,spider))$robot=1;if(strpos($USER_AGENT,slurp))$robot=1;if(strpos($USER_AGENT,mediapartners-google))$robot=1;if(strpos($USER_AGENT,st-webcrawler))$robot=1;if(strpos($USER_AGENT,altavista))$robot=1;if(strpos($USER_AGENT,ia_archiver))$robot=1;if($robot==1){//dosomething}return;}
1、百度蜘蛛：Baiduspider百度引擎蜘蛛最新名称为Baiduspider，网上资料的BaiduSpider、baiduspider都是以前的旧版本标识了，还有就是Baiduspider-image这个百度图片抓取蜘蛛，以及Baiduspider-mobile手机wap抓取、...
1、百度蜘蛛：Baiduspider百度引擎蜘蛛最新名称为Baiduspider，网上资料的BaiduSpider、baiduspider都是以前的旧版本标识了，还有就是Baiduspider-image这个百度图片抓取蜘蛛，以及Baiduspider-mobile手机wap抓取、Baiduspider-video百度视频抓取蜘蛛和Baiduspider-news百度新闻抓取蜘蛛。2、谷歌蜘蛛：Googlebot1)googlebot：从google的网站索引和新闻索引中抓取网页2)googlebot-mobile针对google的移动索引抓取网页3)googlebot-image：针对google的图片索引抓取网页4)mediapartners-google：抓取网页确定adsense的内容。只有在你的网站上展示adsense广告的情况下，google才会使用此漫游器来抓取您的网站。5)adsbot-google：抓取网页来衡量adwords目标网页的质量。只有在你使用googleadwords为你的网站做广告的情况下，google才会使用此漫游器。3、360蜘蛛：360蜘蛛名他的名称叫360Spider、haosouspider4、SOSO已和sogou合并：soso蜘蛛标识为Sosospider、搜狗蜘蛛：SogouNewsSpider5、雅虎蜘蛛：“Yahoo!SlurpChina”或者Yahoo!名称中带“Slurp”和空格，名称有空格robots里名称可以使用“Slurp”或者“Yahoo”单词描述，不知道有效无效。yahoo!搜索引擎广告蜘蛛：yahoo!-adcrawler。用来抓取yahoo!搜索引擎广告登陆页网页6、有道蜘蛛：YoudaoBot，YodaoBot（两个名字都有，中文拼音少了个U字母读音差别很大嘎，这都会少？）7、搜狗蜘蛛：SogouNewsSpider搜狗蜘蛛还包括如下这些：Sogouwebspider、Sogouinstspider、Sogouspider2、Sogoublog、SogouNewsSpider、SogouOrionspider，（参考一些网站的robots文件，搜狗蜘蛛名称可以用Sogou概括，无法验证不知道有没有效）看看最权威的百度的robots.txt，就为Sogou搜狗蜘蛛费了不少字节，占了一大块领地。“Sogouwebspider；Sogouinstspider；Sogouspider2；Sogoublog；SogouNewsSpider；SogouOrionspider”目前6个，名称都带空格。线上常见Sogouwebspider/4.0；SogouNewsSpider/4.0；Sogouinstspider/4.0可以为它颁个“占名为王”。8、MSN蜘蛛：msnbot，msnbot-media（只见到msnbot-media在狂爬……）1)msnbot：mainwebcrawler(：)3)msnbot-newsblogs：newsandblogs(search.live.com/news)4)msnbot-products：productsshopping(products.live.com)5)msnbot-academic：academicsearch(academic.live.com)9、必应蜘蛛：bingbot线上(compatible;bingbot/2.0;)10、一搜蜘蛛：YisouSpider11、Alexa蜘蛛：ia_archiver12、宜搜蜘蛛：EasouSpider13、即刻蜘蛛：JikeSpider14、一淘网蜘蛛：EtaoSpiderMozilla/5.0(compatible;EtaoSpider/1.0;EtaoSpider)
