歡迎來到成都黑豆信息技術有限責任公司!

成都黑豆信息技術有限責任公司

成都黑豆信息技術有限責任公司
海商網四川地區總代理:網站建設、網絡優化(SEO)、百度競價包年推廣、外貿推廣、品牌營銷、軟件開發、400電話

全國統一咨詢熱線:18108139168

最新最準確各大搜索引擎蜘蛛名稱

最新最準確各大搜索引擎蜘蛛名稱

最新最準確各大搜索引擎蜘蛛名稱
    1、百度蜘蛛:Baiduspider
    百度蜘蛛最新名稱為Baiduspider。
    Baiduspider-image百度抓取圖片的蜘蛛。
    常見百度旗下同類型蜘蛛還有:Baiduspider-mobile(抓取wap)、         Baiduspider-image(抓取圖片)、Baiduspider-video(抓取視頻)、       Baiduspider-news(抓取新聞)。
    注:以上百度蜘蛛目前常見的是Baiduspider和Baiduspider-image兩種。
    2、谷歌蜘蛛:Googlebot、但也有說是GoogleBot的。
    谷歌蜘蛛最新名稱為“compatible; Googlebot/2.1;”。
    還有Googlebot-Mobile,是抓取wap內容的。
    3、360蜘蛛:360Spider,是一個很“勤奮抓爬”的蜘蛛。
    4、SOSO蜘蛛:Sosospider,也是一個“勤奮抓爬”獎的蜘蛛。
    5、雅虎蜘蛛:“Yahoo! Slurp China”或者Yahoo!
    名稱中帶“Slurp”和空格,名稱有空格robots里名稱可以用“Slurp”或者“Yahoo”單詞描述,不知道有效無效。
     6、有道蜘蛛:YoudaoBot,YodaoBot(兩個名字都有,中文拼音少了個U字母讀音差別很大嘎,這都會少?)
     7、搜狗蜘蛛:Sogou News Spider搜狗蜘蛛還包括如下這些:Sogou web spider、Sogou inst spider、Sogouspider2、Sogou blog、Sogou News Spider、Sogou Orion spider,(參考一些網站的robots文件,搜狗蜘蛛名稱可以用Sogou概括,無法驗證不知道有沒有效)看看最權威的百度robots.txt ,http://www.baidu.com/robots.txt就為Sogou搜狗蜘蛛費了不少字節,占了一大塊領地。
     “Sogou web spider;Sogou inst spider;Sogou spider2;Sogoublog;Sogou News Spider;Sogou Orion spider”目前6個,名稱都帶空格。
     線上常見"Sogou web spider/4.0" ;"Sogou News Spider/4.0" ;"Sogouinst spider/4.0" 可以為它頒個“占名為王”獎。
    8、MSN蜘蛛:msnbot,msnbot-media(只見到msnbot-media在狂爬……)
    9、必應蜘蛛:bingbot
    線上(compatible; bingbot/2.0;)
    10、一搜蜘蛛:YisouSpider
    11、Alexa蜘蛛:ia_archiver
    12、宜sou蜘蛛:EasouSpider
    13、即刻蜘蛛:JikeSpider
    14、一淘網蜘蛛:EtaoSpider "Mozilla/5.0 (compatible; EtaoSpider/1.0;http://省略/EtaoSpider)"
    根據上述蜘蛛中選擇幾個常用的允許抓取,其余的都可以通過robots屏蔽抓取。如果你暫時空間流量還足夠使用,等流量緊張了就保留幾個常用的屏蔽掉其它蜘蛛以節省流量。至于那些蜘蛛抓取對網站能帶來有利用的價值,網站的管理者眼睛是雪亮的。
    另外還發現了如 YandexBot、AhrefsBot和ezooms.bot這些蜘蛛,據說這些蜘蛛是國外噶。
在線聯系
網站二維碼
網站二維碼
  • 在線客服

    • 在線咨詢點擊這里給我發消息
  • 聯系方式

    • 聯系電話:18108139168
    • 聯系手機:13408614686
日日噜噜夜夜狠狠视频无码