新闻中心

• 运营知识 | 国内各大搜索引擎蜘蛛有哪些？

  　　搜搜引擎蜘蛛是一个自动抓取互联网上网页内容的程序，每个搜索引擎都有自己的蜘蛛。

  　　搜索引擎蜘蛛也叫搜索引擎爬虫、搜索引擎robot。

  　　国内各大搜索引擎蜘蛛名称：

  　　百度：百度spider

  　　谷歌：googlebot

  　　搜狗：sogou spider

  　　搜搜：Sosospider

  　　360搜索：360Spider

  　　有道：YodaoBot

  　　雅虎：Yahoo Slurp

  　　必应：msnbot

  　　Msn:msnbot

  　　以上是常见的搜索引擎蜘蛛(爬虫)，如果你的网站不想让让某些蜘蛛抓取，那么可以通过robots.txt来限制爬虫的抓取。