谷歌蜘蛛:谷歌蜘蛛屬于比較活躍的網站掃描工具,其間隔;天左右就派出“蜘蛛”檢索有更新或者有修改的網頁。與百度蜘蛛最大的不同點是谷歌蜘蛛的爬取深度要比百度蜘蛛多一些。
其用法如下Mozilla/.0(compatible;Googlebot/;.’;+http://www.google.com/bot.html)
谷歌蜘蛛:谷歌蜘蛛屬于比較活躍的網站掃描工具,其間隔;天左右就派出“蜘蛛”檢索有更新或者有修改的網頁。與百度蜘蛛最大的不同點是谷歌蜘蛛的爬取深度要比百度蜘蛛多一些。
其用法如下Mozilla/.0(compatible;Googlebot/;.’;+http://www.google.com/bot.html)