我們?cè)谧鼍W(wǎng)站優(yōu)化的時(shí)候，經(jīng)常聽(tīng)有朋友說(shuō)。網(wǎng)站做的好，有利于蜘蛛爬，有利于好的排名。那到底什么是搜索引擎的蜘蛛，又叫爬蟲(chóng)呢。

  合肥網(wǎng)站建設(shè)今天就和大家說(shuō)說(shuō)GOOGLE的搜索引擎機(jī)器人對(duì)叫蜘蛛。google機(jī)器人是Google 的web 抓取漫游器。它從web上收集文檔，為Google搜索引擎建立可搜索的索引。 Googlebot是google的機(jī)器人的意思，俗稱(chēng)google爬蟲(chóng)

   把火狐偽裝成爬蟲(chóng)有什么好處呢？對(duì)經(jīng)常光顧verycd的朋友們非常有用?？梢悦獾卿浛促N。首先我們用火狐測(cè)試一下：打開(kāi)這里是不是要求你登錄？

   繼續(xù)，設(shè)置方法，打開(kāi)火狐，Ctrl+T新建一個(gè)瀏覽標(biāo)簽，輸入：about:config，打開(kāi)配置頁(yè)面，右鍵點(diǎn)擊頁(yè)面選擇“新建→字符串”，在彈出的窗口中輸入：general.useragent.override，確定之后，輸入：Googlebot/2.1 (+http://www.googlebot.com/bot.html)，繼續(xù)確定，關(guān)閉窗口。

   首先要介紹的是Google的"crawl caching proxy"（爬行緩存代理）。Matt舉了一個(gè)ISP與用戶(hù)的例子來(lái)說(shuō)明它。用戶(hù)上網(wǎng)時(shí)，總是先通過(guò)ISP獲取網(wǎng)頁(yè)內(nèi)容，然后ISP就會(huì)把用戶(hù)訪問(wèn)過(guò)的網(wǎng)頁(yè)緩存起來(lái)備用。比如說(shuō)，當(dāng)用戶(hù)A訪問(wèn)了www.seo39.com，那么中國(guó)電信（或網(wǎng)通等）就會(huì)把"幻滅的麥克風(fēng)"發(fā)送給用戶(hù)A，然后將"幻滅的麥克風(fēng)"緩存起來(lái)，當(dāng)用戶(hù)B在下一秒鐘里再訪問(wèn)www.seo39.com，那么中國(guó)電信就會(huì)把緩存里的"幻滅的麥克風(fēng)"發(fā)送給用戶(hù)B，這樣就能節(jié)省了帶寬。 
   Google最新的軟件層面的升級(jí)（轉(zhuǎn)移至BigDaddy）已經(jīng)接近完成，因此升級(jí)后的Google各方面的能力都將得到加強(qiáng)。這些加強(qiáng)包括了更智能化的googlebot爬行、改良的規(guī)范性以及更好的收錄網(wǎng)頁(yè)能力。而在Googlebot爬行抓取網(wǎng)頁(yè)方面，Google也采取了節(jié)省帶寬的方法。Googlebot也隨著B(niǎo)igDaddy的升級(jí)而得到了升級(jí)。新的Googlebot已經(jīng)正式支持了gzip編碼，所以如果你的網(wǎng)站開(kāi)啟了gzip編碼功能，那么就能節(jié)省Googlebot爬行你的網(wǎng)頁(yè)時(shí)所占的帶寬。