蜘蛛： 蜘蛛(Spider)是搜索引擎的一個(gè)自動(dòng)程序，它的作用是訪問互聯(lián)網(wǎng)上的HTML網(wǎng)頁 ，建立索引數(shù)據(jù)庫，使用戶能在搜索引擎中搜索到網(wǎng)站的網(wǎng)頁。

　　簡單的說，它是網(wǎng)站與搜索引擎交流的工具，正式有了蜘蛛，搜索引擎才能知道你的站點(diǎn)，進(jìn)而才產(chǎn)生了收錄和排名。因?yàn)橹┲胧且粋€(gè)自動(dòng)程序，依靠各項(xiàng)設(shè)定的原則來行動(dòng)，所以通過跟蹤蜘蛛的動(dòng)向和搜索引擎的反應(yīng)，就可以有的放矢地對網(wǎng)站進(jìn)行優(yōu)化。

　　總是有人在一些論壇上發(fā)上一些關(guān)于百度收錄又消失的問題，我想就此發(fā)一下個(gè)人的觀點(diǎn)。一個(gè)網(wǎng)站的搜索引擎收錄量的高低，確實(shí)可以反應(yīng)出網(wǎng)站現(xiàn)存在的一些不利于SEO的因素，這些就是阻礙網(wǎng)站在搜索引擎上表現(xiàn)更好的因素。

 網(wǎng)站為什么收錄少？網(wǎng)站收錄少主要有如下兩類情況：

    A、網(wǎng)站內(nèi)容本來就少，所以不可能收錄多 ：
    比如，網(wǎng)站上總共有100頁內(nèi)容，那么搜索引擎不可能收錄10,000頁。
    常見情況：用BBS系統(tǒng)建站，然后站長手工作坊式自己找內(nèi)容、復(fù)制粘貼來建設(shè)內(nèi)容

    B、網(wǎng)站雖有大量內(nèi)容，但搜索引擎不喜歡所以收錄少：
    常見情況：使用小偷程序或使用采集器批量采集內(nèi)容，但搜索引擎很少收錄，甚至造成整站被封。

    搜索引擎不喜歡傳統(tǒng)采集的主要原因：

    傳統(tǒng)批量獲取的內(nèi)容僅來自特定的一個(gè)或幾個(gè)網(wǎng)站，所以內(nèi)容與目標(biāo)網(wǎng)站大幅度重復(fù)，這是搜索引擎不收錄的最重要原因；
    傳統(tǒng)采集來的內(nèi)容質(zhì)量不高，主要是無有效過濾手段，比如采集來的很多內(nèi)容都被添加了不相干的關(guān)鍵詞、或者關(guān)鍵詞堆積密度過高，造成搜索引擎連帶懲罰；
    傳統(tǒng)采集的內(nèi)容與原網(wǎng)站完全一樣，但搜索引擎更喜歡原創(chuàng)內(nèi)容；
    傳統(tǒng)采集后添加到網(wǎng)站的內(nèi)容，彼此之間很少關(guān)聯(lián)，這造成搜索引擎爬行一個(gè)頁面之后無法順利的爬行其他頁面，這也非常影響收錄。
    人工復(fù)制，雖然能保證內(nèi)容質(zhì)量，但又太累，并且獲取的總體內(nèi)容太少，不行！
    傳統(tǒng)采集，雖然能快速獲得內(nèi)容，但又要懂技術(shù)，并且搜索引擎不喜歡，還是不行！

　　首先 蜘蛛爬到你的主頁 會(huì)隨著你的鏈接不斷的進(jìn)行爬尋 在爬尋的過程中不斷地將文章和百度首次收錄算法進(jìn)行對比 這個(gè)要求很低 只要是出現(xiàn)他們喜歡的“關(guān)鍵字”你的站將很快就會(huì)被收錄，于是很多人的文章很快就被收錄了，歡天喜地，但是第二天卻又被百度刪除，哭喪著臉跑到各個(gè)論壇不斷的詢問，這是為什么呢?相信這是SEO初學(xué)者的一個(gè)共同疑問。

　　答案是 蜘蛛雖然把你帶回了家，但是他還要進(jìn)行第二次數(shù)據(jù)對比，這就需要另外一只蜘蛛(這里強(qiáng)調(diào)下，研究搜索引擎的算法的時(shí)候我們一定要從實(shí)際出發(fā)，如果你是搜索引擎蜘蛛的研究者，你是否能夠用一個(gè)蜘蛛就實(shí)現(xiàn)這個(gè)些功能呢，顯眼為了分工明確 百度派出了很多的蜘蛛各司其職 原理如同我們的CUP 多線程)將其與數(shù)據(jù)庫中的文章進(jìn)行對比，如果文章內(nèi)容重復(fù)讀超出60%便會(huì)默認(rèn)為同樣的文章，這樣就是SEO界所謂的“頁面相似度過高”，容易導(dǎo)致失去百度信任進(jìn)而有被降權(quán)的可能性.

　　總結(jié)，說了這么，主要就是闡述一下 很多人問過的 為何百度收錄了我的文章，很快又消失了的原因。SEO界有一句大家認(rèn)同的話“內(nèi)容為王”，的確是這樣老老實(shí)實(shí)做站 只要堅(jiān)持內(nèi)容原創(chuàng) 相信你的站距離成功不再遙遠(yuǎn)。