蜘蛛： 蜘蛛(Spider)是搜索引擎的一個自動程序，它的作用是訪問互聯(lián)網(wǎng)上的HTML網(wǎng)頁 ，建立索引數(shù)據(jù)庫，使用戶能在搜索引擎中搜索到網(wǎng)站的網(wǎng)頁。

　　簡單的說，它是網(wǎng)站與搜索引擎交流的工具，正式有了蜘蛛，搜索引擎才能知道你的站點，進而才產(chǎn)生了收錄和排名。因為蜘蛛是一個自動程序，依靠各項設定的原則來行動，所以通過跟蹤蜘蛛的動向和搜索引擎的反應，就可以有的放矢地對網(wǎng)站進行優(yōu)化。

　　總是有人在一些論壇上發(fā)上一些關于百度收錄又消失的問題，我想就此發(fā)一下個人的觀點。一個網(wǎng)站的搜索引擎收錄量的高低，確實可以反應出網(wǎng)站現(xiàn)存在的一些不利于SEO的因素，這些就是阻礙網(wǎng)站在搜索引擎上表現(xiàn)更好的因素。

 網(wǎng)站為什么收錄少？網(wǎng)站收錄少主要有如下兩類情況：

    A、網(wǎng)站內(nèi)容本來就少，所以不可能收錄多 ：
    比如，網(wǎng)站上總共有100頁內(nèi)容，那么搜索引擎不可能收錄10,000頁。
    常見情況：用BBS系統(tǒng)建站，然后站長手工作坊式自己找內(nèi)容、復制粘貼來建設內(nèi)容

    B、網(wǎng)站雖有大量內(nèi)容，但搜索引擎不喜歡所以收錄少：
    常見情況：使用小偷程序或使用采集器批量采集內(nèi)容，但搜索引擎很少收錄，甚至造成整站被封。

    搜索引擎不喜歡傳統(tǒng)采集的主要原因：

    傳統(tǒng)批量獲取的內(nèi)容僅來自特定的一個或幾個網(wǎng)站，所以內(nèi)容與目標網(wǎng)站大幅度重復，這是搜索引擎不收錄的最重要原因；
    傳統(tǒng)采集來的內(nèi)容質(zhì)量不高，主要是無有效過濾手段，比如采集來的很多內(nèi)容都被添加了不相干的關鍵詞、或者關鍵詞堆積密度過高，造成搜索引擎連帶懲罰；
    傳統(tǒng)采集的內(nèi)容與原網(wǎng)站完全一樣，但搜索引擎更喜歡原創(chuàng)內(nèi)容；
    傳統(tǒng)采集后添加到網(wǎng)站的內(nèi)容，彼此之間很少關聯(lián)，這造成搜索引擎爬行一個頁面之后無法順利的爬行其他頁面，這也非常影響收錄。
    人工復制，雖然能保證內(nèi)容質(zhì)量，但又太累，并且獲取的總體內(nèi)容太少，不行！
    傳統(tǒng)采集，雖然能快速獲得內(nèi)容，但又要懂技術(shù)，并且搜索引擎不喜歡，還是不行！

　　首先 蜘蛛爬到你的主頁 會隨著你的鏈接不斷的進行爬尋 在爬尋的過程中不斷地將文章和百度首次收錄算法進行對比 這個要求很低 只要是出現(xiàn)他們喜歡的“關鍵字”你的站將很快就會被收錄，于是很多人的文章很快就被收錄了，歡天喜地，但是第二天卻又被百度刪除，哭喪著臉跑到各個論壇不斷的詢問，這是為什么呢?相信這是SEO初學者的一個共同疑問。

　　答案是 蜘蛛雖然把你帶回了家，但是他還要進行第二次數(shù)據(jù)對比，這就需要另外一只蜘蛛(這里強調(diào)下，研究搜索引擎的算法的時候我們一定要從實際出發(fā)，如果你是搜索引擎蜘蛛的研究者，你是否能夠用一個蜘蛛就實現(xiàn)這個些功能呢，顯眼為了分工明確 百度派出了很多的蜘蛛各司其職 原理如同我們的CUP 多線程)將其與數(shù)據(jù)庫中的文章進行對比，如果文章內(nèi)容重復讀超出60%便會默認為同樣的文章，這樣就是SEO界所謂的“頁面相似度過高”，容易導致失去百度信任進而有被降權(quán)的可能性.

　　總結(jié)，說了這么，主要就是闡述一下 很多人問過的 為何百度收錄了我的文章，很快又消失了的原因。SEO界有一句大家認同的話“內(nèi)容為王”，的確是這樣老老實實做站 只要堅持內(nèi)容原創(chuàng) 相信你的站距離成功不再遙遠。