前幾日網(wǎng)上討論最多的話題就是新浪博客屏蔽了百度蜘蛛的爬行，以后我們做網(wǎng)站優(yōu)化要如何來(lái)做，等等這一方面的問(wèn)題我們合肥網(wǎng)站建設(shè)那天也寫(xiě)了一篇http://www.meiyegj.com/news/12/774.html這樣的文章。

　　開(kāi)放百度的搜索引擎的User-Agent代碼

　　User-agent: Baiduspider

　　#限制不能搜索的目錄，Disallow: 為空時(shí)開(kāi)放所有目錄####

　　Disallow: /admin/

　　Disallow: /include/

　　Disallow: /html/

　　Disallow: /queue/

　　Disallow: /config/

　　#開(kāi)放bing.com的搜索引擎的User-Agent代碼

　　User-agent: msnbot

　　#限制不能搜索的目錄，Disallow: 為空時(shí)開(kāi)放所有目錄####

　　Disallow: /admin/

　　Disallow: /include/

　　Disallow: /html/

　　Disallow: /queue/

　　Disallow: /config/

　　User-agent: bing

　　#限制不能搜索的目錄，Disallow: 為空時(shí)開(kāi)放所有目錄####

　　Disallow: /admin/

　　Disallow: /include/

　　Disallow: /html/

　　Disallow: /queue/

　　Disallow: /config/

　　#限制的搜索引擎的User-Agent代碼，*表示所有###########

　　User-agent: *

　　#臨時(shí)限制對(duì)所有目錄的禁止抓取

　　Disallow: /

　　#限制不能搜索的目錄，Disallow: 為空時(shí)開(kāi)放所有目錄####

　　##Disallow: /admin/

　　##Disallow: /include/

　　##Disallow: /html/

　　##Disallow: /queue/

　　##Disallow: /config/

　　#開(kāi)放搜索的目錄有####################################

　　# /

　　# /advice/

　　# /help/

　　# /lm/

　　# /main/

　　# /myblog/

　　可以看出新修改的robots.txt文件中的寫(xiě)法已經(jīng)完全支持各類(lèi)主流搜索引擎抓取博客內(nèi)容，一個(gè)開(kāi)放的新浪博客又回來(lái)了!

　昨?yàn)橐粋€(gè)站長(zhǎng)，我們現(xiàn)在又可以在新浪博客上寫(xiě)一些自己文章，發(fā)外鏈了。對(duì)站長(zhǎng)朋友也說(shuō)也是一件很好的事情。