許多站長都有查看網(wǎng)站日志的習(xí)慣,這么做的主要目的就是為了分析蜘蛛爬行網(wǎng)站的情況,當(dāng)然其中多數(shù)站長也只是簡(jiǎn)單的了解一下當(dāng)天蜘蛛爬行的次數(shù),這一點(diǎn)就足夠發(fā)現(xiàn)問題了。有時(shí)候,我們會(huì)覺得自己的網(wǎng)站已經(jīng)相當(dāng)完美了,而正常優(yōu)化過程中,蜘蛛?yún)s對(duì)此不感冒,讓人很是著急。

了解原理就很容易理解,搜索引擎借助蜘蛛在互聯(lián)網(wǎng)這張大網(wǎng)中搜尋“獵物”,它唯一所能依據(jù)的線索就是鏈接了,找到新的鏈接后,根據(jù)復(fù)雜的算法最終對(duì)網(wǎng)站進(jìn)行排名,儲(chǔ)存在數(shù)據(jù)庫中。很多網(wǎng)站可能會(huì)因?yàn)榫W(wǎng)站結(jié)構(gòu)混亂失去蜘蛛到訪的機(jī)會(huì),然而蜘蛛不訪問網(wǎng)站的因素有很多,下面我們一起總結(jié)一下:
圖片、flash等內(nèi)容過多
不得不說,搜索引擎發(fā)展到現(xiàn)在,已經(jīng)比較的智能化了,去年google就推出了圖片搜索功能,能夠分析圖片的色彩、像素比例而找到圖片的出處。然而這項(xiàng)技術(shù)對(duì)于搜索引擎完全的識(shí)別圖片中的信息還有不小的差距,而很多站長或是不懂得搜索引擎優(yōu)化,或是考慮網(wǎng)站美觀和內(nèi)容豐富,往往會(huì)在頁面中嵌入大量高清圖片、flash,即使你的網(wǎng)站內(nèi)容再好,蜘蛛也無法知道,只能繞道而行了。現(xiàn)在網(wǎng)絡(luò)上有許多模擬蜘蛛抓取的工具,有類似情況的網(wǎng)站站長可以查詢一下自己網(wǎng)站的信息,看看蜘蛛能夠發(fā)現(xiàn)的信息和人眼看到的有多大差距。
網(wǎng)站死鏈接過多
我們可以想象,蜘蛛興高采烈的來到你的網(wǎng)站,開始逐個(gè)鏈接的搜尋,以為發(fā)現(xiàn)了一堆好的內(nèi)容,然而卻是一堆打不開的鏈接等著她,一次、兩次、三次,每次來都是這種情況,所以她生氣了,就再也不會(huì)訪問你的頁面了。大部分的網(wǎng)站都存在死鏈接,只要我們能夠及時(shí)的發(fā)現(xiàn)并清除掉就沒有問題了,你可以利用強(qiáng)大的xenu,也可以查看你的網(wǎng)站日志,發(fā)現(xiàn)返回404狀態(tài)碼的一律清除。

上圖是用xenu掃描www.tcie.cn時(shí)的界面。
外鏈與nofollow
之所以蜘蛛能夠成功的找到并訪問你的站點(diǎn),是因?yàn)槠渌W(wǎng)站上存在你網(wǎng)站的鏈接。想要蜘蛛更頻繁的光臨,在建立外鏈時(shí)就應(yīng)該考慮外鏈網(wǎng)站權(quán)重,收錄數(shù)越大、PR值越高,快照更新越快的網(wǎng)站權(quán)重就越高。另外有些無良站長在做友情鏈接時(shí),會(huì)有意設(shè)置nofollow,這樣的外鏈在蜘蛛眼里形同虛設(shè),如果你網(wǎng)站的外鏈有這種現(xiàn)象,請(qǐng)及時(shí)撤除。

網(wǎng)站代碼復(fù)雜
網(wǎng)站建設(shè)中,代碼優(yōu)化非常重要,冗長代碼對(duì)網(wǎng)站無任何意義,而且還會(huì)影響打開速度和搜索引擎蜘蛛的判斷。
網(wǎng)站邏輯結(jié)構(gòu)復(fù)雜
正確的網(wǎng)站邏輯結(jié)構(gòu)應(yīng)該是扁平狀的樹形結(jié)構(gòu),也就是說,蜘蛛通過首頁訪問,能夠達(dá)到任何一個(gè)欄目頁,通過欄目頁又能達(dá)到任何一個(gè)內(nèi)容頁,這個(gè)次數(shù)應(yīng)該被限定在3次以內(nèi)(較大的網(wǎng)站可以多幾層)。如果網(wǎng)站層次太多,網(wǎng)站權(quán)重又不夠高,蜘蛛就沒有興趣去一層層的搜尋了。
網(wǎng)站地圖錯(cuò)誤
網(wǎng)站地圖是搜索引擎全面認(rèn)識(shí)網(wǎng)站的好工具,對(duì)于蜘蛛而言,網(wǎng)站地圖就像花名冊(cè),好的網(wǎng)站地圖能讓蜘蛛很有指向性的訪問網(wǎng)站中的任何頁面。所以,我們?cè)谥谱骶W(wǎng)站地圖時(shí)就需要謹(jǐn)慎行事了。網(wǎng)絡(luò)上也有很多制作網(wǎng)站地圖的工具,為了確保萬無一失,大家也可以作為訪客進(jìn)行訪問來加以驗(yàn)證。本文由網(wǎng)絡(luò)營銷公司http://www.tcie.cn提供,轉(zhuǎn)載請(qǐng)注明出處。