正如你所知道的，你不能總是依賴蜘蛛引擎在訪問或者索引你的網站時能夠十分有效的運作。完全依靠他們自己的端口，蜘蛛會產生許多重復內容，把一些重要頁面當成垃圾，索引本不應該展示給用戶的鏈接入口，還會有其他的問題。有一些工具可以讓我們能夠充分控制蜘蛛在網站內部的活動，如meta robots標簽，robots.txt、canonical標簽等。
今天，我講一下機器人控制技術使用的局限。為了讓蜘蛛不抓取某一個頁面，站長們有時會使用多個機器人控制技術， 來禁止搜索引擎訪問某個網頁。不幸的是，這些技術能有時互相抵觸：從另一方面說這樣的限制會把某些死鏈給隱藏掉了。
那么，當一個頁面的robots文件中被禁止訪問，或者被使用noindex tag 和 canonical tag時會發生什么？
快速復習
在我們進入主題之前，讓我們看一下那些主流的robots的一些限制技巧吧：
元機器人標簽
元機器人標簽（Meta Robots Tag）為搜索引擎機器人建立頁面等級說明。元機器人標簽應放在HTML文件的頭部。
規范標簽（canonical tag）
規范標簽（canonical tag）是一個位于網頁HTML頭部的頁面等級的元標簽。它告訴搜索引擎哪一個URL的顯示是規范的。它的目的是不讓搜索引擎抓取重復內容，同時將重復頁面的權重集中在規范的那一個頁面上。
X機器人標簽
自2007年以來，谷歌和其他搜索引擎已經支持把X-Robots-Tag作為一種方法來告訴蜘蛛爬行和索引的優先順序，X-Robots-Tag位于HTTP頭部，曾用于通知蜘蛛爬行和索引文件而用。該標簽對控制那些非HTML文件的索引是很有用的，如PDF文件。
機器人標簽
robots.txt允許一些搜索引擎進入網站內部，但是它并不能保證具體某個頁面會不會被抓取和索引。除非出于SEO的原因，否則只有當確實有必要或者在站點上有需要屏蔽的robots時robots.txt才確實值得使用。我總是推薦使用元數據標簽“noindex”來代替它。
避免沖突
同時利用兩種方法來限制robot入口是不明智的：
· Meta Robots ‘noindex‘ （元機器人標簽“noindex”）
· Canonical Tag （when pointing to a different URL） （標準標簽）
· Robots.txt Disallow
· X-Robots-Tag（x機器人標簽）
盡管你很想去保持頁面的搜索結果，但是一個辦法總是比兩個好。讓我們來看看當在一個單一的URL中有很多robots路徑控制技術時會發生什么。
Meta Robots ’noindex‘ 和 Canonical標簽
如果你的目標是一個URL的權重傳遞給另一個URL，而你卻沒有其他的更好辦法的時候，那就只能用Canonical標簽。不要用元機器人標簽的“noindex”來給自己添麻煩。如果你使用兩個robot的方法，搜索引擎可能根本看不到你的Canonical標簽。權重傳遞的效用將會被忽略，因為機器人的noindex標簽會使它看不到Canonical標簽！
Meta Robots ’noindex‘ & X-Robots-Tag ’noindex‘
這些標簽是多余的。這兩個標簽放置在同一個頁面我只能看到的是給SEO造成的不良影響。如果你能在元機器人‘noindex’中改變頭文件，你就不應該使用x機器人標簽吧。
Robots.txt Disallow &Meta Robots ’noindex‘
這是我看過的最常見的沖突：
我之所以青睞Meta Robots“noindex”的原因是因為它可以有效的阻止一個頁面被索引，同時它還還是可以傳遞權重到連接這個頁面的更深層次的頁面。這是一個雙贏的方法。
robots.txt文件不允許完全限制搜索引擎查看頁面上的信息（以及其中有價值的內部鏈接），特別是不能限制url被索引。有什么好處？我曾經單獨寫過一篇關于這個主題的文章。
如果兩個標簽都使用，robots.txt保證會使Meta Robots ‘noindex’ 不被蜘蛛看到。你會受到robots.txt中disallow的影響并且錯過了所有的Meta Robots‘noindex’帶來的所有好處。
推薦閱讀
騰訊公布最新的數據顯示，手機 QQ 瀏覽器月 PV 超過了 1200 億，這也是首個 PV 破千億的第三方手機瀏覽器，而易觀數據顯示，手機 QQ 瀏覽器市場份額首次超越 UC 瀏覽器，位居市場第一。雖然不是下載量也不是安裝量，>>>詳細閱讀
本文標題：避免蜘蛛爬行和索引錯誤的技巧:繞開沖突
地址：http://www.xglongwei.com/a/34/20110915/11791.html
網友點評
精彩導讀
科技快報
品牌展示