百度是如何收錄到那么多網頁的呢？這個百度用以抓取互聯網上數以億計的網頁的程序，就叫做Baiduspider - 百度蜘蛛。
它是一個程序，夜以繼日得在互聯網上找尋新的URL，接著抓取URL上的內容，返回到百度的網頁暫存數據庫。
百度用來抓取網頁內容的程序，叫做Baiduspider，抓取其他內容的蜘蛛，則是新的名字：
產品名稱 對應user-agent
網頁搜索 Baiduspider
無線搜索 Baiduspider-mobile
圖片搜索 Baiduspider-image
視頻搜索 Baiduspider-video
新聞搜索 Baiduspider-news
百度搜藏 Baiduspider-favo
百度聯盟 Baiduspider-cpro
不少朋友會在自己的網站日志里看到這個蜘蛛Baiduspider-cpro，現在我們明白它是百度聯盟蜘蛛，用以百度聯盟程序匹配相應的廣告。
推薦閱讀
老鄔經常接到這樣的咨詢：你能不能保證我們的網站在百度前三？我的網站被降權了，你能不能快速的恢復權重？你能不能快速的把我們的排名提升上去？我想的是：我如果有那么牛叉的實力了，那至少在中國seo界，估計是橫>>>詳細閱讀
本文標題：你造嗎？Baiduspider百度蜘蛛其實也分很多種
地址：http://www.xglongwei.com/a/34/20150513/296099.html
網友點評
精彩導讀
科技快報
品牌展示