引擎蜘蛛工作原理

關于搜索引擎蜘蛛程序的一些原理及體系結構純技術文章，一些地方可能不會看的很明白，對于SEO行業(yè)，經常和搜索引擎及其爬蟲程序打交道，仔細瀏覽下，一些不清楚而自己又很想了解的地方，可以借助搜索來需找相關解釋，對工作還是有幫助的（個人認為值得注意的地方已加紅顯示）。

搜索引擎蜘蛛工作原理

1、聚焦爬蟲工作原理及關鍵技術概述

搜索引擎蜘蛛是一個自動提取網頁的程序，它為搜索引擎從Internet網上下載網頁，是搜索引擎的重要組成。傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列，直到滿足系統的一定停止條件。聚焦爬蟲的工作流程較為復雜，需要根據一定的網頁分析算法過濾與主題無關的鏈接，保留有用的鏈接并將其放入等待抓取的URL隊列。然后，它將根據一定的搜索策略從隊列中選擇下一步要抓取的網頁URL，并重復上述過程，直到達到系統的某一條件時停止，另外，所有被爬蟲抓取的網頁將會被系統存貯，進行一定的分析、過濾，并建立索引，以便之后的查詢和檢索；對于聚焦爬蟲來說，這一過程所得到的分析結果還可能對以后的抓取過程給出反饋和指導。

相對于通用搜索引擎蜘蛛，聚焦爬蟲還需要解決三個主要問題：

1.對抓取目標的描述或定義；

2.對網頁或數據的分析與過濾；

3.對URL的搜索策略。

抓取目標的描述和定義是決定網頁分析算法與URL搜索策略如何制訂的基礎。而網頁分析算法和候選URL排序算法是決定搜索引擎所提供的服務形式和爬蟲網頁抓取行為的關鍵所在。這兩個部分的算法又是緊密相關的。

2、抓取目標描述

現有聚焦爬蟲對抓取目標的描述可分為基于目標網頁特征、基于目標數據模式和基于領域概念3種。

基于目標網頁特征的爬蟲所抓取、存儲并索引的對象一般為網站或網頁。根據種子樣本獲取方式可分為：

1.預先給定的初始抓取種子樣本；

2.預先給定的網頁分類目錄和與分類目錄對應的種子樣本，如Yahoo!分類結構等；

3.通過用戶行為確定的抓取目標樣例，分為：用戶瀏覽過程中顯示標注的抓取樣本；通過用戶日志挖掘得到訪問模式及相關樣本。

其中，網頁特征可以是網頁的內容特征，也可以是網頁的鏈接結構特征，等等。

基于目標數據模式的爬蟲針對的是網頁上的數據，所抓取的數據一般要符合一定的模式，或者可以轉化或映射為目標數據模式。

另一種描述方式是建立目標領域的本體或詞典，用于從語義角度分析不同特征在某一主題中的重要程度。

3、網頁搜索策略

網頁的抓取策略可以分為深度優(yōu)先、廣度優(yōu)先和最佳優(yōu)先三種。深度優(yōu)先在很多情況下會導致爬蟲的陷入(trapped)問題，目前常見的是廣度優(yōu)先和最佳優(yōu)先方法。

3.1、廣度優(yōu)先搜索策略

廣度優(yōu)先搜索策略是指在抓取過程中，在完成當前層次的搜索后，才進行下一層次的搜索。該算法的設計和實現相對簡單。在目前為覆蓋盡可能多的網頁， 一般使用廣度優(yōu)先搜索方法。也有很多研究將廣度優(yōu)先搜索策略應用于聚焦爬蟲中。其基本思想是認為與初始URL在一定鏈接距離內的網頁具有主題相關性的概率很大。另外一種方法是將廣度優(yōu)先搜索與網頁過濾技術結合使用，先用廣度優(yōu)先策略抓取網頁，再將其中無關的網頁過濾掉。這些方法的缺點在于，隨著抓取網頁的增多，大量的無關網頁將被下載并過濾，算法的效率將變低。

3.2 最佳優(yōu)先搜索策略

最佳優(yōu)先搜索策略按照一定的網頁分析算法，預測候選URL與目標網頁的相似度，或與主題的相關性，并選取評價最好的一個或幾個URL進行抓取。它只訪問經過網頁分析算法預測為“有用”的網頁。存在的一個問題是，在爬蟲抓取路徑上的很多相關網頁可能被忽略，因為最佳優(yōu)先策略是一種局部最優(yōu)搜索算法。 因此需要將最佳優(yōu)先結合具體的應用進行改進，以跳出局部最優(yōu)點。將在第4節(jié)中結合網頁分析算法作具體的討論。研究表明，這樣的閉環(huán)調整可以將無關網頁數量降低30%~90%。

4、網頁分析算法

網頁分析算法可以歸納為基于網絡拓撲、基于網頁內容和基于用戶訪問行為三種類型。

4.1、基于網絡拓撲的分析算法

基于網頁之間的鏈接，通過已知的網頁或數據，來對與其有直接或間接鏈接關系的對象（可以是網頁或網站等）作出評價的算法。又分為網頁粒度、網站粒度和網頁塊粒度這三種。

4.1.1、網頁粒度的分析算法

PageRank和HITS算法是最常見的鏈接分析算法，兩者都是通過對網頁間鏈接度的遞歸和規(guī)范化計算，得到每個網頁的重要度評價。 PageRank算法雖然考慮了用戶訪問行為的隨機性和Sink網頁的存在，但忽略了絕大多數用戶訪問時帶有目的性，即網頁和鏈接與

查詢主題的相關性。針 對這個問題，HITS算法提出了兩個關鍵的概念：權威型網頁（authority）和中心型網頁（hub）。

基于鏈接的抓取的問題是相關頁面主題團之間的隧道現象，即很多在抓取路徑上偏離主題的網頁也指向目標網頁，局部評價策略中斷了在當前路徑上的抓取行為。部分文獻提出了一種基于反向鏈接（BackLink）的分層式上下文模型（Context Model），用于描述指向目標網頁一定物理跳數半徑內的網頁拓撲圖的中心Layer0為目標網頁，將網頁依據指向目標網頁的物理跳數進行層次劃分，從外層網頁指向內層網頁的鏈接稱為反向鏈接。

4.1.2、網站粒度的分析算法

網站粒度的資源發(fā)現和管理策略也比網頁粒度的更簡單有效。網站粒度的爬蟲抓取的關鍵之處在于站點的劃分和站點等級(SiteRank)的計算，SiteRank的計算方法與PageRank類似，但是需要對網站之間的鏈接作一定程度抽象，并在一定的模型下計算鏈接的權重。

網站劃分情況分為按域名劃分和按IP地址劃分兩種。一些文獻討論了在分布式情況下，通過對同一個域名下不同主機、服務器的IP地址進行站 點劃分，構造站點圖，利用類似PageRank的方法評價SiteRank。同時，根據不同文件在各個站點上的分布情況，構造文檔圖，結合 SiteRank分布式計算得到DocRank。利用分布式的SiteRank計算，不僅大大降低了單機站點的算法代價，而且克服了單獨站點對整個網絡覆蓋率有限的缺點。附帶的一個優(yōu)點是，常見PageRank 造假難以對SiteRank進行欺騙。

4.1.3、網頁塊粒度的分析算法

在一個頁面中，往往含有多個指向其他頁面的鏈接，這些鏈接中只有一部分是指向主題相關網頁的，或根據網頁的鏈接錨文本表明其具有較高重要性。但是，在PageRank和HITS算法中，沒有對這些鏈接作區(qū)分，因此常常給網頁分析帶來廣告等噪聲鏈接的干擾。在網頁塊級別(Block level) 進行鏈接分析的算法的基本思想是通過VIPS網頁分割算法將網頁分為不同的網頁塊(page block)，然后對這些網頁塊建立page to block和block to page的鏈接矩陣， 分別記為Z和X。于是，在 page to page圖上的網頁塊級別的PageRank為 W(p)=X×Z； 在block to block圖上的BlockRank為 W(b)=Z×X。 已經有人實現了塊級別的PageRank和HITS算法，并通過實驗證明，效率和準確率都比傳統的對應算法要好。

4.2、基于網頁內容的網頁分析算法

基于網頁內容的分析算法指的是利用網頁內容（文本、數據等資源）特征進行的網頁評價。網頁的內容從原來的以超文本為主，發(fā)展到后來動態(tài)頁面（或稱 為Hidden Web）數據為主，后者的數據量約為直接可見頁面數據（PIW，Publicly Indexable Web）的400~500倍。另一方面，多媒體數據、Web Service等各種網絡資源形式也日益豐富。因此，基于網頁內容的分析算法也從原來的較為單純的文本檢索方法，發(fā)展為涵蓋網頁數據抽取、機器學習、數據挖掘、語義理解等多種方法的綜合應用。本節(jié)根據網頁數據形式的不同，將基于網頁內容的分析算法，歸納以下三類：

1.針對以文本和超鏈接為主的無結構或結構很簡單的網頁；

2.針對從結構化的數據源（如RDBMS）動態(tài)生成的頁面，其數據不能直接批量訪問；

3.針對的數據界于第一和第二類數據之間，具有較好的結構，顯示遵循一定模式或風格，且可以直接訪問。

分布式搜索引擎蜘蛛體系結構設計體系結構研究所屬范圍

分布式搜索引擎蜘蛛包含多個爬蟲，每個爬蟲需要完成的任務和單個的爬行器類似，它們從互聯網上下載網頁，并把網頁保存在本地的磁盤，從中抽取URL并沿著這些URL的指向繼續(xù)爬行。由于并行爬行器需要分割下載任務，可能爬蟲會將自己抽取的URL發(fā)送給其他爬蟲。這些爬蟲可能分布在同一個局域網之中，或者分散在不同的地理位置。

根據爬蟲的分散程度不同，可以把分布式爬行器分成以下兩大類：

1、基于局域網分布式搜索引擎蜘蛛：這種分布式爬行器的所有爬蟲在同一個局域網里運行，通過高速的網絡連接相互通信。這些爬蟲通過同一個網絡去訪問外部互聯網，下載網頁，所有的網絡負載都集中在他們所在的那個局域網的出口上。由于局域網的帶寬較高，爬蟲之間的通信的效率能夠得到保證；但是網絡出口的總帶寬上限是固定的，爬蟲的數量會受到局域網出口帶寬的限制。

2、基于廣域網分布式搜索引擎蜘蛛：當并行爬行器的爬蟲分別運行在不同地理位置（或網絡位置），我們稱這種并行爬行器為分布式爬行器。例如，分布式爬行器的爬蟲可能位于中國，日本，和美國，分別負責下載這三地的網頁；或者位于CHINANET，CERNET，CEINET，分別負責下載這三個網絡的中的網頁。分布式爬行器的優(yōu)勢在于可以子在一定程度上分散網絡流量，減小網絡出口的負載。如果爬蟲分布在不同的地理位置（或網絡位置），需要間隔多長時間進行一次相互通信就成為了一個值得考慮的問題。爬蟲之間的通訊帶寬可能是有限的，通常需要通過互聯網進行通信。

在實際應用中，基于局域網分布式搜索引擎蜘蛛應用的更廣一些，而基于廣域網的爬蟲由于實現復雜，設計和實現成本過高，一般只有實力雄厚和采集任務較重的大公司才會使用這種爬蟲。本論文所設計的爬蟲就是基于局域網分布式搜索引擎蜘蛛。

分布式搜索引擎蜘蛛整體分析

分布式搜索引擎蜘蛛的整體設計重點應該在于爬蟲如何進行通信。目前分布式搜索引擎蜘蛛按通信方式不同分布式網路爬蟲可以分為主從模式、自治模式與混合模式三種。

主從模式是指由一臺主機作為控制節(jié)點負責所有運行搜索引擎蜘蛛的主機進行管理，爬蟲只需要從控制節(jié)點那里接收任務，并把新生成任務提交給控制節(jié)點就可以了，在這個過程中不必與其他爬蟲通信，這種方式實現簡單利于管理。而控制節(jié)點則需要與所有爬蟲進行通信，它需要一個地址列表來保存系統中所有爬蟲的信息。當系統中的爬蟲數量發(fā)生變化時，協調者需要更新地址列表里的數據，這一過程對于系統中的爬蟲是透明的。但是隨著爬蟲網頁數量的增加�？刂乒�(jié)點會成為整個系統的瓶頸而導致整個分布式搜索引擎蜘蛛系統性能下降。主從模式的整體結構圖：

主從模式的整體結構圖

自治模式是指系統中沒有協調者，所有的爬蟲都必須相互通信，比主從模式下爬蟲要復雜一些。自治模式的通信方式可以使用全連接通信或環(huán)形通信。全連接通信是指所用爬蟲都可以相互發(fā)送信息，使用這種方式的每個搜索引擎蜘蛛會維護一個地址列表，表中存儲著整個系統中所有爬蟲的位置，每次通信時可以直接把數據發(fā)送給需要此數據的爬蟲。當系統中的爬蟲數量發(fā)生變化時，每個爬蟲的地址列表都需要進行更新。環(huán)形通信是指爬蟲在邏輯上構成一個環(huán)形網，數據在環(huán)上按順時針或逆時針單向傳輸，每個爬蟲的地址列表中只保存其前驅和后繼的信息。爬蟲接收到數據之后判斷數據是否是發(fā)送給自己的，如果數據不是發(fā)送給自己的，就把數據轉發(fā)給后繼；如果數據是發(fā)送給自己的，就不再發(fā)送。假設整個系統中有n個爬蟲，當系統中的爬蟲數量發(fā)生變化時，系統中只有n-1個爬蟲的地址列表需要進行更新。

自治模式的結構圖

混合模式是結合上面兩種模式的特點的一種折中模式。該模式所有的爬蟲都可以相互通信同時都具有任務分配功能。不過所有爬蟲中有個特殊的爬蟲，該爬蟲主要功能對已經經過爬蟲任務分配后無法分配的任務進行集中分配。使用這個方式的每個搜索引擎蜘蛛只需維護自己采集范圍的地址列表。而特殊爬蟲需除了保存自己采集范圍的地址列表外還保存需要進行集中分配的地址列表。混合模式的整體結構圖：

混合模式的整體結構圖

大型分布式搜索引擎蜘蛛體系結構圖

大型分布式搜索引擎蜘蛛體系結構圖

從這些圖可以看出，分布式搜索引擎蜘蛛是一項十分復雜系統。需要考慮很多方面因素。性能可以說是它這重要的指標。當然硬件層面的資源也是必須的。不過不在本系列考慮范圍。

【引擎蜘蛛工作原理】相關文章：

看準搜索引擎 找到創(chuàng)業(yè)引擎04-30

搜索引擎03-13

追問-文章展開的引擎04-29

浮球閥工作原理04-29

晶閘管工作原理.05-01

離合器工作原理05-01

熱敏電阻工作原理04-30

蜘蛛11-22

蜘蛛04-27

蜘蛛05-01