搜索引擎的工作原理

搜索引擎是一套放在幾十幾百萬(wàn)臺(tái)服務(wù)器上運(yùn)行的、基于各種程序算法的、復(fù)雜的檢索系統(tǒng)，基本工作原理(以中文搜索引擎百度為例說明）如下。

（1）正向工作：從種子URL(網(wǎng)絡(luò)定位資源符）出發(fā)沿著超鏈接對(duì)全網(wǎng)Web資源進(jìn)行爬行、抓取或更新（鏈接存儲(chǔ)系統(tǒng)、鏈接選取系統(tǒng)、DNS解析服務(wù)系統(tǒng)、抓取調(diào)度系統(tǒng)、網(wǎng)頁(yè)分析系統(tǒng)、鏈接提取系統(tǒng)、鏈接分析系統(tǒng)、網(wǎng)頁(yè)存儲(chǔ)系統(tǒng)多系統(tǒng)通力合作）→重復(fù)度初篩→原始數(shù)據(jù)存儲(chǔ)→預(yù)處理、頁(yè)面分析（提取文字、中文切詞分詞、去停止詞、消除噪聲、正向索引、倒排索引、鏈接關(guān)系計(jì)算、特殊文件處理、其他權(quán)重?cái)?shù)據(jù)計(jì)算）→建庫(kù)（文檔映射部件基于網(wǎng)頁(yè)的等級(jí)將數(shù)據(jù)庫(kù)中的網(wǎng)頁(yè)映射到多個(gè)分層中，通常分為重要索引庫(kù)、普通庫(kù)及低級(jí)庫(kù)）→等待查詢。

（2）逆向工作：用戶輸入查詢?cè)~→中文分詞→分詞結(jié)果對(duì)應(yīng)的文檔集合(倒排索引）→求交→敏感詞過濾→排序輸出。對(duì)于普通用戶而言，他們并不用了解搜索引擎的工作原理，而作為SEO人員，了解搜索引擎的原理是做好SEO的基礎(chǔ)，了解其原理能有針對(duì)性地對(duì)網(wǎng)站進(jìn)行優(yōu)化，讓網(wǎng)站優(yōu)化工作更為科學(xué)合理。雖然各個(gè)搜索引擎的工作細(xì)節(jié)有所不同，但是總的原理是大致相同的。

本節(jié)介紹的搜索引擎工作原理就是搜索引擎共同的特點(diǎn)，其中包括3個(gè)部分。

(1)利用漫游機(jī)器人在互聯(lián)網(wǎng)中發(fā)現(xiàn)、搜集網(wǎng)頁(yè)信息，即爬取Web資源。

(2)對(duì)信息進(jìn)行提取和組織，建立索引庫(kù)，并對(duì)排名進(jìn)行預(yù)處理。

（3）根據(jù)用戶輸入的查詢關(guān)鍵字，檢索器在索引庫(kù)中快速檢出文檔，進(jìn)行文檔與查詢的相關(guān)度評(píng)價(jià)，以獲得最終排序，并將查詢結(jié)果返回給用戶。搜索引擎的主要工作原理，而在每個(gè)部分又含有多個(gè)流程。

例如，用戶搜索“搜索引擎實(shí)戰(zhàn)解析”，過濾器檢查是否含有敏感詞匯，若有則屏蔽詞匯，顯示其他內(nèi)容，“搜索引擎實(shí)戰(zhàn)解析”沒有敏感詞匯，然后輸入檢索器。檢索器對(duì)該詞進(jìn)行分詞處理，通常分為“搜索引擎”“實(shí)戰(zhàn)”“解析”這三個(gè)詞。然后通過索引器調(diào)用信息數(shù)據(jù)庫(kù)中與這三個(gè)詞全部相關(guān)或分別相關(guān)的網(wǎng)頁(yè)數(shù)據(jù)，利用排序器中預(yù)處理的排序進(jìn)行求交，并利用網(wǎng)頁(yè)加權(quán)算法獲得關(guān)鍵詞“搜索引擎實(shí)戰(zhàn)解析”的最終排名輸出給用戶。另外，存儲(chǔ)于信息數(shù)據(jù)庫(kù)中的網(wǎng)頁(yè)數(shù)據(jù)是通過Crawler(漫游器)進(jìn)行網(wǎng)絡(luò)信息的爬行和抓取，然后利用分析器對(duì)網(wǎng)頁(yè)質(zhì)量進(jìn)行評(píng)估，如果網(wǎng)絡(luò)信息與已有信息高度重復(fù)或者質(zhì)量不高，都不能被搜索引擎存入信息數(shù)據(jù)庫(kù)中，也就是常說的未被收錄。