- 相關推薦
基于Web信息采集技術研究
隨著Web上信息的迅速擴展，各項基于Web的服務也逐漸繁榮起來。作為這些信息服務的基礎和重要組成部分，Web信息采集正應用于搜索引擎、站點結構分析、頁面有效性分析、Web圖進化、用戶興趣挖掘以及個性化信息獲取等多種應用和研究中。然而，隨著人們對提供的各項信息服務要求越來越高，傳統的基于整個Web的信息采集也越來越力不從心，它無法及時地采集到足夠的Web信息，也不能滿足人們日益增長的個性化需求。為此，本文展開了對Web上局部范圍內信息的有效采集研究，也就是基于主題的Web信息采集研究。
根據我們在信息采集領域的長期積累以及國內外在基于主題的信息采集領域的發展，本文在綜述了基本情況后提出了一個基于主題的Web信息采集結構模型，這包括主題與起始URL選擇、Spider采集、頁面分析、URL與主題的相關性判定、以及頁面與主題的相關性判定等一系列步驟。我們分別給出了相關的處理算法和流程以及相應的數據結構，并針對研究過程中遇到的問題，提出了多個新的算法、判定規則和規律：
在Hub特性、Linkage/Sibling Locality特性、站點主題特性、Tunnel特性的基礎上，總結出了主題頁面在Web上的分布規律。
在定義主題和提出分類主題的基礎上，給出了主題選擇的方法。
采用Client/Server結構的Spider系統，允許多機同時采集，實現了全面、高效并且靈活的信息搜集。
在分析了HTML語法的基礎上，給出了對html頁面的主題、鏈接、標題的提取算法。
在URL與主題的相關性判定中，在擴展元數據方法RW、RWB和鏈接分析方法PageRank的基礎上提出了IPageRank算法。
在頁面與主題的相關性判定中，應用在自然語言處理中比較成熟的基于關鍵詞的向量空間模型計算頁面與主題的相似度。
試驗結果顯示，我們的工作是有效的，我們的系統有很強的實用價值，特別是URL與主題的相關性判定中的IPageRank算法，有較大的突破。
【基于Web信息采集技術研究】相關文章：
基于PHPQuery的PHP通用采集類10-17
全國學前教育管理信息采集表06-26
2016年普通高考報名信息采集的注意事項09-08
南昌市2017年小升初信息采集指南06-09
全國學前教育管理信息幼兒基本采集表08-06
2017年內蒙古高考報名信息采集辦法10-29