毕业论文-主题搜索引擎网络爬虫搜索策略的研究与实现.pdf

北京化工大学
硕士学位论文
主题搜索引擎网络爬虫搜索策略的研究与实现
姓名:夏亮
申请学位级别:硕士
专业:计算机应用技术
指导教师:许南山
20100527
摘要
主题搜索引擎网络爬虫搜索策略的研究与实现
摘要
主题网络爬虫是主题搜索引擎后端获取数据的自动化代码程序,
主题搜索引擎前端查询到的数据事先由主题网络爬虫在互联网上抓
取,存储在本地。然后对网页进行数据抽取,建立索引。所以主题爬
虫对于一个主题搜索引擎来说,起着支撑的作用。本文提出链接文本
相关度算法与主题信息值遗传恢复的算法相结合的主题优先抓取算
法来指引爬虫抓取方向,并使用数据库集群技术存储数据。
主题优先抓取算法根据网络页面结构的特点,通过页面之间的主
题传递来预测页面主题相关性,解决了主题爬虫通道堵塞,抓取遗漏
的问题。首先根据锚文本传递一个相关性信息值,如果锚文本给出的
信息是相关,相关阀值就直接传递;如果是不相关,就乘以遗传基因
比例之后传递。传递的过程中如果遇到相关的网页就恢复链接的相关
性信息值到初始值。相关性信息值将互联网网页以主题的不同分割在
不同的通道内,所有与主题相关的网页都在最大通道内,各个通道交
错相连,爬虫按通道的大小顺序抓取。
爬虫要抓取的网页信息量庞大,单台主机不能满足这些信息的存
储。本文在资源库以及链接地址库都采用数据库集群技术,
扩大后台存储容量。并且在各个数据库点中使用映丶
术,减少数据库连接次数,争取时间。在链接地址库中采用缓存技术
北京化工大学硕上学位论文
减少数据库操作次数,减少消耗时间,提高爬虫工作速度。
最后通过实验测试,分析数据,验证了基于主题优先抓取技术的
有效性及数据库集群技术的爬虫系统的可行性。
关键词:网络爬虫,搜索引擎,,数据库集群,主题相
关
產
.

瓼
瓵,
.




瑃


瓼
.
,
.
北京化工大学硕:貉宦畚
.
.

. ,

.
,
痶.

甀
瑆
.
瑆
’■
.
,
.
篠,,
第一章绪论搜索引擎简介【⒄估搜索引擎【俊】就是将互联网海量的信息抓取、存储整理、建立索引,然后提供友好接口让用户可以在这些信息中及时、准确、快速地找到需要的信息的查询文件信息,具有代表性的就是和。随着互联网的出现,网络信息呈几何基数增长,这些查询工具已远远不能满足用户的需求,这时著名的搜索引阉骺糠浅O昃〉哪柯挤掷啵舅姓呦験提交自己的网站,葑约旱钠啦庀低忱磁卸贤舅舻哪柯迹笃诙ㄆ诮懈隆S没Р找信息按目录分类层层进入,最后找到自己想要的信息。前期的收录工作需要人工来完成,当网页越来越多时,工作就显得非常的繁重。年拢阉饕鍸【砍闪ⅲ琇推出基于淖ト〖际酰相关性排序,并且第一个开始在搜索结果中体现网页的摘要信息。可以说真正意义的搜索引擎就是从J肌自螅阉饕娣⒄狗浅Q杆伲笃鹬阍诠δ苌系拇葱乱苍嚼丛人性化,智能化。年月推出的搜索,第一个使搜索引擎支持自然语言处理,并具备网页内容分析,智能处理的能力。斯坦福大学的学生布林和佩奇使用阉魇狈⑾郑珹搜索提供搜索结果的同时,会提供一些看似无关紧要的链接。链接活跃了互联网,当用户想要了解更多信息的时候,页。布林和佩奇深入挖掘了这些信息,创建了当今世界上最大的搜索引擎阉饕嬗辛礁鲋匾L氐悖兄诘玫礁呔ǘ鹊乃阉鹘峁5一点,应用牧唇咏峁辜扑忝扛鐾车腞担莆狿第二点,利用超链接改进搜索结果。由于搜索庞大的市场,微软推出自己研发的阉饕妫粽絞牧煜鹊匚弧在中文搜索领域,由北大计算机系网络与分布式系统研究室开发的北大天网系统。在互联网未出现之前,有过一些简单的查询工具用于查询分布在各个主机的擎期的派出自己的爬虫工具沿着网络链接去抓取更新网页,并对搜索到的结果进行他们会找这些显著的标记和链接,点击这些链接,然后访问其指向的另外一张网发明人、前资深工程师李彦宏和好友徐勇年麓唇税俣取緇搜
尽管搜索引擎有各种不同的表现形式【】和应用领圳索引擎,经过几年的发展,百度现在已经是中文搜索领域的领头羊。继百度之***户网站搜索推出搜狗【】,网易推出有道【】。各大国外搜索引擎珿也推出自己的中文搜索引擎。.阉饕娴姆掷如果从搜索引擎的工作原理来区分,搜索引擎有三种基本类型【】【取机器磁莱娉绦沿着网页上的链接地址到各个网站收集信息、将信息存储在本地主机,在本地主机建立索引数据库供用户查询。提供用户查询界面在本地主机查询。查询到的信息并不是搜索引擎即时从互联网上检索得到的。通常所说的搜索引擎,其实是一个收集了大量网