基于本体的主题爬虫的设计与实现（可复制毕业论文）.pdf

基于本体的主题爬虫的设计与实现摘要计算机网络极大地提高了人们获取信息的能力。随着计算机网络的迅速发展,网络信息增长的速度和人们获取信息的能力之间的矛盾越来越突出。传统搜索引擎己经不能满足人们对个性化信息检索服务日益增长的需要。近年来,面向主题的搜索引擎应运而生,它能够提供分类更细致精确、数据更全面深入的因特网搜索服务,并且对硬件要求低、结果更新也很及时。面向主题搜索引擎的核心组成部分是主题爬虫。主题爬虫是一种可以自动采集网页的程序,其目标是搜索网络中属于预定主题的那一部分网页子集。主题爬虫的爬行算法作为主题搜索引擎技术的关键,对其进行研究不但可以扩大所搜索主题的资源覆盖范围,而且还能有效地提高爬行性能和网络带宽的利用率。本文对主题爬虫采用的爬行算法进行了研究及讨论。论文首先介绍了主题搜索引擎的基本功能,接着分析了主题爬虫的基本结构及其工作原理,然后详细讨论了主题爬虫的搜索策略,并重点分析了主题爬虫在爬行过程中常用的最好优先算法及其存在的隧道问题。基于上述分析及讨论,论文给出了一种基于本体的主题爬虫最好优先爬行算法:在网页搜索过程中遇到一个与主题无关的网页时,并不马上抛弃该网页,而是利用基于本体方法建立的领域知识模型对该网页进行概念相关性判断,并指导主题爬虫更好地探索爬行方向并穿过隧道。最后我们利用该改进算法设计并实现了一个主题爬虫原型系统。实验表明该系统可以有效地帮助主题爬虫扩大搜索范围。关键字:主题爬虫,隧道,本体,最好优先算法
甒簍瓸瑃瑆.,甌甊琭,,琣..,。—.猧,.:,痶.
插图清单图搜索引擎的基本模型⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..图几种本体描述语言的关系⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图通用爬虫的基本结构⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..图主题爬虫的基本结构⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.图最好优先算法的流程图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一图隧道问题示意图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..图改进最好优先算法第一部分的流程图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一图改进最好优先算法的流程图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图基于本体的主题爬虫的基本框架结构⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.图网页过滤流程图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯图实验对比图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯
杨欠导师签名:球彳刀袋学位论文作者签字:桶炎签字日期:ぁ9荒曷嵩签字日期:≯。多年厂月日独创性声明学位论文版权使用授权书签字日期:刀口阥月日本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知,除了文中特别加以标志和致谢的地方外,论文中不包含其他人已经发表或撰写过的研究成果,也不包含为获导金胆王些盘堂的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。本学位论文作者完全了解金自墨王些太堂有关保留、使用学位论文的规定,有权保留并向国家有关部门或机构送交论文的复印件和磁盘,允许论文被查阅或借阅。本人授权金胆王些太堂一可以将学位论文的全部或部分论文内容编入有关数据库进行检索,可以采用影印、缩印或扫C艿难宦畚脑诮饷芎笫视帽臼谌ㄊ或其他教育机构的学位或证书而使用过的材料。与我一同工作描等复制手段保存、汇编学位论文。学位论文者签名:学位论文作者毕业后去向:工作单位:通讯地址:电话:邮编:
致谢本论文的撰写是在我的导师杜****英副教授的指导下进行的。在我的论文写作阶段,杜老师付出了大量的心血和宝贵的时间,从论文的选题、撰写直到修改完成的每个阶段,都得到了杜老师的指导、关心、支持和信任。杜老师除了在课题研究上给了我悉心的指导外,更教会了我待人处事的方式以及很多做人的道理,这些必将使我一生受益匪浅,杜老师对我的教诲我将终生铭记,衷心的感谢杜老师我还要特别感谢李兴国教授在我三年读研期间的关心、指导和帮助,从论文的选题、撰写直到论文完成的过程中,李老师严格要求、悉心指导,使我能够顺利完成毕业论文,衷心的感谢李老师感谢合肥工业大学管理学院的钟金宏、顾东晓、卢光松、杨颖等老师对我的关心、指导和帮助。还要感谢在研究生学****阶段的全体任课老师,教给我们丰富的专业理论知识和方法,感谢合肥工业大学管理学院的领导和老师们为我们提供了良好的工作学****环境。感谢曾同在一个工作室的师兄张庆、袁龙砖、刘嘉嘉、杜颜、夏同胜、田春明、杨磊,以及朝夕相处的徐莹、王勇,你们在学****和生活中给予了我很大的帮助,真的感谢研班的同班同学及远在各地的好友,有了你们的支持和鼓励,我的论文、才能得以顺利完成。深深感谢我的父母和家人,他们的支持是我顺利完成学业的巨大动力感谢对论文进行评审、提出宝贵意见的各位专家杨贞很感谢你们最后,感谢