数据挖掘.ppt

数据挖掘26207数据挖掘什么是数据挖掘?数据挖掘的步骤数据挖掘的主要功能概念/类描述:特征化和区分关联分析分类和预测聚类分析孤立点分析演变分析在何种数据上进行数据挖掘数据挖掘技术的前景实例:中文Web搜索引擎日志挖掘数据挖掘的发展动力 ---需要是发明之母数据爆炸问题数据自动收集工具和成熟的数据库技术使得大量的数据被收集,存储在数据库、数据仓库或其他信息库中以待分析。数据极大丰富(datarich),知识极其匮乏(knowledgepoor)解决方法:数据仓库技术和数据挖掘技术数据仓库(DataWarehouse)和在线分析处理(OLAP)数据挖掘:在大量的数据中挖掘感兴趣的知识(规则,规律,模式,约束)数据挖掘的案例:“啤酒”和“尿布”一则广为流传的案例:啤酒和尿布的故事美国加州某个超市连锁店发现:在下班后前来购买婴儿尿布的顾客多数是男性,他们往往也同时购买啤酒。􀂙处理:重新布置了货架,啤酒类商品、婴儿尿布、土豆片之类的佐酒小食品、男士们日常生活用品就近布置。􀂙结果:上述几种商品的销量几乎马上成倍增长。数据、信息、知识、理解和先知系统学专家RussellAckoff博士认为人类大脑包涵的内容,分为五类:数据(Data):符号(Symbols)的集合,未加工、较为原始的形态信息(Information):数据经过处理后,有意义的,具有利用价值的,能够回答4W为(“who”,“what”,“where”,and“when”)等问题知识(Knowledge):实践中产生、经过实践检验的一种客观规律。(信息经过加工和改造成为知识),能够回答“how”的问题理解(Understanding):“why”的正确评价􀂙先知(Wisdom):理解的进一步提升数据、信息、知识和先知的关系什么是数据挖掘?从大量数据中提取或发现(挖掘)知识的过程。从数据集中识别出有效的、新颖的、潜在有用的,以及最终可理解的模式的非平凡过程。数据集:一组事实F,如关系数据库中的记录模式:一个用语言L表示的一个表达式E,它可以用来描述数据集F的一个子集FE,E作为一个模式要求它比对数据子集FE的枚举要简单(所用的描述信息量要少)。过程:需要多阶段的处理,涉及数据准备、模式搜索、知识评价以及反复的修改求精。什么是数据挖掘?从数据集中识别出有效的、新颖的、潜在有用的,以及最终可理解的模式的非平凡过程。非平凡(的过程):有一定的智能性、自动性(仅仅给出所有数据之和不能算做一个发现过程)。有效性:所发现的模式对新的数据仍保持一定的可信度。新颖性:所发现的模式应该是新的。潜在有用性:所发现的模式将来有实际的效用。最终可理解性:能被用户理解,如:简洁性有趣性:有效性、新颖性、潜在有用性、最终可理解性的综合。数据挖掘:多个学科的融合数据挖掘数据库系统统计学其他学科算法机器学****可视化数据挖掘的称谓数据挖掘涉及多学科领域,有多个术语名称(可能其内容的侧重点略有差异)。数据挖掘(datamining)数据库中的知识发现(KDD,knowledgediscoveryindatabases)知识抽取(knowledgeextraction)信息发现(informationdiscovery)智能数据分析(intelligentdataanalysis)探索式数据分析(exploratorydataanalysis)信息收获(informationharvesting)数据考古(dataarcheology)。。。。。 “数据挖掘”流行于统计界、数据库、数据分析、管理信息系统界数据挖掘的步骤观点:数据挖掘是数据库中的知识发现(KDD)的一个步骤。--指挖掘的算法粗略理解三部曲:数据准备(datapreparation)、数据挖掘(datamining)--指挖掘的算法结果的解释评估(interpretationandevaluation)