第12章数据仓库与数据挖掘技术.ppt

第12章数据仓库与数据挖掘技术
教材:数据库技术及应用 2006年4月
宁可、吴菁、胡海编著
本章要点
数据仓库的基本概念
数据仓库与联机事务处理
数据仓库的基本特点
数据仓库的基本体系结构
数据仓库的数据模型
数据仓库系统的前端工具-联机分析处理
数据仓库的前端工具-数据挖掘
目录
数据仓库的基本概念
数据仓库的基本特点
数据仓库的基本体系结构
数据仓库的数据库模式
数据仓库的前端工具
联机分析处理
数据挖掘
小结
数据仓库的基本概念
数据仓库的概念提出于20世纪80年代中期。目前数据仓库的定义不完全统一。“数据仓库之父”(Building the Data Warehouse)一书中定义:数据仓库是支持管理决策过程的、面向主题的、集成的、随时间而变、持久的数据集合。它指出了数据仓库技术是解决企业决策支持系统的重要手段。
数据仓库与传统的数据库系统有着本质的区别。传统的数据库都是事务处理型,主要是对数据库联机的日常操作,这种数据库应用称为联机事务处理(OnLine Transaction Processing,简称OLTP)。而数据仓库是为了满足管理层和分析人员的信息需求,从来自不同地点或不同操作系统的不同数据源的数据进行计算机辅助分析决策,称决策支持系统(Decision Support Systems,简称DSS)。
数据仓库系统与传统的数据库系统区别
(1) 驱动和面向对象不同。OLTP事务驱动,面向应用的;而DDS是分析驱动,面向分析的。
(2) 特性不同。OLTP一般是操作频率高、处理时间短、一次操作量小,对系统性能要求高;而DSS的分析处理一次操作量大,往往需要连续运行几个小时或更长,占用的大量系统资源,但对系统的性能要求比较宽松。
(3) 数据集成问题。OLTP一般只需要与本部门业务有关的当前数据,对于整个企业范围内的集成应用考虑很少。而DSS需要集成的数据,全面而正确的数据是进行有效分析和决策的首要前提,相关数据收集的越完整,得到的结果就越可靠。
(4) 历史数据问题。OLTP一般只需要当前的数据,数据库中一般也只存放更新后的数据。但对于DSS决策分析来说,历史数据是非常重要的,许多分析方法都以大量的历史数据为依据来进行分析,分析历史数据对于把握企业的发展方向是很重要的。
(5) 数据的综合问题,OLTP处理的是大量的细节数据,这些细节往往需要综合后被DSS所用,而OLTP不具备这种综合能力。
综上所述,传统的事务型数据库是不适用于决策支持系统的,DSS的需求是数据仓库技术出现的根本原因。
数据仓库的基本特点

与传统数据库面向应用进行数据组织的特点相对应,数据仓库中的数据是面向主题进行组织的。主题是一个抽象的概念,是对企业信息系统中的数据在较高层次上进行抽象的综合、归类并进行分析利用。在逻辑意义上,它是相应企业中某一宏观分析领域所涉及的分析对象。

数据仓库的数据主要是作分析用,分析用数据的最大特点在于它不局限于某个具体的操作数据,而是对细节数据的归纳和整理。数据仓库中的综合数据不能从原有数据库系统中直接得到而需从其中抽取。

数据仓库主要是为信息分析提供综合的、集成的、面向某一分析主题的数据,这些数据主要涉及维护查询。数据仓库数据反映的是一段相当长的时间内历史数据的内容,而不象事务处理中的数据是频繁变化的数据。当数据经过集成进入数据仓库后是极少进行更新或根本不考虑更新。

虽然数据仓库中的数据一般是不更新的,但是在数据仓库的整个生存周期中的数据集合却是随着时间的变化而变化的。主要表现在以下方面:
首先,数据仓库随着时间的变化要不断删除旧的数据内容。数据仓库中的数据也有存储期限,一旦超过了这一期限,过期的数据就要被删除。数据仓库中的数据并不是永远保存,只是保存时间更长而已。其次,数据仓库中保存的数据是历史数据,对用户来说不能更改数据仓库中的数据,但可以随着时间变化系统定期进行刷新,把OLTP数据库变化的数据追加到数据仓库中,随时导出新的综合数据和统计数据。
数据仓库的基本体系结构
数据仓库的基本体系结构主要包括:数据集成、数据存储和数据查询与分析工具。数据仓库的基本体系结构如图13-1所示。
(1) 数据源
数据源包括数据库、文件系统、上HTML文件以及其他数据源。数据源一般是异构的,通过网络连接,数据仓库应能通过ODBC或JDBC等机制,访问各数据源。
(2) 数据集成
由于数据仓库数据来自多个数据源,各数据源是为各自的应用而建立的,数