ETL流程、数据流图及ETL过程解决方案.ppt

ETL相关问题的解决办法
ETL流程、数据流图及ETL过程解决方案
◇ETL定义
◇模式及比较
◇ETL过程
◇问题分析
◇ 现状分析
目录
ETL流程、数据流图及ETL过程解决方案
ETL定义
ETL定义涉及以下内容：
ETL定义
ETL前提
ETL原则
ETL流程、数据流图及ETL过程解决方案
ETL定义
定义：
数据的抽取(Extract)、转换(Transform)、装载(Load)的过程
目标：
数据优化。以最小代价(包括对日常操作的影响和对技能的要求) 将针对日常业务操作的数据转化为针对数据仓库而存储的决策支持型数据
ETL流程、数据流图及ETL过程解决方案
ETL的前提
确定ETL范围
通过对目标表信息的收集，确定ETL的范围
选择ETL工具
考虑资金
运行的平台、对源和目标的支持程度、可编程的灵活性、对源数据变化的监测、数据处理时间的控制、管理和调度功能、对异常情况的处理
确定解决方案
抽取分析、变化数据的捕获、目标表的刷新策略、数据的转换及数据验证
ETL流程、数据流图及ETL过程解决方案
ETL过程中应尽量遵循以下原则：
应尽量利用数据中转区对运营数据进行预处理。保证数据的安全性、集成与加载的高效性。
ETL的过程应是主动“拉取”，而不是从内部“推送”，其可控性将大为增强。
流程化的配置管理和标准协议
数据质量的保证
正确性、一致性、完整性、有效性、可获取性
ETL流程、数据流图及ETL过程解决方案
ETL模式及比较
两种模式
异构
同构
模式比较的维度：
特点
环境
ETL流程、数据流图及ETL过程解决方案
ETL模式-同构
ETL流程、数据流图及ETL过程解决方案
ETL模式-异构
ETL流程、数据流图及ETL过程解决方案