浅谈数据仓库和数据挖掘本质

浅谈数据仓库和数据挖掘本质

【技术分析评论】

数据仓库和数据挖掘是两个比较大的概念，在国外已经非常成熟，在国内随着前几年企业数据的累计、erp的成熟，数据仓库和数据挖掘开始起步。

如何建立数据仓库和数据挖掘是个不断值得探讨和优化的问题，不仅仅在技术上，在商业应用上也是如此。随着新的技术和观念的不断引入，传统的数据仓库技术方法有了很大的改变，

基于数据仓库的应用也有了新的发展。每个企业的数据仓库根据企业特点不同，可以采用非常灵活的选型方法进行选型设计、实施。本文根据一些比较新的技术特点，谈谈数据仓库和数据挖掘的架构。

从成熟的数据仓库架构入手来看，建立EDW（Enterprise Data Warehouse）是个比较好的选择。EDW是企业数据仓库，对整个企业数据有一个完整的不冗余的保留关键历史变化信息的唯一视图。基于EDW可以建立不同主题的数据集市Data Mart,数据集市不同的企业有不同的要求，基本上可以分用户主题，业务流主题，产品主题等等，在EDW的基础上可以有非常多的主题应用，如何建立EDW是个比较重要的问题。

建立EDW的关键是要把握数据仓库的本质，提供关键历史变化信息，可以真实还原企业数据的关键历史视图。也就是现在提到比较多的DSS层，在DSS层之下有ODS层做当前数据视图，有缓冲层做增量数据视图，利用增量数据视图和DSS层数据视图结合起来，利用缓慢变化维或者代理键技术，从理论上就可以实现DSS层的任何数据历史变化。但是在实际实施DSS层时候，一个能提供高性能计算的数据库和选择一个切合业务发展的增量时间频率是两个关键点。

缓慢变化维从具体实施过程的可以维护性出发，比较统一通用的方法可以采用增加快照开始时间和快照结束时间，结合业务系统的主键，就可以完成DSS层真实企业数据关键历史快照视图。在实施过程中关键要把握增量数据缓冲层中三种集合数据，纯粹新增的数据A，关键历史信息发生变化的数据B，关键历史信息没有发生变化的数据C。对集合A，B都需要增加快照记录，对集合C则采用更新快照记录。这个过程的重点是高性能计算和商业需求。

在DSS层之上，根据EDW方案种数据库不同，可以采用建立数据集市。数据集市基本上可以采用星型模型建立，便于多维分析。

成熟EDW是用来支持商业应用的，EDW之上的一个比较重要的应用是数据挖掘，从EDW海量数据中寻找有用的信息，支持企业的发展。这里不具体到数据挖掘厂商，从一般性的概念上理解更加重要，数据挖掘需要EDW能够基于DSS层的企业数据关键历史视图，重新组合成商业上决策因素集合。结合数据挖掘的一些成熟的算法，把EDW里面的海量数据处理成为信息决策源。在实施数据挖掘过程中，需要注意的是一定要根据企业本身的业务来制定模型，任何脱离企业业务的理论模型在具体实施过程中失败的可能性很大。