以文本方式查看主题

-  中文XML论坛 - 专业的XML技术讨论区  (http://bbs.xml.org.cn/index.asp)
--  『 Web挖掘技术 』   (http://bbs.xml.org.cn/list.asp?boardid=69)
----  六种挖掘武器  (http://bbs.xml.org.cn/dispbbs.asp?boardid=69&rootid=&id=47979)


--  作者:DMman
--  发布时间:6/4/2007 6:28:00 PM

--  六种挖掘武器
转自 http://blog.csdn.net/toicecream/archive/2004/12/08/209509.aspx

  数据仓库的建设和数据挖掘建模是DM价值链上的两大技术要点。数据挖掘从狭义的角度讲,只管从数据到知识这一段。俗话说:“没有金刚钻,不揽瓷器活”。作为一个数据挖掘人员的起码要求,就是充分掌握各种挖掘工具的性能、局限、应用条件等。

  一般说来,数据挖掘有如下六件武器:描述统计、关联和相关、分类和聚类、预测、优化、结构方程模型。简要说明如下:

  (1)描述统计(Descriptive statistics)

  描述统计是数据挖掘的入门兵器,直观、简单,高手常常用来摘叶飞花。描述统计包括平均数、中位数、众数、分位数、百分比、求和等。描述统计经常和统计图(如直方图,条形图,线图,散点图,茎叶图等)配合使用。目前应用最为广泛的OLAP,究其本质就是针对不同的数据群在做描述统计。

  描述统计的应用十分广泛:比如当月公司利润总额,比较不同区域的销售量等等。

  (2)关联和相关(Association and Correlation)

  关联规则从本质上讲是条件概率:A发生时,B同时也出现的概率是多大?只要B离50%较远,就是有意义的。

  关联规则的一个典型的现代应用是“啤酒加尿布”。在应用关联规则时还需要多考虑的一个问题是:这条规则遵循者的数量怎样?通俗的说就是,如果超市的尿布只有一个人买(假设),但是这人每次买尿布时,一定会买啤酒。尽管这条规则很可信(100%),但是意义却不大。

  在应用关联规则时,要注意两点:关联不一定是因果,关联是有方向的。

  相关也是考虑两个事物之间的关系,典型的度量方法有Pearson相关系数和Kendall相关系数。

  (3)分类和聚类

  分类和聚类是最常用的技术。

  一般说来,分类的方法有三种:回归、决策树、神经网络。

  聚类和分类的最大区别就是,分类是有监督的,聚类是无监督的。什么叫监督呢?就是标准,或者说有目标变量。聚类是没有目标的。“物以类聚,人以群分”。聚类是不知道每一类有什么特征的,聚后再总结,再发现共同点。

  (4)预测

  预测的常用方法是时间序列,回归也可以用来预测。

  时间序列常用的方法有:ARMA,指数平滑和趋势外推等。时间序列的最大特点就是充分挖掘事物本身随时间的规律。因为,任何事物,比如企业销售额,在没有特别的外在因素影响下,总是有规可循的。

  (5)优化

  优化本是运筹学中的一个概念,主要解决的一个问题是在各种约束条件下,如何合理配置资源,使目标要素最大(小)化。

  (6)结构方程模型

  不同于以上应用,结构方程模型重点在于如何揭示事物内部的结构和相互作用的原理。比如,如何度量客户满意度?客户满意度与客户期望,产品,价格,服务,投诉处理和客户忠诚是什么关系?是怎么作用的?只有搞清楚了这些关系,才可能不断提高客户满意度和客户忠诚度。结构方程模型就起到这种作用。


--  作者:sxxiaozi
--  发布时间:9/17/2007 10:45:00 AM

--  
概念格的算法也很热,从概念格中也可以提取关联规则和分类规则
W 3 C h i n a ( since 2003 ) 旗 下 站 点
苏ICP备05006046号《全国人大常委会关于维护互联网安全的决定》《计算机信息网络国际联网安全保护管理办法》
46.875ms