河南省漯河建设局网站,网站快速建设程序,做公司网站的好处,客户关系管理系统的特点一、定义
数据挖掘#xff08;英语#xff1a;Data mining#xff09;#xff0c;又译为资料探勘、数据采矿。它是数据库知识发现#xff08;英语#xff1a;Knowledge-Discovery in Databases#xff0c;简称#xff1a;KDD)中的一个步骤。数据挖掘一般是指从大量的数…一、定义
数据挖掘英语Data mining又译为资料探勘、数据采矿。它是数据库知识发现英语Knowledge-Discovery in Databases简称KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关并通过统计、在线分析处理、情报检索、机器学习、专家系统依靠过去的经验法则和模式识别等诸多方法来实现上述目标。
数据挖掘是目前人工智能和数据库领域研究的热点问题主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等高度自动化地分析企业的数据做出归纳性的整理从中挖掘出潜在的模式从而帮助决策者调整市场策略减少风险应用领域为情报检索、情报分析、模式识别等。
二、数据挖掘对象
数据的类型可以是结构化的、半结构化的甚至是异构型的。发现知识的方法可以是数学的、非数学的也可以是归纳的。最终被发现了的知识可以用于信息管理、查询优化、决策支持及数据自身的维护等。
数据挖掘的对象可以是任何类型的数据源。可以是关系数据库此类包含结构化数据的数据源也可以是数据仓库、文本、多媒体数据、空间数据、时序数据、Web数据此类包含半结构化数据甚至异构性数据的数据源。
发现知识的方法可以是数字的、非数字的也可以是归纳的。最终被发现的知识可以用于信息管理、查询优化、决策支持及数据自身的维护等。 三、数据挖掘步骤 数据挖掘过程模型步骤主要包括定义问题、建立数据挖掘库、分析数据、准备数据、建立模型、评价模型和实施。下面让我们来具体看一下每个步骤的具体内容
(1) 定义问题在开始知识发现之前最先的也是最重要的要求就是了解数据和业务问题。必须要对目标有一个清晰明确的定义即决定到底想干什么。比如想提高电子信箱的利用率时想做的可能是“提高用户使用率”也可能是“提高一次用户使用的价值”要解决这两个问题而建立的模型几乎是完全不同的必须做出决定。
(2) 建立数据挖掘库建立数据挖掘库包括以下几个步骤数据收集数据描述选择数据质量评估和数据清理合并与整合构建元数据加载数据挖掘库维护数据挖掘库。
(3) 分析数据分析的目的是找到对预测输出影响最大的数据字段和决定是否需要定义导出字段。如果数据集包含成百上千的字段那么浏览分析这些数据将是一件非常耗时和累人的事情这时需要选择一个具有好的界面和功能强大的工具软件来协助你完成这些事情。
(4) 准备数据这是建立模型之前的最后一步数据准备工作。可以把此步骤分为四个部分选择变量选择记录创建新变量转换变量。
(5) 建立模型建立模型是一个反复的过程。需要仔细考察不同的模型以判断哪个模型对面对的商业问题最有用。先用一部分数据建立模型然后再用剩下的数据来测试和验证这个得到的模型。有时还有第三个数据集称为验证集因为测试集可能受模型的特性的影响这时需要一个独立的数据集来验证模型的准确性。训练和测试数据挖掘模型需要把数据至少分成两个部分一个用于模型训练另一个用于模型测试。
(6) 评价模型模型建立好之后必须评价得到的结果、解释模型的价值。从测试集中得到的准确率只对用于建立模型的数据有意义。在实际应用中需要进一步了解错误的类型和由此带来的相关费用的多少。经验证明有效的模型并不一定是正确的模型。造成这一点的直接原因就是模型建立中隐含的各种假定因此直接在现实世界中测试模型很重要。先在小范围内应用取得测试数据觉得满意之后再向大范围推广。
(7) 实施模型建立并经验证之后可以有两种主要的使用方法。第一种是提供给分析人员做参考另一种是把此模型应用到不同的数据集上。 四、数据挖掘分析方法
4.1 概念
数据挖掘分为有指导的数据挖掘和无指导的数据挖掘。有指导的数据挖掘是利用可用的数据建立一个模型这个模型是对一个特定属性的描述。无指导的数据挖掘是在所有的属性中寻找某种关系。具体而言分类、估值和预测属于有指导的数据挖掘关联规则和聚类属于无指导的数据挖掘。
1分类它首先从数据中选出已经分好类的训练集在该训练集上运用数据挖掘技术建立一个分类模型再将该模型用于对没有分类的数据进行分类。
2估值估值与分类类似但估值最终的输出结果是连续型的数值估值的量并非预先确定。估值可以作为分类的准备工作。
3预测它是通过分类或估值来进行通过分类或估值的训练得出一个模型如果对于检验样本组而言该模型具有较高的准确率可将该模型用于对新样本的未知变量进行预测。
4相关性分组或关联规则其目的是发现哪些事情总是一起发生。
5聚类它是自动寻找并建立分组规则的方法它通过判断样本之间的相似性把相似样本划分在一个簇中。
4.2 分析方法
1决策树法
决策树在解决归类与预测上有着极强的能力它以法则的方式表达而这些法则则以一连串的问题表示出来经由不断询问问题最终能导出所需的结果。典型的决策树顶端是一个树根底部有许多的树叶它将纪录分解成不同的子集每个子集中的字段可能都包含一个简单的法则。此外决策树可能有着不同的外型例如二元树、三元树或混和的决策树型态。
2神经网络法
神经网络法是模拟生物神经系统的结构和功能是一种通过训练来学习的非线性预测模型它将每一个连接看作一个处理单元试图模拟人脑神经元的功能可完成分类、聚类、特征挖掘等多种数据挖掘任务。神经网络的学习方法主要表现在权值的修改上。其优点是具有抗干扰、非线性学习、联想记忆功能对复杂情况能得到精确的预测结果缺点首先是不适合处理高维变量不能观察中间的学习过程具有“黑箱”性输出结果也难以解释其次是需较长的学习时间。神经网络法主要应用于数据挖掘的聚类技术中。
3关联规则法
关联规则是描述数据库中数据项之间所存在的关系的规则即根据一个事务中某些项的出现可导出另一些项在同一事务中也出现即隐藏在数据间的关联或相互关系。在客户关系管理中通过对企业的客户数据库里的大量数据进行挖掘可以从大量的记录中发现有趣的关联关系找出影响市场营销效果的关键因素为产品定位、定价与定制客户群客户寻求、细分与保持市场营销与推销营销风险评估和诈骗预测等决策支持提供参考依据。
4遗传算法
遗传算法模拟了自然选择和遗传中发生的繁殖、交配和基因突变现象是一种采用遗传结合、遗传交叉变异及自然选择等操作来生成实现规则的、基于进化理论的机器学习方法。它的基本观点是“适者生存”原理具有隐含并行性、易于和其他模型结合等性质。主要的优点是可以处理许多数据类型同时可以并行处理各种数据缺点是需要的参数太多编码困难一般计算量比较大。遗传算法常用于优化神经元网络能够解决其他技术难以解决的问题。
5聚类分析法
聚类分析是把一组数据按照相似性和差异性分为几个类别其目的是使得属于同一类别的数据间的相似性尽可能大不同类别中的数据间的相似性尽可能小。根据定义可以把其分为四类基于层次的聚类方法分区聚类算法基于密度的聚类算法网格的聚类算法。常用的经典聚类方法有K-meanK-medoidsISODATA等。
6模糊集法
模糊集法是利用模糊集合理论对问题进行模糊评判、模糊决策、模糊模式识别和模糊聚类分析。模糊集合理论是用隶属度来描述模糊事物的属性。系统的复杂性越高模糊性就越强。
7web页挖掘
通过对Web的挖掘可以利用Web的海量数据进行分析收集政治、经济、政策、科技、金融、各种市场、竞争对手、供求信息、客户等有关的信息集中精力分析和处理那些对企业有重大或潜在重大影响的外部环境信息和内部经营信息并根据分析结果找出企业管理过程中出现的各种问题和可能引起危机的先兆对这些信息进行分析和处理以便识别、分析、评价和管理危机。
8逻辑回归分析
反映的是事务数据库中属性值在时间上的特征产生一个将数据项映射到一个实值预测变量的函数发现变量或属性间的依赖关系其主要研究问题包括数据序列的趋势特征、数据序列的预测以及数据间的相关关系等。
9粗糙集法
是一种新的处理含糊、不精确、不完备问题的数学工具可以处理数据约简、数据相关性发现、数据意义的评估等问题。其优点是算法简单在其处理过程中可以不需要关于数据的先验知识可以自动找出问题的内在规律缺点是难以直接处理连续的属性须先进行属性的离散化。因此连续属性的离散化问题是制约粗糙集理论实用化的难点。
10连接分析
它是以关系为主体由人与人、物与物或是人与物的关系发展出相当多的应用。例如电信服务业可藉连结分析收集到顾客使用电话的时间与频率进而推断顾客使用偏好为何提出有利于公司的方案。除了电信业之外愈来愈多的营销业者亦利用连结分析做有利于企业的研究。
