文档视界 最新最全的文档下载
当前位置:文档视界 › 数据挖掘考试重点复习

数据挖掘考试重点复习

数据挖掘考试重点复习
数据挖掘考试重点复习

1.了解商务智能的定义与大数据的四个基本特征;

答:商务智能是企业利用数据仓库(DW)、数据挖掘(DM)、在线分析处理(OLAP)、决策支持系统(DSS)等现代信息技术对企业生产、经营过程中产生的大量结构化和非结构化数据进行收集、整理、分析,形成知识或情报,以辅助企业做出正确的决策、采取有效的商务行动、优化商务流程、全面提升商务绩效的工具、方法和技术的统称。

大数据特征:(4个V)

2.理解商务智能系统的5层结构

商务智能系统结构大致分为五层:

①数据源层:也可称作操作型数据层,是整个数据仓库的基础,提供了整个系统最原始的数据

②数据获取层:也可称作数据转换层,主要是把数据源层的数据通过ETCL过程转换到数据仓库中

③数据存取层:该层是按主题进行分析和对相关的数据进行挖掘的数据源,包括每一个按主题进行分类的数据集市或专门用于数据挖掘的数据仓库

④数据分析服务层:该层是数据存储和前端分析工具的桥梁

⑤前端展现层:用户界面

3.理解操作型与分析型系统分离的必要性以及他们的特征

4.理解维度爆炸给数据挖掘带来的困难

数据过高的维度会给计算带来麻烦,在数据挖掘处理时,它会耗费很多的处理时间和内存容量。数据的高维度还使得数据间的关系也不容易察觉,增加了数据的无关属性和噪音点。

5.掌握数据仓库的定义并理解其四个方面的特征

数据仓库是决策支持系统和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。(数据仓库是为支持管理决策建立的,面向主题的、集成的、随时间变化的、相对稳定的数据集合。)【滔注:我觉得写括号里的会好一点】

四方面特征:

①面向主题:主题是指用户使用数据仓库进行决策时所关心的重点忙面。

②集成性:在数据进入数据仓库之前,要进过统一于综合,将多个异源数据集成在一起。这一步是数据仓库建设中最关键、最复杂的一步。

③时变性:数据仓库随时间变化不断增加新的数据。

④相对稳定性:数据仓库反映的是历史的内容,而不是联机数据,主要供企业决策分析之用。

6. 掌握数据挖掘的定义并描述其主要特征

【数据挖掘定义】从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐含在其中的、人们事先不知道的、但又是潜在的有用的信息和知识的过程。数据挖掘是从大量数据中寻找其规律的技术。

【主要步骤】(1)数据准备:从各种数据源中选取和集成用于数据挖掘的数据 ;(2)规律寻找:用某种方法将数据中的规律找出来;(3)规律表示:用尽可能符合用户习惯的方式将找出的规律表示出来。

7. 掌握Minkowski 距离,并熟练计算l1,l2,l 无穷norm

r n k r k k q p dist 11)||(∑=-=

【L1norm 】当r=1,城市街区(也称曼哈顿、出租车、L1范数)距离;

【L2norm 】当r=2,欧几里得距离;

【L ∞norm 】当r=∞,上确界距离,这是对象属性之间的最大距离。

8.理解Hunt’s算法的基本过程

通过将训练记录相继划分成较纯的子集,以递归方式建立决策树。

设Dt是与节点t相关联的训练记录集,而Y={ y1,y2,…,y c}是类标号,Hunt算法的递归定义如下:

(1)如果Dt中所有记录都属于同一个类yt,则t是叶节点,用yt标记。

(2)如果Dt中包含属于多个类的记录,则选择一个属性测试条件,将记录划分成

较小的子集。对于测试条件的每个输出,创建一个子女节点,并根据测试结果将

Dt中的记录分布到子女节点中。然后,对于每个子女节点,递归地调用该算法。

9.掌握吉尼系数、熵的定义,会计算其最大值与最小值,理解信息

增益在构造决策树时的意义

【基尼系数、熵是度量不纯度的方法】GINI系数和熵都是越小,代表所分的节点属性越纯,最小可取到0,表示这个节点中只有一个类。

当一个节点中有n个父节点,而且能分出n个子节点,GINI系数

n (滔注:那个2是角取到最大值,为1-1/n. 熵也取到最大值log

2

标,不是log2n !)

【基尼值的性质】:越大越不纯,越小越纯,0最纯,1-1/n最不

纯。

b.子节点基尼值

c.最大值、最小值

(最小值表示最纯,最大值表示最不纯)

【熵】在信息领域熵被用来衡量一个随机变量出现的期望值。熵是对信息的不确定性的度量。熵越低,意味着传输的信息越少。

【熵的性质】:熵是衡量节点一致性的函数。熵大于等于0,当且仅当

p1=p2=……pn时,熵最大,纯的节点熵是0.

【信息增益】当选择熵作为公式的不纯性度量时,熵的差就是所谓的信息增益。信息增益描述了当使用Q 进行编码时,再使用P 进行编码的差异。通常P 代表样本或观察值的分布,也有可能是精确计算的理论分布。Q 代表一种理论,模型,描述或者对P 的近似。当纯度高达1时(即只有一种数据类型),熵最小,为0;当其中的各类数据均匀分布时,熵最大,为-log2p (j|t )。

10.理解了解最邻近分类的基本思想,邻近分类的前提条件与分类

过程

【近邻分类法】是基于类比学习,即通过将给定的检验元组与和它相似的训练元组进行比较来学习。训练元组用n个属性描述。每个元祖代表n维空间的一个点。这样,所有的训练元组都存放在n维模式空间中。当给定一个未知元组时,近邻分类法搜索模式空间,找出最接近未知元组的k个训练元组。这k个训练元组是未知元组的k个“最近邻”。

一句话概述:点x的k-最近邻分类就是离点x的欧式距离最近的k个点的集合。

三个前提条件:训练集存在内存中;给定距离度量指标;给定K值

分类过程:1 计算未知点与其他训练集的距离

2找到K个最邻近的邻近组

3用邻近组的分类标签来决定未知点所在组的标签。

11.了解分类中的过拟合及产生的原因

【过度拟合数据】当决策树变大时,测试误差会越来越小,而训练误差会越来越大,测试集产生的决策树与实际会不符。

【产生的原因】

(1)噪声导致的过分拟合

(2)决策树的复杂程度超过了需要的程度,会产生过度拟合

(3)训练误差的减小已经对结果没有更多意义但却依然在计算,会产生过度拟合

(4)没有更多的属性来减小样本误差,会产生过度拟合

12.理解关联规则及支持与置信度的定义,并熟练计算支持度与置

信度

【关联规则】关联规则是形如X→Y的蕴涵式,其中,X和Y都是事务数据集。关联规则的强度可以用它的支持度和置信度度量。

【支持度Support】事务数据库中既包含X又包含Y某个项集的事务占事务总数的比例;

【置信度Confidence】在所有包含X的事务中包含Y的事务所占比例。

13.理解Apriori性质及其意义

【Apriori】如果一个项集是频繁的,那么它的所有子集都是频繁的。相反,如果一个项集是非频繁的,则它的所有超集也一定是非频繁的。

【意义】利用该性质,通过减少搜索空间,来提高频繁项集逐层产生的效率。

14.理解FP-Growth算法克服了Apriori算法的那些不足

1.减少了扫描数据库的次数,只用扫描两次

2.候选项变少,不会产生那么大的候选项集

15.给定一个交易数据库与支持度阈值,能熟练运用Apriori算法

与FP-Growth算法挖掘频繁项集

【Apriori算法计算频繁项集】

【步骤】1、第一次扫描,列出一项集,并计数。

2、去除低于阈值的项集,组合出二项集,扫描计数。

3、重复步骤2,依次组合出N项集,直至项集计数小于阈值,结束。

【注意】Apriori定义:如果一个项集是非频繁的,则它的所有超集也一定是非频繁的。所以在组合项集时一定要注意,新组合出的项集不应包含已经被“淘汰”的项集。

【FP-Growth算法计算频繁项集】

步骤一、扫描一次数据集,确定每个项的支持度计数。丢弃非频繁项,将频繁项按照支持度的递减排序,生成频繁项集头表。(注意事项:1、降序排列。2、MinSup 的存在!)

步骤二、第二次扫描投影,按照{f,c,a,b,m,p}的顺序逐条对应写出剔除非频繁项后的频繁集,(注意:{f,c,a,b,m,p}的顺序确定后就不在变动,这在下面的步骤中起关键作用)

步骤三、并开始构建FP树。按照事务ID号的顺序,将处理好的频繁项集映射

创建FP树,并在对应节点计数。

步骤四、构建每个对象的条件模式基,建议从频率低的节点开始。(注意:不要忘了f对应的{})。

步骤五、列出下表,对照MinSup剔除低于阈值的项。

步骤六、针对每一项建立条件FP树。下面用m项作例子,如下。

步骤七、找出频繁项集。

16.理解关联规则产生时所采取的优化策略

(老师说直接距离就可以)比如,L = {A,B,C,D}:

c(ABC→D)≥c(AB→CD) ≥c(A→BCD)

【为什么?分子不变,都是ABCD,分母越来越大】

17.理解K-means算法的内容并讨论该算法之不足

【K-means】K均值算法流程

1、随机选择K个对象,每个对象代表一个簇的初始均值或中心

2、对剩余的每个对象,根据它与簇均值的距离,将他指派到最相似的簇。

3、计算每个簇的新均值

4、回到步骤2,循环,直到准则函数收敛。

【不足之处】

1、只有当簇均值有定义的情况下,K-means方法才能够使用。

2、用户必须首先给定簇数目

3、不适合发现非凸形状的簇,或者大小差别很大的簇。

4、对噪声和离群点数据敏感。

18.理解凝聚聚类算法的基本过程,并分析算法时间与空间复杂度

步骤:1计算距离矩阵

2 让每个数据点成为一个群集

3,循环开始

4,合并两个距离最近的群集

5,更新距离矩阵

6,直到只剩下一个群集

时间复杂度:N2倍空间复杂度:N3倍

19.理解DBSCAN算法将待聚类的点分为哪几类,分解解释之

《数据挖掘》试题与标准答案

一、解答题(满分30分,每小题5分) 1. 怎样理解数据挖掘和知识发现的关系?请详细阐述之 首先从数据源中抽取感兴趣的数据,并把它组织成适合挖掘的数据组织形式;然后,调用相应的算法生成所需的知识;最后对生成的知识模式进行评估,并把有价值的知识集成到企业的智能系统中。 知识发现是一个指出数据中有效、崭新、潜在的、有价值的、一个不可忽视的流程,其最终目标是掌握数据的模式。流程步骤:先理解要应用的领域、熟悉相关知识,接着建立目标数据集,并专注所选择的数据子集;再作数据预处理,剔除错误或不一致的数据;然后进行数据简化与转换工作;再通过数据挖掘的技术程序成为模式、做回归分析或找出分类模型;最后经过解释和评价成为有用的信息。 2.时间序列数据挖掘的方法有哪些,请详细阐述之 时间序列数据挖掘的方法有: 1)、确定性时间序列预测方法:对于平稳变化特征的时间序列来说,假设未来行为与现在的行为有关,利用属性现在的值预测将来的值是可行的。例如,要预测下周某种商品的销售额,可以用最近一段时间的实际销售量来建立预测模型。 2)、随机时间序列预测方法:通过建立随机模型,对随机时间序列进行分析,可以预测未来值。若时间序列是平稳的,可以用自回归(Auto Regressive,简称AR)模型、移动回归模型(Moving Average,简称MA)或自回归移动平均(Auto Regressive Moving Average,简称ARMA)模型进行分析预测。 3)、其他方法:可用于时间序列预测的方法很多,其中比较成功的是神经网络。由于大量的时间序列是非平稳的,因此特征参数和数据分布随着时间的推移而变化。假如通过对某段历史数据的训练,通过数学统计模型估计神经网络的各层权重参数初值,就可能建立神经网络预测模型,用于时间序列的预测。

《大数据时代下的数据挖掘》试题及答案要点

《海量数据挖掘技术及工程实践》题目 一、单选题(共80题) 1)( D )的目的缩小数据的取值范围,使其更适合于数据挖掘算法的需要,并且能够得到 和原始数据相同的分析结果。 A.数据清洗 B.数据集成 C.数据变换 D.数据归约 2)某超市研究销售纪录数据后发现,买啤酒的人很大概率也会购买尿布,这种属于数据挖 掘的哪类问题?(A) A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 3)以下两种描述分别对应哪两种对分类算法的评价标准? (A) (a)警察抓小偷,描述警察抓的人中有多少个是小偷的标准。 (b)描述有多少比例的小偷给警察抓了的标准。 A. Precision,Recall B. Recall,Precision A. Precision,ROC D. Recall,ROC 4)将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务?(C) A. 频繁模式挖掘 B. 分类和预测 C. 数据预处理 D. 数据流挖掘 5)当不知道数据所带标签时,可以使用哪种技术促使带同类标签的数据与带其他标签的数 据相分离?(B) A. 分类 B. 聚类 C. 关联分析 D. 隐马尔可夫链 6)建立一个模型,通过这个模型根据已知的变量值来预测其他某个变量值属于数据挖掘的 哪一类任务?(C) A. 根据内容检索 B. 建模描述 C. 预测建模 D. 寻找模式和规则 7)下面哪种不属于数据预处理的方法? (D) A.变量代换 B.离散化

C.聚集 D.估计遗漏值 8)假设12个销售价格记录组已经排序如下:5, 10, 11, 13, 15, 35, 50, 55, 72, 92, 204, 215 使用如下每种方法将它们划分成四个箱。等频(等深)划分时,15在第几个箱子内? (B) A.第一个 B.第二个 C.第三个 D.第四个 9)下面哪个不属于数据的属性类型:(D) A.标称 B.序数 C.区间 D.相异 10)只有非零值才重要的二元属性被称作:( C ) A.计数属性 B.离散属性 C.非对称的二元属性 D.对称属性 11)以下哪种方法不属于特征选择的标准方法: (D) A.嵌入 B.过滤 C.包装 D.抽样 12)下面不属于创建新属性的相关方法的是: (B) A.特征提取 B.特征修改 C.映射数据到新的空间 D.特征构造 13)下面哪个属于映射数据到新的空间的方法? (A) A.傅立叶变换 B.特征加权 C.渐进抽样 D.维归约 14)假设属性income的最大最小值分别是12000元和98000元。利用最大最小规范化的方 法将属性的值映射到0至1的范围内。对属性income的73600元将被转化为:(D) A.0.821 B.1.224 C.1.458 D.0.716 15)一所大学内的各年纪人数分别为:一年级200人,二年级160人,三年级130人,四年 级110人。则年级属性的众数是: (A) A.一年级 B.二年级 C.三年级 D.四年级

数据挖掘考试题目——简答题

数据挖掘考试题目——简答题 (1)什么是数据挖掘?什么是知识发现? 答:数据挖掘是在大型数据存储库中,自动地发现有用的信息的过程。 知识发现是将未加工的数据转换为有用信息的整个过程。 (2)数据挖掘要解决的问题包括哪五项? 答:可伸缩、高维性、异种数据和复杂数据、数据的所有权与分布、非传统的分析。 (3)数据的属性分别包括哪几种类型?分别可执行什么操作? 答: 标称(nomial)相异性序数(ordinal) 区间(interval) 比率(ratio) =和≠ 序<、≤、>、≥加法+、- 乘法×、÷ (4)数据中遗漏值的处理策略包括哪几种? 答:1、删除数据对象或属性,如遗漏数据对象很少 2、估计遗漏值,如插值或最近邻法 3、在分析时忽略遗漏值,如忽略属性计算相似度 (5)数据预处理的工作可以包括哪两类? 答:1、选择分析所需要的数据对象和属性 2、创建或改变属性 (6)聚集的目的是什么? 答:1、数据约减 2、改变尺度 3、提高数据的稳定性 (7)有效抽样的定义是什么? 答:1、如果样本是有代表性的,则使用样本与使用整个数据集的效果几乎一样 2、样本具有足够的代表性的前提是它近似地具有与原数据集相同的感兴趣的性质 (8)维归约的目的是什么? 答:1、避免维灾难 2、减少数据挖掘算法的时间与空间开销 3、便于模型的理解与数据的可视化 4、删除无关特征并降低噪声 (9)特征子集的选择方法中,除了基于领域知识和穷举法,还包括三种方法?请列举并简要说明

答:1、嵌入法:特征子集选择算法作为数据挖掘算法的一部分自然存在 2、过滤法:使用某种独立于数据挖掘任务的方法,在数据挖掘算法运行前进行特征选择 3、包装法:将目标数据挖掘算法作为黑盒,使用类似理想算法的方法,但并不枚举所有可能 (10)当满足什么性质时,距离可以称为度量? 答:1、非负性,d(p, q) >=0 ,当且仅当p = q时d(p, q) = 0 2、对称性,d(p, q) = d(q, p) 3、三角不等式:d(p, r) <=d(p, q) + d(q, r) 同时满足以上三个性质的距离称为度量。 (11)简述Apriori算法的优点和缺点。 答:Apriori算法的优点:结构简单、易于理解。 Apriori算法的缺点:产生大量的候选项集,I/O开销较大。 (12)简述构造FP树时第一步通常必须要做什么,为什么? 答:第一步就是扫描一次数据集,确定每个项的支持度计数。丢弃非频繁项,而将频繁项按照支持度递减排序。这样做的目的是最大限度的压缩数据,要不树就会比较茂盛,则达不到计算优化的目的。 (13)簇评估的主要任务是什么。 答:①确定数据集的聚类趋势。 ②确定正确的簇个数。 ③不引用附加的信息,评估聚类分析结果对数据的拟合情况。 ④将聚类分析结果与已知的客观结果比较。 ⑤比较两个簇集,确定哪个更好。 (14)写出K均值算法的优缺点。 答:优点:(1)可以用于各种数据类型 (2)有效 缺点:(1)不能处理非球形簇、不同尺寸和不同密度的簇 (2)离群点的数据进行聚类时,K均值也存在一定问题

数据挖掘考试题库【最新】

一、填空题 1.Web挖掘可分为、和3大类。 2.数据仓库需要统一数据源,包括统一、统一、统一和统一数据特征 4个方面。 3.数据分割通常按时间、、、以及组合方法进行。 4.噪声数据处理的方法主要有、和。 5.数值归约的常用方法有、、、和对数模型等。 6.评价关联规则的2个主要指标是和。 7.多维数据集通常采用或雪花型架构,以表为中心,连接多个表。 8.决策树是用作为结点,用作为分支的树结构。 9.关联可分为简单关联、和。 10.B P神经网络的作用函数通常为区间的。 11.数据挖掘的过程主要包括确定业务对象、、、及知识同化等几个步 骤。 12.数据挖掘技术主要涉及、和3个技术领域。 13.数据挖掘的主要功能包括、、、、趋势分析、孤立点分析和偏 差分析7个方面。 14.人工神经网络具有和等特点,其结构模型包括、和自组织网络 3种。 15.数据仓库数据的4个基本特征是、、非易失、随时间变化。 16.数据仓库的数据通常划分为、、和等几个级别。 17.数据预处理的主要内容(方法)包括、、和数据归约等。 18.平滑分箱数据的方法主要有、和。 19.数据挖掘发现知识的类型主要有广义知识、、、和偏差型知识五种。 20.O LAP的数据组织方式主要有和两种。 21.常见的OLAP多维数据分析包括、、和旋转等操作。 22.传统的决策支持系统是以和驱动,而新决策支持系统则是以、建 立在和技术之上。 23.O LAP的数据组织方式主要有和2种。 24.S QL Server2000的OLAP组件叫,OLAP操作窗口叫。 25.B P神经网络由、以及一或多个结点组成。 26.遗传算法包括、、3个基本算子。 27.聚类分析的数据通常可分为区间标度变量、、、、序数型以及混合 类型等。 28.聚类分析中最常用的距离计算公式有、、等。 29.基于划分的聚类算法有和。

数据挖掘试题与答案

一、解答题(满分30分,每小题5分) 1. 怎样理解数据挖掘和知识发现的关系?请详细阐述之 首先从数据源中抽取感兴趣的数据,并把它组织成适合挖掘的数据组织形式;然后,调用相应的算法生成所需的知识;最后对生成的知识模式进行评估,并把有价值的知识集成到企业的智能系统中。 知识发现是一个指出数据中有效、崭新、潜在的、有价值的、一个不可忽视的流程,其最终目标是掌握数据的模式。流程步骤:先理解要应用的领域、熟悉相关知识,接着建立目标数据集,并专注所选择的数据子集;再作数据预处理,剔除错误或不一致的数据;然后进行数据简化与转换工作;再通过数据挖掘的技术程序成为模式、做回归分析或找出分类模型;最后经过解释和评价成为有用的信息。 2. 时间序列数据挖掘的方法有哪些,请详细阐述之 时间序列数据挖掘的方法有: 1)、确定性时间序列预测方法:对于平稳变化特征的时间序列来说,假设未来行为与现在的行为有关,利用属性现在的值预测将来的值是可行的。例如,要预测下周某种商品的销售额,可以用最近一段时间的实际销售量来建立预测模型。 2)、随机时间序列预测方法:通过建立随机模型,对随机时间序列进行分析,可以预测未来值。若时间序列是平稳的,可以用自回归(Auto Regressive,简称AR)模型、移动回归模型(Moving Average,简称MA)或自回归移动平均(Auto Regressive Moving Average,简称ARMA)模型进行分析预测。 3)、其他方法:可用于时间序列预测的方法很多,其中比较成功的是神经网络。由于大量的时间序列是非平稳的,因此特征参数和数据分布随着时间的推移而变化。假如通过对某段历史数据的训练,通过数学统计模型估计神经网络的各层权重参数初值,就可能建立神经网络预测模型,用于时间序列的预测。

数据挖掘考试复习资料

数据挖掘考试复习资料 一、名词解释 1、数据仓库:面向主题的、集成的、非易失的、是随时间变化的数据集合, 用来支持管理决策。 2、聚类:将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被 称为聚类 3、数据挖掘:从大量的数据中挖掘那些令人感兴趣的、有用的、隐含的、先 前未知的和可能有用的模式或知识 4、人工神经网络:人工神经网络是一种应用类似于大脑神经突触联接的结构 进行信息处理的数学模型。在工程与学术界也常直接简称为神经网络或类神经网络。 5、文本挖掘:文本数据挖掘(Text Mining)是指从文本数据中抽取有价值的 信息和知识的计算机处理技术 6、OLAP:又称联机分析处理,是使分析人员、管理人员或执行人员能够从 多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业为特性的信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。 定义1:OLAP是针对特定问题的联机数据访问和分析。通过对信息(维数据)的多种可能的观察形式进行快速、稳定一致和交互性的存取,允许管理决策人员对数据进行深入地观察。 定义2:OLAP是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业“维”特性的信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。) 7、概念描述:就是对目标类对象的内涵进行描述,并概括这类对象的有关特 征。特征化:提供给定数据汇集的简洁汇总 比较:提供两个或多个数据汇集的比较描述 8、信息熵:在信息论中,熵被用来衡量一个随机变量出现的期望值。它代表 了在被接收之前,信号传输过程中损失的信息量,又被称为信息熵。信息熵也称信源熵、平均自信息量。

数据挖掘考试题

数据挖掘考试题 LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】

数据挖掘考试题 一.选择题 1. 当不知道数据所带标签时,可以使用哪种技术促使带同类标签的数据与带其他标签的数据相分离( ) A.分类 B.聚类 C.关联分析 D.主成分分析 2. ( )将两个簇的邻近度定义为不同簇的所有点对邻近度的平均值,它是一种凝聚层次聚类技术。 (单链) (全链) C.组平均方法 3.数据挖掘的经典案例“啤酒与尿布试验”最主要是应用了( )数据挖掘方法。 A 分类 B 预测 C关联规则分析 D聚类 4.关于K均值和DBSCAN的比较,以下说法不正确的是( ) 均值丢弃被它识别为噪声的对象,而DBSCAN一般聚类所有对象。 均值使用簇的基于原型的概念,DBSCAN使用基于密度的概念。 均值很难处理非球形的簇和不同大小的簇,DBSCAN可以处理不同大小和不同形状的簇 均值可以发现不是明显分离的簇,即便簇有重叠也可以发现,但是DBSCAN会合并有重叠的簇 5.下列关于Ward’s Method说法错误的是:( ) A.对噪声点和离群点敏感度比较小 B.擅长处理球状的簇 C.对于Ward方法,两个簇的邻近度定义为两个簇合并时导致的平方误差 D.当两个点之间的邻近度取它们之间距离的平方时,Ward方法与组平均非常相似 6.下列关于层次聚类存在的问题说法正确的是:( ) A.具有全局优化目标函数 B.Group Average擅长处理球状的簇

C.可以处理不同大小簇的能力 D.Max对噪声点和离群点很敏感 7.下列关于凝聚层次聚类的说法中,说法错误的事:( ) A.一旦两个簇合并,该操作就不能撤销 B.算法的终止条件是仅剩下一个簇 C.空间复杂度为()2m O D.具有全局优化目标函数 8.规则{牛奶,尿布}→{啤酒}的支持度和置信度分别为:( ) 9.下列( )是属于分裂层次聚类的方法。 Average 10.对下图数据进行凝聚聚类操作,簇间相似度使用MAX计算,第二步是哪两个簇合并:( ) A.在{3}和{l,2}合并 B.{3}和{4,5}合并 C.{2,3}和{4,5}合并 D. {2,3}和{4,5}形成簇和{3}合并 二.填空题: 1.属性包括的四种类型:、、、。 2.是两个簇的邻近度定义为不同簇的所有点对邻近度的平均值。 3. 基本凝聚层次聚类算法空间复杂度,时间复杂度,如果某个簇到其他所有簇的距离存放在一个有序表或堆中,层次聚类所需要的时间复杂度将为。 4. 聚类中,定义簇间的相似度的方法有(写出四 个):、、、。 5. 层次聚类技术是第二类重要的聚类方法。两种层次聚类的基本方 法:、。 6. 组平均是一种界于和之间的折中方法。

浅谈大数据时代的数据分析与挖掘

龙源期刊网 https://www.docsj.com/doc/e013109210.html, 浅谈大数据时代的数据分析与挖掘 作者:单海波 来源:《科技创新与应用》2016年第24期 摘要:随着改革开放的进一步深化,以及经济全球化的快速发展,我国各行各业都有了 质的飞跃,发展方向更加全面。特别是近年来科学技术的发展和普及,更是促进了各领域的不断发展,各学科均出现了科技交融。在这种社会背景下,数据形式和规模不断向着更加快速、精准的方向发展,促使经济社会发生了翻天覆地的变化,同时也意味着大数据时代即将来临。就目前而言,数据已经改变传统的结构模式,在时代的发展推动下积极向着结构化、半结构化,以及非结构化的数据模式方向转换,改变了以往的只是单一地作为简单的工具的现象,逐渐发展成为具有基础性质的资源。文章主要针对大数据时代下的数据分析与挖掘进行了分析和讨论,并论述了建设数据分析与挖掘体系的原则,希望可以为从事数据挖掘技术的分析人员提供一定的帮助和理论启示,仅供参考。 关键词:大数据;数据分析;数据挖掘;体系建设 引言 进入21世纪以来,随着高新科技的迅猛发展和经济全球化发展的趋势,我国国民经济迅速增长,各行业、领域的发展也颇为迅猛,人们生活水平与日俱增,在物质生活得到极大满足的前提下,更加追求精神层面以及视觉上的享受,这就涉及到数据信息方面的内容。在经济全球化、科技一体化、文化多元化的时代,数据信息的作用和地位是不可小觑的,处理和归类数据信息是达到信息传递的基础条件,是发展各学科科技交融的前提。 然而,世界上的一切事物都包含着两个方面,这两个方面既相互对立,又相互统一。矛盾即对立统一。矛盾具有斗争性和同一性两种基本属性,我们必须用一分为二的观点、全面的观点看问题。同时要积极创造条件,促进矛盾双方的相互转变。数据信息在带给人们生产生活极大便利的同时,还会被诸多社会数据信息所困扰。为了使广大人民群众的日常生活更加便捷,需要其客观、正确地使用、处理数据信息,完善和健全数据分析技术和数据挖掘手段,通过各种切实可行的数据分析方法科学合理地分析大数据时代下的数据,做好数据挖掘技术工作。 1 实施数据分析的方法 在经济社会快速发展的背景下,我国在科学信息技术领域取得长足进步。科技信息的发展在极大程度上促进了各行各业的繁荣发展和长久进步,使其发展更加全面化、科学化、专业化,切实提升了我国经济的迅猛发展,从而形成了一个最佳的良性循环,我国也由此进入了大数据时代。对于大数据时代而言,数据分析环节是必不可少的组成部分,只有科学准确地对信息量极大的数据进行处理、筛选,才能使其更好地服务于社会,服务于广大人民群众。正确处理数据进行分析过程是大数据时代下数据分析的至关重要的环节。众所周知,大数据具有明显

数据挖掘复习大纲答案新新

数据挖掘复习提纲 分值分布 一、选择题(单选10道20分多选5道20分) 二、填空题(10道20分) 三、名词解释(5道20分) 四、解答题(4道20分) 五、应用题(Apriori算法20分) 1.什么是数据挖掘? 1答:简单地说,数据挖掘是从大量数据中提取或挖掘知识。 具体地说,数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 2. 什么是数据清理? 2答:填写缺失的值,平滑噪声数据,识别、删除离群点,解决不一致性 3. 什么是数据仓库? 3答:是一个面向主题的、集成的、随时间而变化的、不容易丢失的数据集合,支持管理部门决策的过程。(最显著特征:数据不易丢失2分选择题) 4. 什么是数据集成? 4.数据集成:集成多个数据库、数据立方体或文件 5. 什么是数据变换? 5答:将数据转换或统一成适合于挖掘的形式。 6. 什么是数据归约? 6答:得到数据集的压缩表示,它小得多,但可以得到相同或相近的结果 7. 什么是数据集市? 7答:数据集市包含企业范围数据的一个子集,对于特定的用户群是有用的。其范围限于选定的主题。 (是完整的数据仓库的一个逻辑子集,而数据仓库正是由所有的数据集市有机组合而成的) 8.在数据挖掘过程中,耗时最长的步骤是什么? 8.答:数据清理 9.数据挖掘系统可以根据什么标准进行分类? 9答:根据挖掘的数据库类型分类、根据挖掘的知识类型分类、根据挖掘所用的技术分类、根据应用分类 10. 多维数据模型上的OLAP 操作包括哪些? 10.答:上卷、下钻、切片和切块、转轴 / 旋转、其他OLAP操作 11. OLAP 服务器类型有哪几种? 11.答:关系 OLAP 服务器(ROLAP)、多维 OLAP 服务器(MOLAP)、混合 OLAP 服务器 (HOLAP)、特殊的 SQL 服务器 12. 数据预处理技术包括哪些?(选择) 12.答:聚集、抽样、维规约、特征子集选择、特征创建、离散化和二元化、变量变换。 13. 形成“脏数据”的原因有哪些? 13. 答:滥用缩写词、数据输入错误、数据中的内嵌控制信息、不同的的惯用语、重复记录、丢失值、拼写变化、不同的计量单位、过时的编码 14. 与数据挖掘类似的术语有哪些? 14答:数据库中挖掘知识、知识提取、数据/模式分析、数据考古和数据捕捞。

最新数据挖掘考试题目——关联分析资料

数据挖掘考试题目——关联分析 一、10个选择 1.以下属于关联分析的是() A.CPU性能预测B.购物篮分析 C.自动判断鸢尾花类别D.股票趋势建模 2.维克托?迈尔-舍恩伯格在《大数据时代:生活、工作与思维的大变革》一书中,持续强调了一个观点:大数据时代的到来,使我们无法人为地去发现数据中的奥妙,与此同时,我们更应该注重数据中的相关关系,而不是因果关系。其中,数据之间的相关关系可以通过以下哪个算法直接挖掘() A.K-means B.Bayes Network C.C4.5 D.Apriori 3.置信度(confidence)是衡量兴趣度度量()的指标。 A.简洁性B.确定性 C.实用性D.新颖性 4.Apriori算法的加速过程依赖于以下哪个策略() A.抽样B.剪枝 C.缓冲D.并行 5.以下哪个会降低Apriori算法的挖掘效率() A.支持度阈值增大B.项数减少 C.事务数减少D.减小硬盘读写速率 6.Apriori算法使用到以下哪些东东() A.格结构、有向无环图B.二叉树、哈希树 C.格结构、哈希树D.多叉树、有向无环图 7.非频繁模式() A.其置信度小于阈值B.令人不感兴趣 C.包含负模式和负相关模式D.对异常数据项敏感 8.对频繁项集、频繁闭项集、极大频繁项集的关系描述正确的是()[注:分别以1、2、3代表之] A.3可以还原出无损的1 B.2可以还原出无损的1 C.3与2是完全等价的D.2与1是完全等价的 9.Hash tree在Apriori算法中所起的作用是() A.存储数据B.查找 C.加速查找D.剪枝 10.以下不属于数据挖掘软件的是() A.SPSS Modeler B.Weka C.Apache Spark D.Knime 二、10个填空 1.关联分析中表示关联关系的方法主要有:和。 2.关联规则的评价度量主要有:和。 3.关联规则挖掘的算法主要有:和。 4.购物篮分析中,数据是以的形式呈现。 5.一个项集满足最小支持度,我们称之为。 6.一个关联规则同时满足最小支持度和最小置信度,我们称之为。

数据挖掘复习章节知识点整理

数据挖掘:是从大量数据中发现有趣(非平凡的、隐含的、先前未知、潜在有用)模式,这些数据可以存放在数据库,数据仓库或其他信息存储中。 挖掘流程: 1.学习应用域 2.目标数据创建集 3.数据清洗和预处理 4.数据规约和转换 5.选择数据挖掘函数(总结、分类、回归、关联、分类) 6.选择挖掘算法 7.找寻兴趣度模式 8.模式评估和知识展示 9.使用挖掘的知识 概念/类描述:一种数据泛化形式,用汇总的、简洁的和精确的方法描述各个类和概念,通过(1)数据特征化:目标类数据的一般特性或特征的汇总; (2)数据区分:将目标类数据的一般特性与一个或多个可比较类进行比较; (3)数据特征化和比较来得到。 关联分析:发现关联规则,这些规则展示属性-值频繁地在给定数据集中一起出现的条件,通常要满足最小支持度阈值和最小置信度阈值。 分类:找出能够描述和区分数据类或概念的模型,以便能够使用模型预测类标号未知的对象类,导出的模型是基于训练集的分析。导出模型的算法:决策树、神经网络、贝叶斯、(遗传、粗糙集、模糊集)。 预测:建立连续值函数模型,预测空缺的或不知道的数值数据集。 孤立点:与数据的一般行为或模型不一致的数据对象。 聚类:分析数据对象,而不考虑已知的类标记。训练数据中不提供类标记,对象根据最大化类内的相似性和最小化类间的原则进行聚类或分组,从而产生类标号。 第二章数据仓库 数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合,支持管理部门的决策过程。从一个或多个数据源收集信息,存放在一个一致的模式下,并且通常驻留在单个站点。数据仓库通过数据清理、变换、继承、装入和定期刷新过程来构造。面向主题:排除无用数据,提供特定主题的简明视图。集成的:多个异构数据源。时变的:从历史角度提供信息,隐含时间信息。非易失的:和操作数据的分离,只提供初始装入和访问。 联机事务处理OLTP:主要任务是执行联机事务和查询处理。 联系分析处理OLAP:数据仓库系统在数据分析和决策方面为用户或‘知识工人’提供服务。这种系统可以用不同的格式和组织提供数据。OLAP是一种分析技术,具有汇总、合并和聚集功能,以及从不同的角度观察信息的能力。

数据仓库与数据挖掘考试试题

一、| 二、填空题(15分) 1.数据仓库的特点分别是面向主题、集成、相对稳定、反映历史变化。 2.元数据是描述数据仓库内数据的结构和建立方法的数据。根据元数据用途的不同可将元数据分为技术元数据和业务元数据两类。 技术多维分析过程中,多维分析操作包括切片、切块、钻取、旋转等。 4.基于依赖型数据集市和操作型数据存储的数据仓库体系结构常常被称为“中心和辐射”架构,其中企业级数据仓库是中心,源数据系统和数据集市在输入和输出范围的两端。 实际上是一个集成的、面向主题的、可更新的、当前值的、企业级的、详细的数据库,也叫运营数据存储。 三、多项选择题(10分) 6.在数据挖掘的分析方法中,直接数据挖掘包括(ACD) ) A 分类 B 关联 C 估值 D 预言 7.数据仓库的数据ETL过程中,ETL软件的主要功能包括(ABC) A 数据抽取 B 数据转换 C 数据加载 D 数据稽核 8.数据分类的评价准则包括(ABCD ) A 精确度 B 查全率和查准率 C F-Measure D 几何均值 9.层次聚类方法包括(BC ) A 划分聚类方法 B 凝聚型层次聚类方法 C 分解型层次聚类方法 D 基于密度聚类方法 10.贝叶斯网络由两部分组成,分别是( A D ) . A 网络结构 B 先验概率 C 后验概率 D 条件概率表 四、计算题(30分) 11.一个食品连锁店每周的事务记录如下表所示,其中每一条事务表示在一项收款机业务中卖出的项目,假定sup min=40%,conf min=40%,使用Apriori算法计算生成的关联规则,标明每趟数据库扫描时的候选集和大项目集。(15分)

数据挖掘考试题库

1.何谓数据挖掘?它有哪些方面的功能? 从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程称为数据挖掘。相关的名称有知识发现、数据分析、数据融合、决策支持等。 数据挖掘的功能包括:概念描述、关联分析、分类与预测、聚类分析、趋势分析、孤立点分析以及偏差分析等。 2.何谓粒度?它对数据仓库有什么影响?按粒度组织数据的方式有哪些? 粒度是指数据仓库的数据单位中保存数据细化或综合程度的级别。粒度影响存放在数据仓库中的数据量的大小,同时影响数据仓库所能回答查询问题的细节程度。按粒度组织数据的方式主要有: ①简单堆积结构 ②轮转综合结构 ③简单直接结构 ④连续结构 3.简述数据仓库设计的三级模型及其基本内容。 概念模型设计是在较高的抽象层次上的设计,其主要内容包括:界定系统边界和确定主要的主题域。 逻辑模型设计的主要内容包括:分析主题域、确定粒度层次划分、确定数据分割策略、定义关系模式、定义记录系统。 物理数据模型设计的主要内容包括:确定数据存储结构、确定数据存放位置、确定存储分配以及确定索引策略等。在物理数据模型设计时主要考虑的因素有: I/O存取时间、空间利用率和维护代价等。 提高性能的主要措施有划分粒度、数据分割、合并表、建立数据序列、引入冗余、生成导出数据、建立广义索引等。 4.在数据挖掘之前为什么要对原始数据进行预处理? 原始业务数据来自多个数据库或数据仓库,它们的结构和规则可能是不同的,这将导致原始数据非常的杂乱、不可用,即使在同一个数据库中,也可能存在重复的和不完整的数据信息,为了使这些数据能够符合数据挖掘的要求,提高效率和得到清晰的结果,必须进行数据的预处理。 为数据挖掘算法提供完整、干净、准确、有针对性的数据,减少算法的计算量,提高挖掘效率和准确程度。 5.简述数据预处理方法和内容。 ①数据清洗:包括填充空缺值,识别孤立点,去掉噪声和无关数据。 ②数据集成:将多个数据源中的数据结合起来存放在一个一致的数据存储中。需要注意不同数据源的数据匹配问题、数值冲 突问题和冗余问题等。 ③数据变换:将原始数据转换成为适合数据挖掘的形式。包括对数据的汇总、聚集、概化、规范化,还可能需要进行属性的 重构。 ④数据归约:缩小数据的取值范围,使其更适合于数据挖掘算法的需要,并且能够得到和原始数据相同的分析结果。 6.简述数据清理的基本内容。 ①尽可能赋予属性名和属性值明确的含义; ②统一多数据源的属性值编码; ③去除无用的惟一属性或键值(如自动增长的id); ④去除重复属性(在某些分析中,年龄和出生日期可能就是重复的属性,但在某些时候它们可能又是同时需要的) ⑤去除可忽略字段(大部分为空值的属性一般是没有什么价值的,如果不去除可能造成错误的数据挖掘结果) ⑥合理选择关联字段(对于多个关联性较强的属性,重复无益,只需选择其中的部分用于数据挖掘即可,如价格、数据、金额) ⑦去掉数据中的噪音、填充空值、丢失值和处理不一致数据。 7.简述处理空缺值的方法。 ①忽略该记录; ②去掉属性; ③手工填写空缺值; ④使用默认值; ⑤使用属性平均值; ⑥使用同类样本平均值; ⑦预测最可能的值。 8.常见的分箱方法有哪些?数据平滑处理的方法有哪些? 分箱的方法主要有: ①统一权重法(又称等深分箱法) ②统一区间法(又称等宽分箱法) ③最小熵法 ④自定义区间法 数据平滑的方法主要有:平均值法、边界值法和中值法。

数据挖掘考试题库讲解

一、名词解释 1.数据仓库:是一种新的数据处理体系结构,是面向主题的、集成的、不可更新 的(稳定性)、随时间不断变化(不同时间)的数据集合,为企业决策支持系统提供所需的集成信息。 2.孤立点:指数据库中包含的一些与数据的一般行为或模型不一致的异常数据。 3.OLAP:OLAP是在OLTP的基础上发展起来的,以数据仓库为基础的数据分析处 理,是共享多维信息的快速分析,是被专门设计用于支持复杂的分析操作,侧重对分析人员和高层管理人员的决策支持。 4.粒度:指数据仓库的数据单位中保存数据细化或综合程度的级别。粒度影响存 放在数据仓库中的数据量的大小,同时影响数据仓库所能回答查询问题的细节程度。 5.数据规范化:指将数据按比例缩放(如更换大单位),使之落入一个特定的区域 (如0-1)以提高数据挖掘效率的方法。规范化的常用方法有:最大-最小规范化、零-均值规范化、小数定标规范化。 6.关联知识:是反映一个事件和其他事件之间依赖或相互关联的知识。如果两项 或多项属性之间存在关联,那么其中一项的属性值就可以依据其他属性值进行预测。 7.数据挖掘:从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐 含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 8.OLTP:OLTP为联机事务处理的缩写,OLAP是联机分析处理的缩写。前者是以数 据库为基础的,面对的是操作人员和低层管理人员,对基本数据进行查询和增、删、改等处理。 9.ROLAP:是基于关系数据库存储方式的,在这种结构中,多维数据被映像成二维 关系表,通常采用星型或雪花型架构,由一个事实表和多个维度表构成。10.MOLAP:是基于类似于“超立方”块的OLAP存储结构,由许多经压缩的、类似 于多维数组的对象构成,并带有高度压缩的索引及指针结构,通过直接偏移计算进行存取。 11.数据归约:缩小数据的取值范围,使其更适合于数据挖掘算法的需要,并且能 够得到和原始数据相同的分析结果。 12.广义知识:通过对大量数据的归纳、概括和抽象,提炼出带有普遍性的、概括 性的描述统计的知识。 13.预测型知识:是根据时间序列型数据,由历史的和当前的数据去推测未来的数 据,也可以认为是以时间为关键属性的关联知识。 14.偏差型知识:是对差异和极端特例的描述,用于揭示事物偏离常规的异常现象, 如标准类外的特例,数据聚类外的离群值等。

大数据、数据分析和数据挖掘的区别

大数据、数据分析和数据挖掘的区别 大数据、数据分析、数据挖掘的区别是,大数据是互联网的海量数据挖掘,而数据挖掘更多是针对内部企业行业小众化的数据挖掘,数据分析就是进行做出针对性的分析和诊断,大数据需要分析的是趋势和发展,数据挖掘主要发现的是问题和诊断。具体分析如下: 1、大数据(big data): 指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产; 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径,而采用所有数据进行分析处理。大数据的5V特点(IBM提出):Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)Veracity(真实性) 。 2、数据分析:

是指用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中,数据分析可帮助人们作出判断,以便采取适当行动。 数据分析的数学基础在20世纪早期就已确立,但直到计算机的出现才使得实际操作成为可能,并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物。 3、数据挖掘(英语:Data mining): 又译为资料探勘、数据采矿。它是数据库知识发现(英语:Knowledge-Discovery in Databases,简称:KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关,并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。 简而言之: 大数据是范围比较广的数据分析和数据挖掘。 按照数据分析的流程来说,数据挖掘工作较数据分析工作靠前些,二者又有重合的地方,数据挖掘侧重数据的清洗和梳理。 数据分析处于数据处理的末端,是最后阶段。 数据分析和数据挖掘的分界、概念比较模糊,模糊的意思是二者很难区分。 大数据概念更为广泛,是把创新的思维、信息技术、统计学等等技术的综合体,每个人限于学术背景、技术背景,概述的都不一样。

web数据挖掘考试重点

填空或简答: 1. 数据、信息和知识是广义数据表现的不同形式。 2. 主要知识模式类型有:广义知识,关联知识,类知识,预测型知识,特异型知识 3. web挖掘研究的主要流派有:Web结构挖掘、Web使用挖掘、Web内容挖掘 4. 一般地说,KDD是一个多步骤的处理过程,一般分为问题定义、数据抽取、数据预处理、.数据挖掘以及模式评估等基本阶段。 5. 数据库中的知识发现处理过程模型有:阶梯处理过程模型,螺旋处理过程模型,以用户为中心的处理结构模型,联机KDD模型,支持多数据源多知识模式的KDD处理模型 6. 粗略地说,知识发现软件或工具的发展经历了独立的知识发现软件、横向的知识发现工具集和纵向的知识发现解决方案三个主要阶段,其中后面两种反映了目前知识发现软件的两个主要发展方向。 7. 决策树分类模型的建立通常分为两个步骤:决策树生成,决策树修剪。 8. 从使用的主要技术上看,可以把分类方法归结为四种类型: a) 基于距离的分类方法 b) 决策树分类方法 c) 贝叶斯分类方法 d) 规则归纳方法 9. 关联规则挖掘问题可以划分成两个子问题: a) 发现频繁项目集:通过用户给定Minsupport ,寻找所有频繁项目集或者最大频繁项目集。 b) 生成关联规则:通过用户给定Minconfidence ,在频繁项目集中,寻找关联规则。 10. 数据挖掘是相关学科充分发展的基础上被提出和发展的。 主要的相关技术: 数据库等信息技术的发展 统计学深入应用 人工智能技术的研究和应用 11. 衡量关联规则挖掘结果的有效性: 应该从多种综合角度来考虑: a准确性:挖掘出的规则必须反映数据的实际情况。 b实用性:挖掘出的规则必须是简洁可用的。 c新颖性:挖掘出的关联规则可以为用户提供新的有价值信息。 12. 约束的常见类型有: 单调性约束; 反单调性约束; 可转变的约束; 简洁性约束. 13. 根据规则中涉及到的层次,多层次关联规则可以分为: 同层关联规则:如果一个关联规则对应的项目是同一个粒度层次,那么它是同层关联规则。层间关联规则:如果在不同的粒度层次上考虑问题,那么可能得到的是层间关联规 14. 按照聚类分析算法的主要思路,聚类方法可以被归纳为如下几种。 划分法:基于一定标准构建数据的划分。 属于该类的聚类方法有:k-means、k-modes、k-prototypes、k-medoids、PAM、CLARA、CLARANS等。 层次法:对给定数据对象集合进行层次的分解。 密度法:基于数据对象的相连密度评价。 网格法:将数据空间划分成为有限个单元(Cell)的网格结构,基于网格结构进行聚类。 模型法:给每一个簇假定一个模型,然后去寻找能够很好的满足这个模型的数据集。 15. 类间距离的度量主要有: 最短距离法:定义两个类中最靠近的两个元素间的距离为类间距离。 最长距离法:定义两个类中最远的两个元素间的距离为类间距离。 中心法:定义两类的两个中心间的距离为类间距离。

《数据仓库与数据挖掘》复习题

2014-2015-1《数据仓库与数据挖掘》 期末考试题型 一、单项选择题(每小题2分,共20分) 二、填空题(每空1分,共20分) 三、简答题(每题6分,共30分) 四、析题与计算题(共30分) 请同学们在考试时不要将复习资料带入考场!!! 单选题 1. 某超市研究销售纪录数据后发现,买啤酒的人很大概率也会购买尿布,这种属于数据挖掘的哪类问题?(A) A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 2. 以下两种描述分别对应哪两种对分类算法的评价标准?(A) (a)警察抓小偷,描述警察抓的人中有多少个是小偷的标准。 (b)描述有多少比例的小偷给警察抓了的标准。 A. Precision, Recall B. Recall, Precision A. Precision, ROC D. Recall, ROC 3. 将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务?(C) A. 频繁模式挖掘 B. 分类和预测 C. 数据预处理 D. 数据流挖掘 4. 当不知道数据所带标签时,可以使用哪种技术促使带同类标签的数据与带其他标签的数据相分离?(B) A. 分类 B. 聚类 C. 关联分析 D. 隐马尔可夫链 5. 什么是KDD?(A) A. 数据挖掘与知识发现 B. 领域知识发现 C. 文档知识发现 D. 动态知识发现 6. 使用交互式的和可视化的技术,对数据进行探索属于数据挖掘的哪一类任务?(A) A. 探索性数据分析 B. 建模描述 C. 预测建模 D. 寻找模式和规则 7. 为数据的总体分布建模;把多维空间划分成组等问题属于数据挖掘的哪一类任务?(B) A. 探索性数据分析 B. 建模描述 C. 预测建模 D. 寻找模式和规则 8. 建立一个模型,通过这个模型根据已知的变量值来预测其他某个变量值属于数据挖掘的哪一类任务?(C) A. 根据内容检索 B. 建模描述 C. 预测建模 D. 寻找模式和规则 9. 用户有一种感兴趣的模式并且希望在数据集中找到相似的模式,属于数据挖掘哪一类任务?(A)

最新数据挖掘复习题

数据挖掘复习题 1 选择题 1 某超市研究销售记录数据后发现,买啤酒的人很大概率也会购买尿布,这属于数据挖掘的__A__问题。 A 关联规则发现 B 聚类 C 分类 D 自然语言处理 2将原始数据进行集成、变换、维度规约、数值规约是在______C_____阶段完成的。 A 频繁模式挖掘 B 分类和预测 C 数据预处理 D 数据流挖掘 3 Clementine 不能读取的数据文件是__D____。 A SPSS文件 B SAS文件 C 文本文件 D PDF文件 4 在将“学生成绩.sav”数据文件通过Clementine的数据源(Source)选项卡加载到流中后,浏览此上载数据可用__A___节点。 A 表(Table) B 类型(Types) C 过滤(Filter) D 导出(Derive) 5 在利用多元线性回归进行预测过程中,如果解释变量的数目被控制在十个以内,至少需要__C___个样本才能满足模型估计的基本要求。 A 10 B 20 C 30 D 40 填空题 1 某单位有100个人,他们的平均身高是170cm,标准差为5cm, 根据切比雪夫定理,该单位至少有__75__%的人身高在160cm—180cm这个区间里,如果预先知道该单位人的身高服从正态分布,在上述条件不变的情况下,可得出该单位大约有__95__%人的身高在160cm—180cm这个区间里的结论。 2 Clementine 可视化界面的四个区域分别是___流区域___,___面板区______,__模型管理区____,__项目管理区___。 3 Clementine 超节点的建立操作是:首先选中若干个节点,然后右击鼠标,选择弹出菜单中的___创建超节点___选项,要查看超节点中的具体内容,选择超节点弹出菜单中的___放大___选项,如果要取消超节点,选择弹出菜单中的__展开__选项。 4 Clementine数据质量的探索主要包括___数据缺失问题___、__数据离群点和极端值两大方面。 5 Clementine 输出选项卡中的数据审核节点默认变量值在以均值为中心的3个标准差以外为离群点,5个标准差以外为极端值,默认变量值与上四分位数或下四分位数的绝对差大于1.5倍的四分位差为离群点,大于3倍四分位差为极端值。 简答题 1 数据流的操作主要包括哪几个步骤? (1) 选择和管理节点 (2) 节点连接和连接调整 (3) 设置节点参数 (4)执行数据流 2 预测与分类的区别是什么? 分类是预测数据对象的离散类别,预测是用于数据对象的连续取值 3 数据分类由哪几步过程组成?

相关文档