数据挖掘中用于分类的时序数据特征提取方法
计 算 机 系 统 应 用 https://www.docsj.com/doc/ef11546073.html, 2012 年 第21卷 第 10 期
224 专论
·综述Special Issue
①
林 珠1, 邢 延2
1(广东省计算中心, 广州 510033)
2
(广东工业大学 自动化学院, 广州 510006)
摘 要: 特征提取在提高分类的准确性中起着非常关键的作用. 对时序特征提取的方法进行归纳分类, 将有利于对特征提取整体性, 全面性的认识. 回顾现有的时间序列中特征提取的方法, 将其总结为四大类, 它们分别是基于基本统计方法的特征提取、基于模型的特征提取、基于变换的特征提取、基于分形维数的特征提取. 针对每一类的特征提取方法, 进一步研究了它相应的分类方法和它在时间序列数据中的应用邻域. 关键词: 时序数据; 分类; 特征提取
Survey of Feature Extraction Approaches for Time Series Classification
LIN Zhu 1, XING Yan 2
1(Guangdong Computer Center, Guangzhou 510033, China)
2
(Guangdong University of Technology, Guangzhou 510006, China)
Abstract : The main contributions of this paper are: 1) The main feature extraction approaches are classified into four categories; 2) The main idea of each category is analyzed, the advantages and disadvantages are pointed out; 3) The guidelines of choosing suitable feature extraction approach is suggested. Key words : time series; classification; feature extraction
1 引言
时序数据(time series data)广泛存在于现实生活中,是指同一种现象在不同时间上的相继观察值排列而成的一组数字序列, 其时间轴上的采样值通常又被称为特征[1]. 时序数据普遍存在于许多重要应用邻域, 比如DNA 序列、金融数据、传感器网络监控数据、移动对像跟踪数据、机器故障检测数据等等. 由于时序数据与时间相关联, 因而其数据量一般都是非常庞大的, 这就对时序数据挖掘技术提出了更高的要求[2]. 在时序数据挖掘的研究与应用领域, 时序数据分类是重要任务之一[1,2]. 例如, 依据语音信号的波形识别出说话人的性别和年龄, 依据心电图的时序波形识别出病者所患的病症, 依据地震波的历史数据, 去识别地震的类型, 依据在机器运转过程中进行故障检测和识别故障类型, 甚至在客户关系管理中根据某段时间的客户
购买信息, 识别不同的消费群体等等.
衡量分类技术优劣的核心指标是分类准确率, 而提高分类准确率途径有两种: 一是改进分类器; 二是采用特征提取技术(feature extraction). 特征提取是在分类前对数据时间采样值上进行适量的归约, 以达到减少数据量同时提高分类准确率(底线是不牺牲分类准确率)的目的.
时间序列除了具有的趋势性、季节性、周期性等一般特征之外, 不同的时序数据又存在不同的个别特征. 如金融数据, 普遍具有“高峰厚尾”和“平方序列微弱而持续的自相关”的特点; 而地震波则具有强度随时序延伸而减弱的特点; 语音信号幅度具有一定的范围, 并以零幅和近零幅的概率高, 而且长时间的语音信号会有相当多的无信号区间, 即所谓的语音寂静区间; 心电信号则具有很强的周期性, 它的主要特征是
① 基金项目:广东省科技计划项目基金(2011B060500049, 2010B090400545, 2010A040300006)
收稿时间:2012-02-06;收到修改稿时间:2012-03-04
2012 年 第21卷 第 10 期 https://www.docsj.com/doc/ef11546073.html, 计 算 机 系 统 应 用
Special Issue 专论·综述225
低电压(0.8~1mV), 小电流(12uA), 重复频率低, 每个波段具有各自的频率. 针对时序数据的这些特征, 所选择的特征提取方法应该能提取出时间序列中具有较好分类能力特征, 进行特征提取后的特征矢量能够很好地代表原有的时间序列数据, 这样才能取得良好的分类效果.
本文对分类中常用的时序特征提取方法归纳和总结, 现阶段特征提取方法主要有四类, 分别是基于基本统计方法的特征提取, 基于模型的特征提取, 基于变换的特征提取以及基于分形理论的特征提取. 针对每一类特征提取方法, 本文总结了各自适用的应用领域, 并提及相应的分类方法.
2 特征提取方法综述
特征提取的方法有很多, 总结起来可以归为四大类: 基于基本统计方法的特征提取, 基于模型的特征提取, 基于变换的特征提取, 基于分形维数的特征提取. 通过这些特征提取后的特征矢量, 能够达到较好的分类效果.
2.1 基于基本统计方法的特征提取
基本统计方法的特征提取, 就是提取数据波形的均值, 方差, 极值, 波段, 功率谱, 过零点等统计特征来代表原有的时序数据作为特征矢量. 时域的常见基本统计征有均值, 方差, 极值, 过零点, 边界点[3], 波段的长短峰值等, 而频域的基本统计方法有功率谱, 功率密度比, 中值频率, 平均功率频率等. 在肌电信号(EMG)数据中, 常采用的时序统计特征为过零点数, 积分肌电值, 方差等, 而频域中则常采用EMG 功率谱的平均功率频率和中值频率[4]. ECG 中则常提取它的R －R 间隔均值、熵值、变化值、功率谱密度等, 而脑电信号(EEG)则常提取它的峰值, 熵值[5], 非线性能量等
[6]
, 或是提取QRS 波的峰值、波长等, QT 间隔, ST 间隔等统计特征[6,7].
基于统计特征提取后的特征矢量, 可采用线性判
别式构造分类器; 也可采用神经网络进行分类, 此时可达到较好效果[7,8]. 它适用于信号波形的统计特征比较明显的时间序列数据, 如EEG 信号、ECG 信号等医学数据.
2.2 基于模型的特征提取
基于模型的特征提取, 是指用模型去刻画时间序列数据, 然后提取模型的系数作为特征矢量去进行分
类. 对于平稳时间序列, 可用通用ARMA 模型(自回归滑动平均模型)及其特殊情况的自回归模型、滑动平均模型(MA)或组合-ARMA 模型等来进行拟合. 对于非平稳时间序列则要先将观测到的时间序列进行差分运算, 化为平稳时间序列, 再用适当模型去拟合这个差分序列. 当然, 不同的时序数据都会有比较适合它的模型去进行特征提取. 如对于ECG 数据, 通常采用AR 模型进行特征提取, 而相对应的MAR 模型则用于多通道的ECG 数据中[9-11]. AR 模型是一个线性的, 二阶矩平稳模型, 比较适合短数据分析, 不仅在ECG 数据中具有优势, 在肌电信号(EMG)中也是如此. Graupe 在研究用肌电信号进行动作识别时, 已证实了AR 模型比ARMA 模型更具优势. 近年来的研究也表明, 用AR 模型进行特征提取时, 识别率是非常之高[4]. 而对于金融时序数据, 常用的多元线性回归和ARMA 模型等都不再适合, 针对金融市场的价格波动聚集现象, 应采用ARCH 模型(自回归条件异方差族计量模型) [12]; 而采用SV AR(结构向量自回归)模型更加适合刻画金融数据中常出现的“高峰厚尾”和“弱自相关”现象[13].
选择合适的模型进行特征提取, 产生的模型系数作为特征矢量. 针对这类特征矢量, 往往采用简单的判别函数即可达到理想的分类效果. 最常用的当属二次判别函数(QDF)[9,10]. 有时也用到最大似然的判断规则进行分类[14]. 2.3 基于变换的特征提取
通过变换的手段, 使适合分类的特性突显出来, 也是经常用到的特征提取方法. 变换包括时频变换和线性变换. 时频变换中具有代表性的方法是快速傅立叶变换、短时傅立叶变换、倒谱系数等. 而线性变换, 主要有PCA 、ICA 、SVD 、线性判别式分析、要素分析、映射等等. 其中最有代表性的是PCA 和K －L 变换, 还有著名的小波变换、小波包技术. 2.3.1 基于时频变换的特征提取
时频变换是将信号从时域变换到频域的一种手段.时间序列数据在特征提取中常采用傅立叶变换、倒谱系数等时频变换方法.
傅里叶变换是将时域的信号变换成频域的信号,它是把时域的信号变换成由频率, 幅值和相位的正弦波的组合. 将时序数据进行傅立叶变换, 然后选择它的系数作为特征矢量, 若选择前面的系数, 则代表了信号的低频特性, 选择较大的系数, 则代表了信号
计 算 机 系 统 应 用 https://www.docsj.com/doc/ef11546073.html, 2012 年 第21卷 第 10 期
226 专论
·综述Special Issue 的能量特征[15]. 在心电信号QRS 波识别中用DFT 有效进行降维和提取特征, 然后用神经网络进行分类, 其敏感度可高达98％[16]. 在股市中应用傅立叶变换与反变换, 可以有效去除噪声和进行数据约简[17]; 亦可通过傅立叶变换求取功率谱, 来表征时序数据的统计特征[18].
为了减少傅立叶变换的运算量, 可运用快速傅立叶变换算法, 它利用DFT 系数的对称性, 周期性和可约性等性质将长序列的DFT 分解为若干个短序列的DFT 运算, 其中, 最常用的是FFT 的表达形式是按时间抽取的基2 FFT 算法, 然后提取频率系数作为特征矢量[16].
短时傅立叶变换(Short-Time Fourier Transform, STFT)建立在传统的傅立叶变换基础之上. 其基本思想是将信号s(t)用窗函数w(t)截断, 并让该窗函数沿着信号滑动, 于是分为一个个短时信号, 并对这些短时信号分别进行快速傅立叶变换进行频谱分析, 从而能更精确地观察出信号的频谱变化情况. 窗函数的长短选择决定了时频特征体现的强弱(窗较宽时频域性较强, 时域性较弱)[19].
特征提取还经常用到倒谱系数也作为信号的特征矢量. 倒谱分析又称为二次频谱分析, 它分为实倒频谱和复倒频谱. 其中实倒谱又为功率倒频谱, 它是先将时序信号进行离散傅立叶变换, 然后取自然对数, 再实行离散傅立叶反变换. 复倒谱是将时序信号通过 Z 变换以后取对数,再求反 Z 变换而得到的. 倒谱系数应用最广泛的领域是在语音信号中[20-23], 包含梅尔倒谱和线性预测倒谱, 其识别效果优于其它特征提取方法, 其中梅尔倒谱又要优于线性倒谱[24]. 针对倒谱提取出来的特征矢量, 语音信号常用HMM 模型进行分类识别.
2.3.2 基于线性变换的特征提取
线性变换中有很多特征提取方法颇为经典, 特别是PCA 和小波变换.
PCA 为主成分分析, 它与独立成分分析ICA, K －L 变换, 奇异值分解极为相似, 有殊途同归的效果, 在数据降维中都经常用到. 研究表明, 利用 PCA 变换可以在信息损失最小的前提下, 用较少的分量代替原来的高维数据, 达到降维的效果, 从而使得处理数据的时问和费用大大降低. 另一方面, 由于各主成分是相互垂直的, 所以增大了类间距, 减小了类内差异, 可提高分类精度[25,26]. 但PCA 不能解决非线性特征提取, 对于非线性数据, 提出了核主成分分析的观点. 它是通过一个非线性映射, 把输入数据映射到一个高维的特征空间, 在特征空间上进行线性主成分分析[27,28], 其优点是要求的数据量小, 并具有很好的抗噪能力[29].
应用PCA 或核主成分分析进行数据降维后, 往往会进一步进行特征提取, 使数据进一步压缩[30,31]. 特别是核主成分分析, 特征提取后的维数仍会很高, 应进一步找寻降维的方法. 用PCA 进行特征提取后的特征矢量, 常采用最近邻方法[32,33]、HMM 模型进行分类[33], 特别是采用神级网络[34,35], 可达到较高的分类准确率. 即使用最简单的BP 网络, 也有较满意的结果[36].
小波变换是将信号分解到不同尺度的线性变换.基于小波变换的特征提取有多种, 如提取模极大值特征, 能量特征, 熵特征, 以及适应性小波网络的特征提取等[37]. 如在ECG 信号的特征提取中, 最常用的是基于模极大值的特征提取它蕴含了原始信号的大部分重要信息, 可以将其尺度参数S, 平移参数T 及其幅值作为心电信号的特征量[38].
小波变换在所有的时序数据中都得到广泛应用,但对于不同的时序数据进行特征提取时, 应选择不同的小波基, 常用的小波基有: Haar 小波基, Daubechies 小波基系列, Coiflets 小波基系列, Symlets 小波基系列, Biorthogonal 小波基系列等等. 通常我们选择小波函数时应遵守两条原则: (1)对于复数信号应用复数母小波; (2)母小波的形状应与被分析的信号相类似. 在对心电信号进行模极大值特征提取时, 通常选择Mexican hat 小波函数[39], 这是因为它的形状与被分析信号相类似以及较好的时域分辨率. 而对于股市数据, 用具有良好的正交性和紧支撑性的Daubechies 小波系、Coiflets 小波系、Symlets 小波系会比其他小波系效果好[40]. 而地震波中, Dubieties 小波族中 的Db4是很适合进行岩石声信号处理[41]; 小波包技术不同于小波技术, 它将频率轴分成不同大小的区间, 这一特点特别适合地震波, 因为地震波强度随着传递频率明显衰减. 在地震波特征提取中运用小波包技术优于傅立叶变换[42]. 同时, 可以将小波系数和核函数方法相结合进行特征提取, 识别率高达100%[43].
对于小波技术提取出的特征矢量, 可以采用平面
2012 年 第21卷 第 10 期 https://www.docsj.com/doc/ef11546073.html, 计 算 机 系 统 应 用
Special Issue 专论·综述227
鉴别法, 距离分类器等, 但最常见的分类方法是神经网络和SVM, 并且都能取得较好的分类效果[44-46]. 2.4 基于分形理论的特征提取
分形是指具有: 无限精细、非常不规则、无穷自相似结构和非整数的点集. 在大自然中, 海岸线、雪花, 云雾这些不规则形体都属于分形, 即部分与整体有自相似性[47]. 分形学与混沌学息息相关, 成为非线性科学的两大重要组成部分, 分形理论真正发展只有十余年, 但应用于特征提取已越来越广泛, 特别是在时间序列中. 但分形理论进行特征提取时, 并不是所有信号都适合. 要看信号在某个尺度下是否具有可分形特征, 即不同状态下的分形维数是不同的, 这样才具有可分性. 如故障诊断中, 将信号分为N 个状态, 每个状态可提取一个分形维数作为特征参数, 把这个分维数与学习好的故障分类结果比较, 可判断是否有故障发生[48].
分形理论用于特征提取时, 主要是针对非线性信号, 是用它的定量分析指标分维数作来特征矢量. 分维数是指空间的扩展程度, 可以用分数来表示, 它的提出可定量很多有争议的数据, 比如一直测不准的英国海岸线[25]. 分维数有多种, 其中相似维数, 适用于严格相似的一小类集合豪斯道夫维数难于计算, 盒维数在稠密可列集上与集所在空间维数相等[47], 对于一维的时间序列, 关系维是最简单实用的方法[48]. 分形理论是研究非线性时序变量的有力武器, 可揭示出复杂系统下的旱、洪灾害时序变化的内在规律[49], 也可用于股票离群点的检测[50], 采用多重分形特征对金融管理或风险预测数据进行分类[51], 分维数用于心博分类时, 准确率可高达99.49％[52].
分形维数只得到一个数值作为特征矢量, 利用此特征矢量, 用贪婪算法, 或设定阀值即可进行分类, 当然, 它作为一个非线性参数, 也可以跟李雅谱诺指数, 小波技术提到的参数一起组成特征矢量进行分类[53]. 2.5 小结
上述四大类的特征提取方法在分类过程中都得到了广泛的应用. 但对于具体的应用领域, 应选择较为适合该领域数据的特征提取方法, 才能较好地提取该数据的特征. 而对于不同的特征提取方法进行提取后的特征矢量, 也有较为适合并常用的分类方法. 因此, 对于上述方法, 可以总结为表1所示:
表1 各类特征提取方法
3 结论与展望
综上所述, 这四大类的特征提取方法都广泛应用于时序数据, 而且各有千秋, 对于具体数据, 可以选择其中比较适合它的特征提取, 如股票时序, 往往采用模型的方法会比较能表征它的波动特征. 基于统计特征的方法最早得到发展, 也最为简单, 但在信号有强噪声的情况不是很适合, 而基于变换的方法, 无论是小波变换还是主成分分析, 在当今应用得最为广泛, 可以达到很好的分类效果. 而针对信号常常出现的非线性情况, 我们可以采用分形理论去解决, 提取信号的分形维数进行分类.
考虑到时序信号的复杂性, 可以采用多种特征提取方法的结合, 如求倒谱系数时可以结合到LPC
线性
计 算 机 系 统 应 用 https://www.docsj.com/doc/ef11546073.html, 2012 年 第21卷 第 10 期
228 专论
·综述Special Issue 预测方法, 而通常我们也会把小波技术跟分形理论结合. 多种方法的综合将会是未来研究特征提取的主要方向.
参考文献
1 陈晓云, 吴本昌, 韩海涛.基于多维时间序列数据挖掘的降雨天气模型研究. 计算机工程与设计,2010,4.
2 Mark AKHB. Last Data Mining In Time Series Databases, World Scientific,2004.
3 韦东兴,陈晓云,徐荣聪.基于角点检测的图像形状特征提取方法.计算机工程,2010,4.
4 加玉涛,罗志增.肌电信号特征提取方法综述.电子器件, 2007:326?330.
5 刘慧,谢洪波,卫星.基于模糊熵的脑电睡眠分期特征提取与分类.数据采集与处理,2010,25(4):484?489.
6 Greene BR, Boylan GB, Reilly RB. Connolly Combination of EEG and ECG for improved automatic neonatal seizure detection, Clin Neurophysiol 2007,118:1348?1359.
7 Gao GQ. Computerised detection and classification of f ive cardiac conditions,AUT University.
8 商卫波.心电信号自动分析与诊断处理方法研究.西安:西北工业大学,2005.
9 葛丁飞,邵宇权,蒋惠忠.基于双导联Ecg 和多变量回归模型的远程心电诊断算法研究.航天医学与医学工程,2004:355 ?359.
10 G .D.-F.H.B.-P.X. Xin-Jian. Study of feature extraction based
on autoregressive modeling in ECG automatic diagnosis. Acta Automatica Sinica, 2007,33(5).
11 葛丁飞,夏顺仁.Ar 模型在远程心电诊断中的应用.中国生物医学工程学报,2004:222?229.
12 钱争鸣.Arch 族计量模型在金融市场研究中的应用.厦门大学学报(哲学社会科学版),2000:126?129.
13 余素红,张世英.Sv 与Garch 模型对金融时间序列刻画能力的比较研究.系统工程,2002:28?33.
14 Kalantzis T, Papanastassiou D. Classification of G ARCH time series: an empirical investigation. Applied Financial Economics, 2008,18:759?764.
15 Mrchen F. Time series feature extraction for data mining using DWT and DFT, 2003.
16 Valenza G , Lanata A, Ferro M, Scilingo EP. Real-time
discrimination of multiple cardiac arrhythmias for wearable
systems based on neural networks. Computers in Cardiology, 2008.1053?1056.
17 郭躬德,王晖.DavidBell 时间序列数据分析与预处理.小
型微型计算机系统,2003:2228?2232.
18 江近仁,孙景江.以反应谱和功率谱密度函数表征的强震运动的统计特性.中国地震,1994:327?340.
19 Amini AM. Qualitative features extraction from sensor data using Short-Time Fourier Transform, Visual Information Pr- ocessing XIV 5817(2005)289?295.
20 Holmberg M, Gelbart D, Hemmert W. Automatic speech
recognition with an adaptation model motivated by auditory processing, Audio, Speech, and Language Processing. IEEE Trans. on, 2006,14:43?49.
21 Xu H, Tan ZH, Dalsgaard P, Lindberg B. Exploitation of spectral variance to improve robustness in speech recogni- tion. Electronics Letters, 2006,42:312?314.
22 F.H.a.H. Ney Noise Level Normalization and Reference Adaptation for Robust Speech Recognition. International Workshop on A utomatic Speech Recognition: Challenges for the New Millennium. 2000.
23 Hilger F, Ney H. Quantile based histogram equalization for noise robust large vocabulary speech recognition, Audio, Speech, and Language Processing. IEEE Trans. on, 2006,14: 845?854.
24 高瑞华.多种预处理方法在语音检测中应用效果的比较研究.控制理论与控制工程[硕士学位论文].浙江工业大学, 2004.64.
25 J.R.G . Townshend,C.O.Justice and V . Kalb Characterization and Classification of South American Land Cover Types Using Satellite Data. International Journal of Remote Sensing, 1987,8:1189?1207.
26 邢玉娟,谭萍,李明.一种新的说话人识别序列特征提取方法.兰州理工大学学报,2009,35(4):98?102.
27 Scholkopf SAB, Muller KR. Nonlinear component analysis as a kernel eigenvalue problem. Neural Computaion.
28 杨绍华.一种基于核主成分分析的人脸识别方法.河北科技师范学院学报,2008:45?48,62.
29 周小程,马向玲,范洪达,庞文强.基于核函数分类的多维时
序特征选择方法应用.电光与控制,2010,17(7):74?77. 30 侯振雨,蔡文生,邵学广.主成分分析-支持向量回归建模方法及应用研究.分析化学,2006:617?620.
2012 年 第21卷 第 10 期 https://www.docsj.com/doc/ef11546073.html,
计 算 机 系 统 应 用
Special Issue 专论·综述229
31 楼蒋.Method of F eature Extraction Suitable for H yperdi-
mensional Time Series Data.浙江科技学院学报,2007, 19(2).
32 胡利平,刘宏伟,吴顺君.基于两级2dpca 的Sar 目标特征提取与识别.电子与信息学报,2008:1722?1726.
33 李志农,曾明如,韩捷,何永勇.主分量分析和因子隐Markov 模型在机械故障诊断中的应用.机械强度,2007: 25?29.
34 朱帮助.基于特征提取的选择性神经网络集成方法.计算
机科学,2008:132?133,172.
35 刘爱霞,刘正军,王静.基于Pca 变换和神经元网络分类方法的中国森林制图研究.长江流域资源与环境,2006:19? 24.
36 王海燕,刘鲁,刘玲.基于Gra 和pca 的Bp 神经网络应用研究.管理评论,2007:50?54.
37 张静远,张冰.基于小波变换的特征提取方法分析.信号处理,2000:156?162,155.
38 马陈,马国亮.心电图的小波变换特征提取.中国科技信息,
2006(1A).
39 Andreao RV , Dorizzi B, Boudy J. ECG signal analysis through hidden Markov models. IEEE Trans. on Biomedical Engineering, 2006,53:1541?1549.
40 胡博,卫宏儒,廖福成.小波变换在股票分析中的应用.系统
管理学报,2007:365?369.
41 金解放,赵奎,王晓军,赵康.岩石声发射信号处理小波基选择的研究.矿业研究与开发,2007:12?15.
42 朱江梅,吴兴方.小波包变换压缩与地震数据处理.中国海
上油气(工程),2006:169?173.
43 田喜英.主元分析和非线性方法在表面肌电信号中的应用
研究[硕士学位论文].上海交通大学.2009.
44 Gupta AMR, Singh K. A Time-Series-Based Feature Extraction Approach for Prediction of Protein Structural Class, EURASIP. Journal on Bioinformatics and Systems Biology ,2008.
45 Palancz B, Benyo B. Classification of time series via wavelet subband analysis using support vector machine classifier. Periodica Polytechnica Electrical Engineering 50, 2006: 129?140.
46 郑继明,邢峰,吴渝,李婧.基于小波变换和支持向量机的音频分类.重庆邮电大学学报(自然科学版),2008: 212?216. 47 王春.基于小波和分形理论的齿轮故障特征提取及噪声的和谐化研究.机械工程,重庆大学,2006,4(1):1?145. 48 王庆华,张兴彪,张洪朋,孙玉清.分形理论在液压泵故障诊
断中的应用.大连海事大学学报自然科学版,2004:40?43. 49 蔡爱民,查良松.基于分形理论的安徽省旱、洪涝灾害时序特征分析.安徽农业大学学报,2005:546?550.
50 孙金花,冯英浚,胡健.基于分形理论的股票时序数据离群模式挖掘研究.运筹与管理,2008:135?140.
51 关腾,许娜.金融时间序列的多重分形分类.郑州大学学报
(理学版),2008,4.
52 Raghav S, Mishra AK. Fractal feature based ECG arrh- ythmia classification. IEEE, Piscataway, NJ, USA, 2008. 5. 53 钟维年,高清维,陈燕玲.基于小波和多重分形的金融时间序列聚类.系統工程,2009:58?61.
数据挖掘中适用于分类的时序数据特征提取方法
作者：林珠， 邢延
作者单位：林珠(广东省计算中心, 广州 510033)， 邢延(广东工业大学 自动化学院, 广州 510006)
刊名：
计算机系统应用
英文刊名：Computer Systems & Applications
年，卷(期)：2012(10)
参考文献(53条)
1.陈晓云;吴本昌;韩海涛基于多维时间序列数据挖掘的降雨天气模型研究[期刊论文]-计算机工程与设计 2010(04)
2.Mark AKHB Last Data Mining In Time Series Databases 2004
3.韦东兴;陈晓云;徐荣聪基于角点检测的图像形状特征提取方法[期刊论文]-计算机工程 2010(04)
4.加玉涛;罗志增肌电信号特征提取方法综述[期刊论文]-电子器件 2007(1)
5.刘慧;谢洪波;卫星基于模糊熵的脑电睡眠分期特征提取与分类[期刊论文]-数据采集与处理 2010(04)
6.Greene BK;Boylan GB;Reilly RB Connolly Combination of EEG and ECG for improved automatic neonatal seizure detection 2007
7.Gao GQ Computerised detection and classification of five cardiac conditions
8.商卫波心电信号自动分析与诊断处理方法研究[学位论文] 2005
9.葛丁飞;邵宇权;蒋惠忠基于双导联Ecg和多变量回归模型的远程心电诊断算法研究[期刊论文]-航天医学与医学工程 2004(5)
10.GD.-F.H.B.-P.X;Xin-Jian Study of feature extraction based on autoregressive modeling in ECG automatic diagnosis[期刊论文]-Acta Automatica Sinica 2007(05)
11.葛丁飞;夏顺仁Ar模型在远程心电诊断中的应用[期刊论文]-中国生物医学工程学报 2004(3)
12.钱争鸣Arch族计量模型在金融市场研究中的应用[期刊论文]-厦门大学学报(哲学社会科学版) 2000(3)
13.余素红;张世英Sv与Garch模型对金融时间序列刻画能力的比较研究[期刊论文]-系统工程 2002(5)
14.Kalantzis T;Papanastassiou D Classification of GARCH time series:an empirical investigation 2008
15.MrchenF Tune series feature extraction for data mining using DWT and DFT 2003
16.Valenza G;Lanata A;Ferro M;Scilingo EP Real-time discrimination of multiple cardiac arrhythmias for wearable systems based on neural networks 2008
17.郭躬德;王晖DavidBell时间序列数据分析与预处理 2003
18.江近仁;孙景江以反应谱和功率谱密度函数表征的强震运动的统计特性 1994
19.Amini AM Qualitative features extraction from sensor data using Short-Time Fourier Transform 2005
20.Holmberg M;Gelbart D;Hemmert W Automatic speech recognition with an adaptation model motivated by auditory processing 2006
21.Xu H;Tan ZH;Dalsgaard P;Lindberg B Exploitation of spectral variance to improve robustness in speech recognition[外文期刊] 2006(5)
22.F.H.a.H Ney Noise Level Normalization and Reference Adaptation for Robust Speech Recognition 2000
23.Hilger F;Ney H Quantile based histogram equalization for noise robust large vocabulary speech recognition 2006
24.高瑞华多种预处理方法在语音检测中应用效果的比较研究[学位论文] 2004
25.J.R.G Townshend;C.O.Justice;V.Kalb Characterization and Classification of South American Land Cover Types Using Satellite Data 1987
26.邢玉娟;谭萍;李明一种新的说话人识别序列特征提取方法[期刊论文]-兰州理工大学学报 2009(04)
27.Scholkopf SAB;Muller KR Nonlinear component analysis as a kernel eigenvalue problem
28.杨绍华一种基于核主成分分析的人脸识别方法[期刊论文]-河北科技师范学院学报 2008(3)
29.周小程;马向玲;范洪达;庞文强基于核函数分类的多维时序特征选择方法应用[期刊论文]-电光与控制 2010(07)
30.侯振雨;蔡文生;邵学广主成分分析-支持向量回归建模方法及应用研究[期刊论文]-分析化学 2006(5)
31.楼蒋Method of Feature Extraction Suitable for Hyperdimensional Time Series Data[期刊论文]-浙江科技学院学报 2007(02)
32.胡利平;刘宏伟;吴顺君基于两级2dpca的Sar目标特征提取与识别[期刊论文]-电子与信息学报 2008(7)
33.李志农;曾明如;韩捷;何永勇主分量分析和因子隐Markov模型在机械故障诊断中的应用[期刊论文]-机械强度 2007(1)
34.朱帮助基于特征提取的选择性神经网络集成方法[期刊论文]-计算机科学 2008(3)
35.刘爱霞;刘正军;王静基于Pca变换和神经元网络分类方法的中国森林制图研究[期刊论文]-长江流域资源与环境 2006(1)
36.王海燕;刘鲁;刘玲基于Gra和pca的Bp神经网络应用研究[期刊论文]-管理评论 2007(10)
37.张静远;张冰基于小波变换的特征提取方法分析[期刊论文]-信号处理 2000(2)
38.马陈;马国亮心电图的小波变换特征提取 2006(1A)
39.Andreao RV;Dorizzi B;Boudy J ECG signal analysis through hidden Markov models 2006
40.胡博;卫宏儒;廖福成小波变换在股票分析中的应用[期刊论文]-系统管理学报 2007(4)
41.金解放;赵奎;王晓军;赵康岩石声发射信号处理小波基选择的研究[期刊论文]-矿业研究与开发 2007(2)
42.朱江梅;吴兴方小波包变换压缩与地震数据处理 2006
43.田喜英主元分析和非线性方法在表面肌电信号中的应用研究[学位论文] 2009
44.Gupta AMR;Singh K A Time-Series-Based Feature Extraction Approach for Prediction of Protein Structural Class 2008
45.Palancz B;Benyo B Classification of time series via wavelet subband analysis using support vector machine classifier 2006
46.郑继明;邢峰;吴渝;李婧基于小波变换和支持向量机的音频分类[期刊论文]-重庆邮电大学学报（自然科学版） 2008(2)
47.王春基于小波和分形理论的齿轮故障特征提取及噪声的和谐化研究 2006(01)
48.王庆华;张兴彪;张洪朋;孙玉清分形理论在液压泵故障诊断中的应用 2004
49.蔡爱民;查良松基于分形理论的安徽省旱、洪涝灾害时序特征分析 2005
50.孙金花;冯英浚;胡健基于分形理论的股票时序数据离群模式挖掘研究[期刊论文]-运筹与管理 2008(5)
51.关腾;许娜金融时间序列的多重分形分类[期刊论文]-郑州大学学报（理学版） 2008(04)
52.Raghav S;Mishra AK Fractal feature based ECG arrhythmia classification 2008
53.钟维年;高清维;陈燕玲基于小波和多重分形的金融时间序列聚类 2009
引用本文格式：林珠.邢延数据挖掘中适用于分类的时序数据特征提取方法[期刊论文]-计算机系统应用 2012(10)
数据挖掘试卷一
数据挖掘整理（熊熊整理-----献给梦中的天涯） 单选题 1．下面哪种分类方法是属于神经网络学习算法？（） A. 判定树归纳 B. 贝叶斯分类 C. 后向传播分类 D. 基于案例的推理 2．置信度(confidence)是衡量兴趣度度量（ A ）的指标。 A、简洁性 B、确定性 C.、实用性 D、新颖性 3．用户有一种感兴趣的模式并且希望在数据集中找到相似的模式，属于数据挖掘哪一类任务？(A) A. 根据内容检索 B. 建模描述 C. 预测建模 D. 寻找模式和规则 4．数据归约的目的是（） A、填补数据种的空缺值 B、集成多个数据源的数据 C、得到数据集的压缩表示 D、规范化数据 5．下面哪种数据预处理技术可以用来平滑数据，消除数据噪声？ A.数据清理 B.数据集成 C.数据变换 D.数据归约 6．假设12个销售价格记录组已经排序如下：5, 10, 11, 13, 15, 35, 50, 55, 72, 92, 204, 215 使用如下每种方法将它们划分成四个箱。等频（等深）划分时，15在第几个箱子内？(B) A 第一个 B 第二个 C 第三个 D 第四个 7．下面的数据操作中，（）操作不是多维数据模型上的OLAP操作。 A、上卷(roll-up) B、选择(select) C、切片(slice) D、转轴(pivot) 8．关于OLAP和OLTP的区别描述,不正确的是: (C) A. OLAP主要是关于如何理解聚集的大量不同的数据.它与OTAP应用程序不同. B. 与OLAP应用程序不同,OLTP应用程序包含大量相对简单的事务. C. OLAP的特点在于事务量大,但事务内容比较简单且重复率高. D. OLAP是以数据仓库为基础的,但其最终数据来源与OLTP一样均来自底层的数据库系统,两者面对的用户是相同的 9．下列哪个描述是正确的？（） A、分类和聚类都是有指导的学习 B、分类和聚类都是无指导的学习
数据挖掘分类算法比较
数据挖掘分类算法比较 分类是数据挖掘、机器学习和模式识别中一个重要的研究领域。通过对当前数据挖掘中具有代表性的优秀分类算法进行分析和比较，总结出了各种算法的特性，为使用者选择算法或研究者改进算法提供了依据。 一、决策树（Decision Trees） 决策树的优点： 1、决策树易于理解和解释.人们在通过解释后都有能力去理解决策树所表达的意义。 2、对于决策树，数据的准备往往是简单或者是不必要的.其他的技术往往要求先把数据一般化，比如去掉多余的或者空白的属性。 3、能够同时处理数据型和常规型属性。其他的技术往往要求数据属性的单一。 4、决策树是一个白盒模型。如果给定一个观察的模型，那么根据所产生的决策树很容易推出相应的逻辑表达式。 5、易于通过静态测试来对模型进行评测。表示有可能测量该模型的可信度。 6、在相对短的时间内能够对大型数据源做出可行且效果良好的结果。 7、可以对有许多属性的数据集构造决策树。 8、决策树可很好地扩展到大型数据库中，同时它的大小独立于数据库的大小。 决策树的缺点： 1、对于那些各类别样本数量不一致的数据，在决策树当中,信息增益的结果偏向于那些具有更多数值的特征。 2、决策树处理缺失数据时的困难。 3、过度拟合问题的出现。 4、忽略数据集中属性之间的相关性。 二、人工神经网络 人工神经网络的优点：分类的准确度高,并行分布处理能力强,分布存储及学习能力强，对噪声神经有较强的鲁棒性和容错能力，能充分逼近复杂的非线性关系，具备联想记忆的功能等。 人工神经网络的缺点：神经网络需要大量的参数，如网络拓扑结构、权值和阈值的初始值；不能观察之间的学习过程，输出结果难以解释，会影响到结果的可信度和可接受程度；学习时间过长,甚至可能达不到学习的目的。
数据挖掘中分类技术应用
分类技术在很多领域都有应用，例如可以通过客户分类构造一个分类模型来对银行贷款进行风险评估；当前的市场营销中很重要的一个特点是强调客户细分。客户类别分析的功能也在于此，采用数据挖掘中的分类技术，可以将客户分成不同的类别，比如呼叫中心设计时可以分为：呼叫频繁的客户、偶然大量呼叫的客户、稳定呼叫的客户、其他，帮助呼叫中心寻找出这些不同种类客户之间的特征，这样的分类模型可以让用户了解不同行为类别客户的分布特征；其他分类应用如文献检索和搜索引擎中的自动文本分类技术；安全领域有基于分类技术的入侵检测等等。机器学习、专家系统、统计学和神经网络等领域的研究人员已经提出了许多具体的分类预测方法。下面对分类流程作个简要描述： 训练：训练集——>特征选取——>训练——>分类器 分类：新样本——>特征选取——>分类——>判决 最初的数据挖掘分类应用大多都是在这些方法及基于内存基础上所构造的算法。目前数据挖掘方法都要求具有基于外存以处理大规模数据集合能力且具有可扩展能力。 神经网络 神经网络是解决分类问题的一种行之有效的方法。神经网络是一组连接输入/输出单元的系统，每个连接都与一个权值相对应，在将简单的单元连接成较复杂的系统后，通过并行运算实现其功能，其中系统的知识存储于网络结构和各单元之间的连接权中。在学习阶段，通过调整神经网络的权值，达到对输入样本的正确分类。神经网络有对噪声数据的高承受能力和对未经训练数据的模式分类能力。神经网
络概括性强、分类精度高，可以实现有监督和无监督的分类任务，所以神经网络在分类中应用非常广泛。 在结构上，可以把一个神经网络划分为输入层、输出层和隐含层（见图4）。网络的每一个输入节点对应样本一个特征，而输出层节点数可以等于类别数，也可以只有一个，（输入层的每个节点对应一个个的预测变量。输出层的节点对应目标变量，可有多个）。在输入层和输出层之间是隐含层（对神经网络使用者来说不可见），隐含层的层数和每层节点的个数决定了神经网络的复杂度。 除了输入层的节点，神经网络的每个节点都与很多它前面的节点（称为此节点的输入节点）连接在一起，每个连接对应一个权重Wxy，此节点的值就是通过它所有输入节点的值与对应连接权重乘积的和作为一个函数的输入而得到，我们把这个函数称为活动函数或挤压函数。如图5中节点4输出到节点6的值可通过如下计算得到：
全面解析数据挖掘的分类及各种分析方法
全面解析数据挖掘的分类及各种分析方法 1.数据挖掘能做以下六种不同事情（分析方法）： ?分类（Classification） ?估值（Estimation） ?预言（Prediction） ?相关性分组或关联规则（Affinitygroupingorassociationrules） ?聚集（Clustering） ?描述和可视化（DescriptionandVisualization） ?复杂数据类型挖掘(Text,Web,图形图像，视频，音频等) 2.数据挖掘分类 以上六种数据挖掘的分析方法可以分为两类：直接数据挖掘；间接数据挖掘?直接数据挖掘 目标是利用可用的数据建立一个模型，这个模型对剩余的数据，对一个特定的变量（可以理解成数据库中表的属性，即列）进行描述。 ?间接数据挖掘 目标中没有选出某一具体的变量，用模型进行描述；而是在所有的变量中建立起某种关系。 ?分类、估值、预言属于直接数据挖掘；后三种属于间接数据挖掘 3.各种分析方法的简介 ?分类（Classification） 首先从数据中选出已经分好类的训练集，在该训练集上运用数据挖掘分类的技术，建立分类模型，对于没有分类的数据进行分类。 例子： a.信用卡申请者，分类为低、中、高风险 b.分配客户到预先定义的客户分片 注意：类的个数是确定的，预先定义好的 ?估值（Estimation） 估值与分类类似，不同之处在于，分类描述的是离散型变量的输出，而估值处理连续值的输出；分类的类别是确定数目的，估值的量是不确定的。 例子： a.根据购买模式，估计一个家庭的孩子个数 b.根据购买模式，估计一个家庭的收入 c.估计realestate的价值
数据挖掘常用的方法
数据挖掘常用的方法 在大数据时代，数据挖掘是最关键的工作。大数据的挖掘是从海量、不完全的、有噪 声的、模糊的、随机的大型数据库中发现隐含在其中有价值的、潜在有用的信息和知 识的过程，也是一种决策支持过程。其主要基于人工智能，机器学习，模式学习，统 计学等。通过对大数据高度自动化地分析，做出归纳性的推理，从中挖掘出潜在的模式，可以帮助企业、商家、用户调整市场政策、减少风险、理性面对市场，并做出正 确的决策。目前，在很多领域尤其是在商业领域如银行、电信、电商等，数据挖掘可 以解决很多问题，包括市场营销策略制定、背景分析、企业管理危机等。大数据的挖 掘常用的方法有分类、回归分析、聚类、关联规则、神经网络方法、Web 数据挖掘等。这些方法从不同的角度对数据进行挖掘。 (1)分类。分类是找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到摸个给定的类别中。 可以应用到涉及到应用分类、趋势预测中，如淘宝商铺将用户在一段时间内的购买情 况划分成不同的类，根据情况向用户推荐关联类的商品，从而增加商铺的销售量。 (2)回归分析。回归分析反映了数据库中数据的属性值的特性，通过函数表达数据映射的关系来发现属性值之间的依赖关系。它可以应用到对数据序列的预测及相关关系的 研究中去。在市场营销中，回归分析可以被应用到各个方面。如通过对本季度销售的 回归分析，对下一季度的销售趋势作出预测并做出针对性的营销改变。 (3)聚类。聚类类似于分类，但与分类的目的不同，是针对数据的相似性和差异性将一组数据分为几个类别。属于同一类别的数据间的相似性很大，但不同类别之间数据的 相似性很小，跨类的数据关联性很低。 (4)关联规则。关联规则是隐藏在数据项之间的关联或相互关系，即可以根据一个数据项的出现推导出其他数据项的出现。关联规则的挖掘过程主要包括两个阶段：第一阶 段为从海量原始数据中找出所有的高频项目组;第二极端为从这些高频项目组产生关联规则。关联规则挖掘技术已经被广泛应用于金融行业企业中用以预测客户的需求，各 银行在自己的ATM 机上通过捆绑客户可能感兴趣的信息供用户了解并获取相应信息来改善自身的营销。 (5)神经网络方法。神经网络作为一种先进的人工智能技术，因其自身自行处理、分布存储和高度容错等特性非常适合处理非线性的以及那些以模糊、不完整、不严密的知 识或数据为特征的处理问题，它的这一特点十分适合解决数据挖掘的问题。典型的神 经网络模型主要分为三大类：第一类是以用于分类预测和模式识别的前馈式神经网络 模型，其主要代表为函数型网络、感知机;第二类是用于联想记忆和优化算法的反馈式神经网络模型，以Hopfield 的离散模型和连续模型为代表。第三类是用于聚类的自组
数据挖掘—分类树方法
第三讲 分类与回归树 如果一个人必须去选择在很大范围的情形下性能都好的、同时不需要应用开发者付出很多的努力并且易于被终端用户理解的分类技术的话，那么Brieman, Friedman, Olshen 和Stone （1984）提出的分类树方法是一个强有力的竞争者。我们将首先讨论这个分类的过程，然后在后续的节中我们将展示这个过程是如何被用来预测连续的因变量。Brieman 等人用来实现这些过程的程序被称为分类和回归树（CART ）方法。 分类树 在分类树下面有两个关键的思想。第一个是关于递归地划分自变量空间的想法；第二个想法是用验证数据进行剪枝。 递归划分 让我们用变量表示因变量（分类变量），用表示自变量。通过递归的方式把关于变量y p x x x ,...,,21x 的维空间划分为不重叠的矩形。这个划分是以递归方式完成的。首先，一个自变量被选择，比如和的一个值，比方说选择把维空间为两部分：一部分是维的超矩形，其中包含的点都满足p i x i x i s i s p ?p i i s x ≤，另一个?p 维超矩形包含所有的点满足。接着，这两部分中的一个部分通过选择一个变量和该变量的划分值以相似的方式被划分。这导致了三个矩形区域（从这里往后我们把超矩形都说成矩形）。随着这个过程的持续，我们得到的矩形越来越小。这个想法是把整个i i s x >x 空间划分为矩形，其中的每个小矩形都尽可能是同构的或“纯”的。“纯”的意思是（矩形）所包含的点都属于同一类。我们认为包含的点都只属于一个类（当然，这不总是可能的，因为经常存在一些属于不同类的点，但这些点的自变量有完全相同的值）。让我们例示递归划分的过程。 例1（Johnson 和Wichern ） 乘式割草机制造商意欲发现一个把城市中的家庭分成那些愿意购买乘式割草机和不愿意购买的两类的方法。在这个城市的家庭中随机抽取12个拥有者和12个非拥有者的家庭作为样本。这些数据如表1所示。这里的自变量是收入（）和草地面积（）。类别变量有两个类别：拥有者和非拥有者。 1x 2x y 表1 观测点序号 收入（千美元） 草地面积（千平方尺） 拥有者＝1，非拥有者＝21 60 18.4 1 2 85.5 16.8 1 3 64.8 21.6 1 4 61. 5 20.8 1 5 87 23.6 1
数据挖掘分类实验详细报告概论
《数据挖掘分类实验报告》 信息安全科学与工程学院 1120362066 尹雪蓉数据挖掘分类过程 （1）数据分析介绍 本次实验为典型的分类实验，为了便于说明问题，弄清数据挖掘具体流程，我们小组选择了最经典的决策树算法进行具体挖掘实验。 （2）数据准备与预处理 在进行数据挖掘之前，我们首先要对需要挖掘的样本数据进行预处理，预处理包括以下步骤： 1、数据准备，格式统一。将样本转化为等维的数据特征（特征提取），让所有的样 本具有相同数量的特征，同时兼顾特征的全面性和独立性 2、选择与类别相关的特征（特征选择） 3、建立数据训练集和测试集 4、对数据集进行数据清理 在本次实验中，我们选择了ILPD (Indian Liver Patient Dataset) 这个数据集，该数据集已经具有等维的数据特征，主要包括Age、Gender、TB、DB、Alkphos、Sgpt、Sgot、TP、ALB、A/G、classical，一共11个维度的数据特征，其中与分类类别相关的特征为classical，它的类别有1,2两个值。 详见下表： 本实验的主要思路是将该数据集分成训练集和测试集，对训练集进行训练生成模型，然后再根据模型对测试集进行预测。 数据集处理实验详细过程：
●CSV数据源处理 由于下载的原始数据集文件Indian Liver Patient Dataset (ILPD).csv（见下图）中间并不包含属性项，这不利于之后分类的实验操作，所以要对该文件进行处理，使用Notepad文件，手动将属性行添加到文件首行即可。 ●平台数据集格式转换 在后面数据挖掘的实验过程中，我们需要借助开源数据挖掘平台工具软件weka，该平台使用的数据集格式为arff，因此为了便于实验，在这里我们要对csv文件进行格式转换，转换工具为weka自带工具。转换过程为： 1、打开weka平台，点击”Simple CLI“，进入weka命令行界面，如下图所示： 2、输入命令将csv文件导成arff文件，如下图所示: 3、得到arff文件如下图所示： 内容如下：
数据挖掘主要算法
朴素贝叶斯： 有以下几个地方需要注意： 1. 如果给出的特征向量长度可能不同，这是需要归一化为通长度的向量（这里以文本分类为例），比如说是句子单词的话，则长度为整个词汇量的长度，对应位置是该单词出现的次数。 2. 计算公式如下： 其中一项条件概率可以通过朴素贝叶斯条件独立展开。要注意一点就是的计算方法，而由朴素贝叶斯的前提假设可知， = ，因此一般有两种，一种是在类别为ci的那些样本集中，找到wj出现次数的总和，然后除以该样本的总和；第二种方法是类别为ci的那些样本集中，找到wj出现次数的总和，然后除以该样本中所有特征出现次数的总和。 3. 如果中的某一项为0，则其联合概率的乘积也可能为0，即2中公式的分子为0，为了避免这种现象出现，一般情况下会将这一项初始化为1，当然为了保证概率相等，分母应对应初始化为2（这里因为是2类，所以加2，如果是k类就需要加k，术语上叫做laplace 光滑, 分母加k的原因是使之满足全概率公式）。 朴素贝叶斯的优点： 对小规模的数据表现很好，适合多分类任务，适合增量式训练。 缺点： 对输入数据的表达形式很敏感。 决策树： 决策树中很重要的一点就是选择一个属性进行分枝，因此要注意一下信息增益的计算公式，并深入理解它。 信息熵的计算公式如下:
其中的n代表有n个分类类别（比如假设是2类问题，那么n=2）。分别计算这2类样本在总样本中出现的概率p1和p2，这样就可以计算出未选中属性分枝前的信息熵。 现在选中一个属性xi用来进行分枝，此时分枝规则是：如果xi=vx的话，将样本分到树的一个分支；如果不相等则进入另一个分支。很显然，分支中的样本很有可能包括2个类别，分别计算这2个分支的熵H1和H2,计算出分枝后的总信息熵H’=p1*H1+p2*H2.，则此时的信息增益ΔH=H-H’。以信息增益为原则，把所有的属性都测试一边，选择一个使增益最大的属性作为本次分枝属性。 决策树的优点： 计算量简单，可解释性强，比较适合处理有缺失属性值的样本，能够处理不相关的特征； 缺点： 容易过拟合（后续出现了随机森林，减小了过拟合现象）； Logistic回归： Logistic是用来分类的，是一种线性分类器，需要注意的地方有： 1. logistic函数表达式为： 其导数形式为： 2. logsitc回归方法主要是用最大似然估计来学习的，所以单个样本的后验概率为： 到整个样本的后验概率：
数据挖掘算法摘要
国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART. 不仅仅是选中的十大算法，其实参加评选的18种算法，实际上随便拿出一种来都可以称得上是经典算法，它们在数据挖掘领域都产生了极为深远的影响。 1. C4.5 C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法. C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进： 1) 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足； 2) 在树构造过程中进行剪枝； 3) 能够完成对连续属性的离散化处理； 4) 能够对不完整数据进行处理。 C4.5算法有如下优点：产生的分类规则易于理解，准确率较高。其缺点是：在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。 2. The k-means algorithm 即K-Means算法 k-means algorithm算法是一个聚类算法，把n的对象根据他们的属性分为k个分割，k < n。它与处理混合正态分布的最大期望算法很相似，因为他们都试图找到数据中自然聚类的中心。它假设对象属性来自于空间向量，并且目标是使各个群组内部的均方误差总和最小。 3. Support vector machines 支持向量机，英文为Support Vector Machine，简称SV机（论文中一般简称SVM）。它是一种監督式學習的方法，它广泛的应用于统计分类以及回归分析中。支持向量机将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。在分开数据的超平面的两边建有两个互相平行的超平面。分隔超平面使两个平行超平面的距离最大化。假定平行超平面间的距离或差距越大，分类器的总误差越小。一个极好的指南是C.J.C Burges的《模式识别支持向量机指南》。van der Walt 和 Barnard 将支持向量机和其他分类器进行了
数据挖掘weka数据分类实验报告
一、实验目的 使用数据挖掘中的分类算法，对数据集进行分类训练并测试。应用不同的分类算法，比较他们之间的不同。与此同时了解Weka平台的基本功能与使用方法。 二、实验环境 实验采用Weka 平台，数据使用Weka安装目录下data文件夹下的默认数据集。 Weka是怀卡托智能分析系统的缩写，该系统由新西兰怀卡托大学开发。Weka使用Java 写成的，并且限制在GNU通用公共证书的条件下发布。它可以运行于几乎所有操作平台，是一款免费的，非商业化的机器学习以及数据挖掘软件。Weka提供了一个统一界面，可结合预处理以及后处理方法，将许多不同的学习算法应用于任何所给的数据集，并评估由不同的学习方案所得出的结果。 三、数据预处理 Weka平台支持ARFF格式和CSV格式的数据。由于本次使用平台自带的ARFF格式数据，所以不存在格式转换的过程。实验所用的ARFF格式数据集如图1所示 图1 ARFF格式数据集 对于iris数据集，它包含了150个实例（每个分类包含50个实例），共有sepal length、
sepal width、petal length、petal width和class五种属性。期中前四种属性为数值类型，class属性为分类属性，表示实例所对应的的类别。该数据集中的全部实例共可分为三类：Iris Setosa、Iris Versicolour和Iris Virginica。 实验数据集中所有的数据都是实验所需的，因此不存在属性筛选的问题。若所采用的数据集中存在大量的与实验无关的属性，则需要使用weka平台的Filter(过滤器)实现属性的筛选。 实验所需的训练集和测试集均为。 四、实验过程及结果 应用iris数据集，分别采用LibSVM、决策树分类器和朴素贝叶斯分类器进行测试和评价，分别在训练数据上训练出分类模型，找出各个模型最优的参数值，并对三个模型进行全面评价比较，得到一个最好的分类模型以及该模型所有设置的最优参数。最后使用这些参数以及训练集和校验集数据一起构造出一个最优分类器，并利用该分类器对测试数据进行预测。 1、LibSVM分类 Weka 平台内部没有集成libSVM分类器，要使用该分类器，需要下载并导入到Weka中。 用“Explorer”打开数据集“”，并在Explorer中将功能面板切换到“Classify”。点“Choose”按钮选择“functions，选择LibSVM分类算法。 在Test Options 面板中选择Cross-Validatioin folds=10，即十折交叉验证。然后点击“start”按钮：
数据挖掘中客户的特征化及其划分(一)
数据挖掘中客户的特征化及其划分(一) 摘要]良好客户关系已成为电子商务时代制胜的关键。在激烈的市场竞争中，客户关系管理逐渐成为企业关注的焦点。深入研究客户和潜在客户是在市场中保持竞争力的关键。本文通过对客户行为的特征化分析，以数据挖掘为分析工具，对客户关系管理进行了讨论，给出了相应的划分方法，使用这些划分方法，对客户进行分析是有意义的。 关键词]客户关系管理数据挖掘聚类分析 一、引言 在激烈的市场竞争中，客户关系管理(CustomerRelationshipManagement)逐渐成为各企业关注的焦点。一个成熟的CRM系统要能够有效地获取客户的各种信息，识别客户与企业间的关系及所有交互操作，寻找其中的规律，为客户提供个性化的服务，为企业决策提供支持。 在企业与客户的交互操作中，“二八原则”是值得借鉴的，即20%的客户对企业做出80%的利润贡献。但究竟谁是那20%的客户？又如何确定特定消费群体的消费习惯与消费倾向，进而推断出相应消费群体或个体下一步的消费行为？这都是企业需要认真研究的问题。 二、客户的特征化及其划分 企业认识客户和潜在客户是在市场保持竞争力的关键。特征分析是了解客户和潜在客户的极好方法，包括对感兴趣对象范围进行一般特征的度量。一旦知道带来最大利润客户的特征和行为，就可以直接将其应用到寻找潜在客户之中。有效寻找客户，认识哪些人群像自己的客户。因此，在争取客户的活动中，对感兴趣对象进行特征化及其划分是很有意义的。 对客户的特征化，顾名思义就是用数据来描述或给出客户（潜在客户）特征的活动。特征化可以在数据库（或数据库的不同部分）上进行。这些不同部分也称为划分，通常他们互不包含。 划分分析（SegmentationAnalysis）通常用于根据利润和市场潜力划分客户。如：零售商按客户在所有零售商店的总体购买行为，将客户划分为若干描述他们各自购买行为的区域，这样零售商可以评估哪些客户有最大利润。划分是把数据库分成互不相交部分或分区的活动。一般有两种方法：市场驱动法和数据驱动法。市场驱动法需要决定那些对业务有重要影响的特征，即需要预先选择一些特征变量（属性），以最终定义得到划分。数据驱动法是利用数据挖掘中的聚类技术或要素分析技术寻找同质群体。 三、数据挖掘的概念 数据挖掘(DataMining)是从大型数据库或数据仓库中提取人们感兴趣的知识，这些知识是隐含的、事先未知的潜在有用信息。通过数据挖掘提取的知识表示为概念、规则、规律、模式等，它对企业的趋势预测和行为决策提供支持。 1.分类分析 分类是指将数据映射到预先定义好的群组或类。分类要求基于数据属性值来定义类别，通过数据特征来描述类别。根据它与预先定义好的类别相似度，划分到某一类中去。分类的主要应用是导出数据的分类模型，然后使用模型预测。 2.聚类分析 聚类是对抽象样本集合分组的过程。与分类不同之处在于聚类操作要划分的类是事先未知。按照同一类中对象之间较高相似度原则进行划分，目的是使同一类别个体之间距离尽可能小，不同类别中个体间距离尽可能大。类的形成是由数据驱动的。 3.关联规则 关联规则是从大量的数据中挖掘出有价值的描述数据项之间相互关联的知识。关联规则中有两个重要概念：支持度（Support）和信任度(Confidence)。它们是两个度量有关规则的方法，描述了被挖掘出规则的有用性和确定性。关联规则挖掘，希望发现事务数据库中数据项之间的关联，这些规则往往能反映客户的购买行为模式。
数据挖掘中的文本挖掘的分类算法综述
数据挖掘中的文本挖掘的分类算法综述 摘要 随着Internet上文档信息的迅猛发展，文本分类成为处理和组织大量文档数据的关键技术。本文首先对数据挖掘进行了概述包括数据挖掘的常用方法、功能以及存在的主要问题；其次对数据挖掘领域较为活跃的文本挖掘的历史演化、研究现状、主要内容、相关技术以及热点难点问题进行了探讨；在第三章先分析了文本分类的现状和相关问题，随后详细介绍了常用的文本分类算法，包括KNN 文本分类算法、特征选择方法、支持向量机文本分类算法和朴素贝叶斯文本分类算法；；第四章对KNN文本分类算法进行深入的研究，包括基于统计和LSA降维的KNN文本分类算法；第五章对数据挖掘、文本挖掘和文本分类的在信息领域以及商业领域的应用做了详细的预测分析；最后对全文工作进行了总结和展望。 关键词：数据挖掘，文本挖掘，文本分类算法 ABSTRACT With the development of Web 2.0, the number of documents on the Internet increases exponentially. One important research focus on how to deal with these great capacity of online documents. Text classification is one crucial part of information management. In this paper we first introduce the basic information of data mining, including the methods, contents and the main existing problems in data mining fields; then we discussed the text mining, one active field of data mining, to provide a basic foundation for text classification. And several common algorithms are analyzed in Chapter 3. In chapter 4 thorough research of KNN text classification algorithms are illustrated including the statistical and dimension reduction based on LSA and in chapter 5 we make some predictions for data mining, text mining and text classification and finally we conclude our work. KEYWORDS： data mining, text mining, text classification algorithms，KNN 目录 摘要 (1) ABSTRACT (1) 目录 (1)
【精品】(最新)案例四数据挖掘之七种常用的方法
数据挖掘之七种常用的方法 利用数据挖掘进行数据分析常用的方法主要有分类、回归分析、聚类、关联规则、特征、变化和偏差分析、Web页挖掘等，它们分别从不同的角度对数据 进行挖掘。 1.分类 分类是找出数据库中一组数据对象的共同特点并按照分类模式将其划分为 不同的类，其目的是通过分类模型，将数据库中的数据项映射到某个给定的类别。 它可以应用到客户的分类、客户的属性和特征分析、客户满意度分析、客户的购买趋势预测等，如一个汽车零售商将客户按照对汽车的喜好划分成不同的类，这样营销人员就可以将新型汽车的广告手册直接邮寄到有这种喜好的客户手中，从而大大增加了商业机会。 2.回归分析 回归分析方法反映的是事务数据库中属性值在时间上的特征，产生一个将数据项映射到一个实值预测变量的函数，发现变量或属性间的依赖关系，其主要研究问题包括数据序列的趋势特征、数据序列的预测以及数据间的相关关系等。 它可以应用到市场营销的各个方面，如客户寻求、保持和预防客户流失活动、产品生命周期分析、销售趋势预测及有针对性的促销活动等。 3.聚类 聚类分析是把一组数据按照相似性和差异性分为几个类别，其目的是使得属于同一类别的数据间的相似性尽可能大，不同类别中的数据间的相似性尽可能小。 它可以应用到客户群体的分类、客户背景分析、客户购买趋势预测、市场的细分等。 4.关联规则 关联规则是描述数据库中数据项之间所存在的关系的规则，即根据一个事务中某些项的出现可导出另一些项在同一事务中也出现，即隐藏在数据间的关联或相互关系。 在客户关系管理中，通过对企业的客户数据库里的大量数据进行挖掘，可以从大量的记录中发现有趣的关联关系，找出影响市场营销效果的关键因素，为产品定位、定价与定制客户群，客户寻求、细分与保持，市场营销与推销，营销风险评估和诈骗预测等决策支持提供参考依据。 5.特征 特征分析是从数据库中的一组数据中提取出关于这些数据的特征式，这些特征式表达了该数据集的总体特征。如营销人员通过对客户流失因素的特征提取，可以得到导致客户流失的一系列原因和主要特征，利用这些特征可以有效地预防客户的流失。
数据挖掘试题
《数据挖掘》总复习题 1．数据挖掘系统可以根据什么标准进行分类？ 答：根据挖掘的数据库类型分类、根据挖掘的知识类型分类、根据挖掘所用的技术分类、根据应用分类 2．知识发现过程包括哪些步骤？ 答：数据清理、数据集成、数据选择、数据变换、数据挖掘、模式评估、知识表示 3．什么是概念分层？ 答：一个映射序列，将低层概念映射到更一般的较高层概念。 4．多维数据模型上的 OLAP 操作包括哪些？ 答：上卷、下钻、切片和切块、转轴 / 旋转、其他OLAP操作5．OLAP 服务器类型有哪几种？ 答：关系OLAP 服务器(ROLAP)、多维OLAP 服务器(MOLAP)、混合 OLAP 服务器 (HOLAP)、特殊的 SQL 服务器 6．数据预处理技术包括哪些？ 答：聚集、抽样、维规约、特征子集选择、特征创建、离散化和二元化、变量变换。 7．什么是数据清理？ 答：填写缺失的值，平滑噪声数据，识别、删除离群点，解决不一致性 8．什么是数据集成？ 答：集成多个数据库、数据立方体或文件 9．什么是数据归约？ 答：得到数据集的压缩表示，它小得多，但可以得到相同或相近的结果 10．数据清理的内容包括哪些？ 答：缺失值、噪声数据、数据平滑、聚类、回归 11.将下列缩略语复原 OLAP——on-line analytical processing DM——data mining KDD——knowledge discovery in databases OLTP——on-line transaction processing DBMS——database management system DWT——discrete wavelet transform （DMQL）－－Data Mining Query Language 12．什么是数据挖掘？ 答：简单地说，数据挖掘是从大量数据中提取或挖掘知识。具体地
数据挖掘实验报告资料
大数据理论与技术读书报告 -----K最近邻分类算法 指导老师 : 陈莉 学生姓名 : 李阳帆 学号 : 201531467 专业 : 计算机技术 日期 : 2016年8月31日
摘要 数据挖掘是机器学习领域内广泛研究的知识领域，是将人工智能技术和数据库技术紧密结合，让计算机帮助人们从庞大的数据中智能地、自动地提取出有价值的知识模式，以满足人们不同应用的需要。K 近邻算法（KNN）是基于统计的分类方法，是大数据理论与分析的分类算法中比较常用的一种方法。该算法具有直观、无需先验统计知识、无师学习等特点，目前已经成为数据挖掘技术的理论和应用研究方法之一。本文主要研究了 K 近邻分类算法，首先简要地介绍了数据挖掘中的各种分类算法，详细地阐述了K 近邻算法的基本原理和应用领域，最后在matlab环境里仿真实现，并对实验结果进行分析，提出了改进的方法。 关键词：K 近邻，聚类算法，权重，复杂度，准确度
1.引言 (1) 2.研究目的与意义 (1) 3.算法思想 (2) 4.算法实现 (2) 4.1 参数设置 (2) 4.2数据集 (2) 4.3实验步骤 (3) 4.4实验结果与分析 (3) 5.总结与反思 (4) 附件1 (6)
1.引言 随着数据库技术的飞速发展，人工智能领域的一个分支—— 机器学习的研究自 20 世纪 50 年代开始以来也取得了很大进展。用数据库管理系统来存储数据，用机器学习的方法来分析数据，挖掘大量数据背后的知识，这两者的结合促成了数据库中的知识发现（Knowledge Discovery in Databases，简记 KDD）的产生，也称作数据挖掘（Data Ming，简记 DM）。 数据挖掘是信息技术自然演化的结果。信息技术的发展大致可以描述为如下的过程：初期的是简单的数据收集和数据库的构造；后来发展到对数据的管理，包括：数据存储、检索以及数据库事务处理；再后来发展到对数据的分析和理解， 这时候出现了数据仓库技术和数据挖掘技术。数据挖掘是涉及数据库和人工智能等学科的一门当前相当活跃的研究领域。 数据挖掘是机器学习领域内广泛研究的知识领域，是将人工智能技术和数据库技术紧密结合，让计算机帮助人们从庞大的数据中智能地、自动地抽取出有价值的知识模式，以满足人们不同应用的需要[1]。目前，数据挖掘已经成为一个具有迫切实现需要的很有前途的热点研究课题。 2.研究目的与意义 近邻方法是在一组历史数据记录中寻找一个或者若干个与当前记录最相似的历史纪录的已知特征值来预测当前记录的未知或遗失特征值[14]。近邻方法是数据挖掘分类算法中比较常用的一种方法。K 近邻算法（简称 KNN）是基于统计的分类方法[15]。KNN 分类算法根据待识样本在特征空间中 K 个最近邻样本中的多数样本的类别来进行分类，因此具有直观、无需先验统计知识、无师学习等特点，从而成为非参数分类的一种重要方法。 大多数分类方法是基于向量空间模型的。当前在分类方法中，对任意两个向量： x= ) ,..., , ( 2 1x x x n和) ,..., , (' ' 2 ' 1 'x x x x n 存在 3 种最通用的距离度量：欧氏距离、余弦距 离[16]和内积[17]。有两种常用的分类策略：一种是计算待分类向量到所有训练集中的向量间的距离：如 K 近邻选择K个距离最小的向量然后进行综合，以决定其类别。另一种是用训练集中的向量构成类别向量，仅计算待分类向量到所有类别向量的距离，选择一个距离最小的类别向量决定类别的归属。很明显，距离计算在分类中起关键作用。由于以上 3 种距离度量不涉及向量的特征之间的关系，这使得距离的计算不精确，从而影响分类的效果。
数据挖掘及其应用
《数据挖掘论文》 数据挖掘分类方法及其应用 课程名称：数据挖掘概念与技术 姓名 学号： 指导教师： 数据挖掘分类方法及其应用 作者：来煜 摘要：社会的发展进入了网络信息时代，各种形式的数据海量产生，在这些数据的背后隐藏这许多重要的信息，如何从这些数据中找出某种规律，发现有用信息，越来越受到关注。为了适应信息处理新需求和社会发展各方面的迫切需要而发展起来一种新的信息分析技术，这种局势称为数据挖掘。分类技术是数据挖掘中应用领域极其广泛的重要技术之一。各种分类算法有其自身的优劣，适合于不同的领域。目前随着新技术和新领域的不断出现，对分类方法提出了新的要求。 。 关键字：数据挖掘；分类方法；数据分析 引言 数据是知识的源泉。但是，拥有大量的数据与拥有许多有用的知识完全是两回事。过去几年中，从数据库中发现知识这一领域发展的很快。广阔的市场和研究利益促使这一领域的飞速发展。计算机技术和数据收集技术的进步使人们可以从更加广泛的范围和几年前不可想象的速度收集和存储信息。收集数据是为了得到信息，然而大量的数据本身并不意味信息。尽管现代的数据库技术使我们很容易存储大量的数据流，但现在还没有一种成熟的技术帮助我们分析、理解并使数据以可理解的信息表示出来。在过去，我们常用的知识获取方法是由知识工程师把专家经验知识经过分析、筛选、比较、综合、再提取出知识和规则。然而，由于知识工程师所拥有知识的有局限性，所以对于获得知识的可信度就应该打个折扣。目前，传统的知识获取技术面对巨型数据仓库无能为力，数据挖掘技术就应运而生。 数据的迅速增加与数据分析方法的滞后之间的矛盾越来越突出，人们希望在对已有的大量数据分析的基础上进行科学研究、商业决策或者企业管理，但是目前所拥有的数据分析工具很难对数据进行深层次的处理，使得人们只能望“数”兴叹。数据挖掘正是
数据挖掘分类算法研究综述终板
数据挖掘分类算法研究综述 程建华 (九江学院信息科学学院软件教研室九江332005 ) 摘要：随着数据库应用的不断深化,数据库的规模急剧膨胀,数据挖掘已成为当今研究的热点。特别是其中的分类问题,由于其使用的广泛性,现已引起了越来越多的关注。对数据挖掘中的核心技术分类算法的内容及其研究现状进行综述。认为分类算法大体可分为传统分类算法和基于软计算的分类法两类。通过论述以上算法优缺点和应用范围，研究者对已有算法的改进有所了解，以便在应用中选择相应的分类算法。 关键词：数据挖掘；分类；软计算；算法 1引言 1989年8月，在第11届国际人工智能联合会议的专题研讨会上，首次提出基于数据库的知识发现(KDD，Knowledge DiscoveryDatabase)技术[1]。该技术涉及机器学习、模式识别、统计学、智能数据库、知识获取、专家系统、数据可视化和高性能计算等领域，技术难度较大，一时难以应付信息爆炸的实际需求。到了1995年，在美国计算机年会(ACM)上，提出了数据挖掘[2](DM，Data Mining)的概念，由于数据挖掘是KDD过程中最为关键的步骤，在实践应用中对数据挖掘和KDD这2个术语往往不加以区分。 基于人工智能和信息系统，抽象层次上的分类是推理、学习、决策的关键，是一种基础知识。因而数据分类技术可视为数据挖掘中的基础和核心技术。其实，该技术在很多数据挖掘中被广泛使用，比如关联规则挖掘和时间序列挖掘等。因此，在数据挖掘技术的研究中，分类技术的研究应当处在首要和优先的地位。目前，数据分类技术主要分为基于传统技术和基于软计算技术两种。 2传统的数据挖掘分类方法 分类技术针对数据集构造分类器，从而对未知类别样本赋予类别标签。在其学习过程中和无监督的聚类相比，一般而言，分类技术假定存在具备环境知识和输入输出样本集知识的老师，但环境及其特性、模型参数等却是未知的。 2.1判定树的归纳分类 判定树是一个类似流程图的树结构，其中每个内部节点表示在一个属性上的测试，每个分支代表一个测试输出，而每个树叶节点代表类或类分布。树的最顶层节点是根节点。由判定树可以很容易得到“IFTHEN”形式的分类规则。方法是沿着由根节点到树叶节点的路径，路径上的每个属性-值对形成“IF”部分的一个合取项，树叶节点包含类预测，形成“THEN”部分。一条路径创建一个规则。 判定树归纳的基本算法是贪心算法，它是自顶向下递归的各个击破方式构造判定树。其中一种著名的判定树归纳算法是建立在推理系统和概念学习系统基础上的ID3算法。 2.2贝叶斯分类 贝叶斯分类是统计学的分类方法，基于贝叶斯公式即后验概率公式。朴素贝叶斯分类的分类过程是首先令每个数据样本用一个N维特征向量X={X1，X2，?X n}表示，其中X k是属性A k的值。所有的样本分为m类：C1，C2，?，C n。对于一个类别的标记未知的数据记录而言，若P(C i/X)>P(C j/X)，1≤ j≤m，j≠i，也就是说，如果条件X下，数据记录属于C i类的概率大于属于其他类的概率的话，贝叶斯分类将把这条记录归类为C i类。 建立贝叶斯信念网络可以被分为两个阶段。第一阶段网络拓扑学习，即有向非循环图的——————————————————— 作者简介：程建华（1982-），女，汉族，江西九江，研究生，主要研究方向为数据挖掘、信息安全。
数据挖掘分类方法
数据挖掘分类方法 数据仓库，数据库或者其它信息库中隐藏着许多可以为商业、科研等活动的决策提供所需要的知识。分类与预测是两种数据分析形式，它们可以用来抽取能够描述重要数据集合或预测未来数据趋势的模型。分类方法（Classification）用于预测数据对象的离散类别（Categorical Label）；预测方法（Prediction ）用于预测数据对象的连续取值。 分类技术在很多领域都有应用，例如可以通过客户分类构造一个分类模型来对银行贷款进行风险评估；当前的市场营销中很重要的一个特点是强调客户细分。客户类别分析的功能也在于此，采用数据挖掘中的分类技术，可以将客户分成不同的类别，比如呼叫中心设计时可以分为：呼叫频繁的客户、偶然大量呼叫的客户、稳定呼叫的客户、其他，帮助呼叫中心寻找出这些不同种类客户之间的特征，这样的分类模型可以让用户了解不同行为类别客户的分布特征；其他分类应用如文献检索和搜索引擎中的自动文本分类技术；安全领域有基于分类技术的入侵检测等等。机器学习、专家系统、统计学和神经网络等领域的研究人员已经提出了许多具体的分类预测方法。下面对分类流程作个简要描述： 训练：训练集——>特征选取——>训练——>分类器 分类：新样本——>特征选取——>分类——>判决 最初的数据挖掘分类应用大多都是在这些方法及基于内存基础上所构造的算法。目前数据挖掘方法都要求具有基于外存以处理大规模数据集合能力且具有可扩展能力。下面对几种主要的分类方法做个简要介绍： （1）决策树 决策树归纳是经典的分类算法。它采用自顶向下递归的各个击破方式构造决策树。树的每一个结点上使用信息增益度量选择测试属性。可以从生成的决策树中提取规则。 (2) KNN法(K-Nearest Neighbor) KNN法即K最近邻法，最初由Cover和Hart于1968年提出的，是一个理论上比较成熟的方法。该方法的思路非常简单直观：如果一个样本在特征空间中的k 个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 KNN方法虽然从原理上也依赖于极限定理，但在类别决策时，只与极少量的相邻