基于k—means聚类算法的试卷成绩分析研究
基于k—means聚类算法的试卷成绩分析研
究
第39卷第4期
2009年7月
河南大学(自然科学版)
JournalofHenanUniversity(NaturalScience)
V o1.39NO.4
Ju1.2009
基于k—means聚类算法的试卷成绩分析研究
谭庆'
(洛阳师范学院信息技术学院,河南洛阳471022)
摘要:研究_rk-means聚类算法,并将此算法应用于高校学生试卷成绩分析中.首先对数据进行了预处理,然后
使用k-means算法,对学生试卷成绩进行分类评价.用所获得的结果指导学生的学习和今后的教学工作.
关键词:数据挖掘;聚类;k-means算法;试卷成绩
中圈分类号:TP311文献标志码:A文章编号:1003—4978(2009)04—0412—04 AnalysisandResearchofGradesofExaminationPaper BasedonK—meansClusteringAlgorithm
TANQing
(Acaderny.l,InformationTechnologY,LuoyangNormalUniversity,LuoyangHenan47102 2,China)
Abstract:Thispaperresearcheslhekmeansclusteringalgorithmandappliesittotheanalysiso fthegradedataof examinationpaperofhighereducationschoolSstudents.Firstly,itpreprocessesthedatabefor eminingThen,it
usesthek—
meansalgorithmtoclusterstudentsgradesofexaminationpaperandgivesevaluation.Theobt ained knowledgecanbeappliedintoguidingthesludentsandteachersintreirstudyandteaching. Keywords:datamining;clustering;kmeansalgorithm;gradesofexaminationpaper
0引言
传统的数据分析方法是统计分析法,该方法只是对事实的验证,描述已经发生的事实,难以发现数据中
存在的关系和规律,也难以根据现有的数据预测未来的发展趋势.由于它缺乏挖掘数据背后知识的手段,因
而导致了"数据爆炸但知识贫乏"的现象.面对这一挑战,数据挖掘(DataMining,DM)l和知识发现
(KnowledgeDiscoveryinDatabase,KDD)技术应运而生,并逐渐显示出了强大的生命力.
在高校中,考试成绩是评估教学质量的重要依据』,也是评估学生是否掌握好所学知识的重要方式.
试卷分析是考试过程的一个重要环节.聚类是深层次的数据信息分析方法,将聚类们技术应用于试卷成绩
分析无疑是非常有益的,它可以全面地分析考试结果与各种因素之问隐藏的内在联系【.
1k—means聚类算法
给定一个包含个数据对象的数据集,以及要生成的簇的数目是,一个划分类的算法将数据对象组织成
k个划分(是≤),其中每个划分代表一个簇.通常会采用一个划分准则(经常称为相似度函数),例如距离,
以便在同一个簇中的对象是"相似的",而不同簇中的对象是"相异的".
最着名且最常用的基于划分的方法是k—means算法.k—means算法的处理流程是:首先随机地选择k个
对象,每个对象代表一个簇的初始均值或中心.对剩余的每个对象,根据其与各个簇均值的距离,将它指派
到最相似的簇.然后计算每个簇的新均值.这个过程不断重复,直到准则函数收敛. 收稿日期:2008—123O
基金项目:河南省科技攻关资助项F1(0524220059)
作者简介:谭J灭(1977一),男,河南洛阳人,讲师,硕士.主要研究方向:数据挖掘和程』设计
谭庆:基于kTmeans聚类算法的试卷成绩分析研究413
通常k—means算法的准则函数采用平方误差准则,定义为:
E一>:>:...,I一ml.(1)''一'— (i)
其中E是数据集中所有对象的平方误差的总和,是给定的数据对象,m是簇c的平均值(p和m都是多维
的).这个准则的作用是使生成的簇尽可能地紧凑和独立.
对处理大型数据集而言,k—means算法是相对可伸缩的和高效的,因为算法的复杂度为0(ntk),并且是
和t通常都远远小于.这里是数据对象的个数,k是簇的个数,t是迭代的次数.
2基于k—means聚类算法的试卷成绩分析
目前,在高校管理中,特别是对学生的试卷管理工作中,普遍存在的问题是学生试卷成绩数据量过于庞
大,但目前对这些数据的处理还停留在初级的数据备份,查询及简单统计阶段.对于学生取得这些成绩的原
因往往无法了解,使得这些数据还不能发挥它应有的作用.如何利用这些数据理性地分析教学中各方面的
成效得失以及找到有关影响学生学习成绩的因素是广大教师们共同关心的问题. 聚类是深层次的数据信息分析方法.将聚类技术应用于对试卷成绩的分析无疑是非常有益的,它可以
全面地分析考试结果与各种因素之间隐藏的内在联系.通过聚类分析,其评价结果能给教学带来前所未有
的收获和惊喜.本文着重讨论了k—means聚类算法在试卷成绩数据中的应用,得出一些有趣的知识,对教学
质量的提高起到积极的促进作用,以此来帮助教学工作的顺利进行.
学生试卷成绩的划分类别分析评价属于聚类数据挖掘.选用的模型是典型的划分方法k—means算法模
型,无需高昂的代价收集和标记大量训练元组集或模式.首先,基于数据的相似性把数据集合划分成组,然
后给这些数量相对较少的组指定标号.这种基于聚类的过程的另一个优点是可以适应变化,并且能够挑选
出区分不同组的有用特征.
2.1数据预处理
数据的预处理是数据挖掘过程中一个非常重要的环节,一般需要占去挖掘过程中7O的工作量.经验
表明,如果数据准备工作做得非常细致,在模型建立阶段就会节省大量的精力. 1)数据集成
数据集成就是将来自多个数据源的数据合并到一起.本研究中,成绩数据库中包括了学生的平时作业
成绩及课程的考试成绩.这个数据库由教师在教学过程中产生.将数据采集得到的多个数据库文件,利用
数据库技术生成学生试卷成绩分析基本数据库.随机抽取一个年级学生的一学期的课程(如电路基础,离散
数学,数据库,C语言程序设计,马克思主义哲学,英语和体育)的成绩,如表1所示. 为学生学号,k.为电路基础的成绩,k.为离散数学的成绩,k.为数据库的成绩,k为C 语言程序设计
的成绩,走.为马克思主义哲学的成绩,为英语的成绩,k为体育的成绩.
表1学生试卷成绩分析基本数据表
Tab.1Basicdatasheetofanalysisofstudentsexaminationpapergrades
2)数据清理
数据清理的主要工作就是填补遗漏的数据值.在学生试卷成绩分析基本数据库及调查表中我们看
b一∞踮
‰一∞∞∞∞
乜一∞够鹪
一∞∞∞n∞踮盯∞∞∞
一跗踞
一%踮盯略∞
一优良良良优良良及良及良
123456789Ol
OOOOOOOOO11
OOOOOOOOOOO
444444444
【lI【【llIII【
【Il【__lIIll
}}lI
!}ll
OOOOOOOOOOO
414河南大学(自然科学版),2009年,第39卷第4期
到,有一些我们感兴趣的属性缺少属性值,对于这些空缺,可以使用数据清理技术来填补.有很多种方法可
以为属性填写空缺值,比如:忽略元组,人工填写空缺值,使用一个全局常量填充空缺值等.
在本例中,采用忽略元组的方法删除退学,休学,转学,没有参加考试或有大量的空缺项的学生的记录.
对于其他个别空缺,因为总记录数不算太多,且空缺值较少,采用人工填充的方法处理.填充原则是使用该
记录其他属性的平均值填充此空缺值.经过数据清理后,总记录数为146条.
3)数据转换
数据转换主要是对数据进行规格化操作,将数据变成统一的格式,以适合数据挖掘.
在对学生试卷成绩进行聚类分析挖掘时,需要数值型数据,所以应把学生试卷成绩表的数据转换成数值
型按通常的百分制表示.因为电路基础课程评的是等级分,所以将"优"转换为"90","良"转换为"80","中"
转换为"70","及"转换为"6O","差"转换为"0".其他课程本身就使用百分制,无需再转换.
接下来采用最小一最大规范化方法将百分制成绩规范化到[0,1]上.将表1转化为聚类算法便于处理
的格式,如表2所示.
表2聚类分析数据表
Tab.2Datasheetofclusteringanalysis
2.2k—means聚类算法的应用与结果分析
本文实验环境是P42.4GHz,512MB内存,WindowsXP专业版操作系统.k—means 聚类算法在
VisualC++6.0环境下用C++语言实现.将表2中总共146条记录作为k—means聚类分析的数据,给定
聚类数为3.运行k—means算法程序后,将146条记录聚类成3簇,最后各簇均值数据如表3所示.
表3各簇均值数据表
Tab.3Datasheetofeveryclustersmean
通过对实验结果的分析可以得出,簇1中的学生都是考试成绩较好的,簇2中的学生考试成绩较低,簇
3中的学生考试成绩介于簇1和簇2之间.簇1中包含51条记录,占总数的35;簇2中包含34条记录,占
总数的23;簇3中包含6】条记录,占总数的42%.也就是说,约有35的学生考试成绩较好,约有42的
学生考试成绩中等,约有23的学生考试成绩较差.较差的学生比例有些高,在今后教学中,要更加关注簇
2中的学生,帮助他们提高学习成绩.
簇2均值中的k.值为0,说明电路基础课程得到最低分的学生都在此簇中.另外也说明电路基础课程
评为等级分不够合理,这样最低等级分的学生k值都会为0.在今后的教学中,电路基础课程应采用百分
制,这样才能更好地,比较精确地打分.
簇1均值中的k.一是的值在3个簇的均值中都是最高的,但尼的值却是3个簇的均值中最低的.这说
明簇1中的学生除体育外的其他课程成绩都较好,但体育成绩较差.在今后教学中,应注意督促那些成绩较
好的学生上好体育课,多参加课外活动,多锻炼身体.
谭庆:基于k—means聚类算法的试卷成绩分析研究415
3结束语
本文研究了k—means聚类算法,并将此算法应用于试卷成绩分析中.首先对数据进行了预处理,然后使
用k—means算法,对学生试卷成绩进行划分类别分析评价.针对不同类别的学生,提出了相应的教学建议,
指导学生的学习和今后的教学工作.
参考文献:
[1]uMFayyad,GPiatesky—Shapiro,PSmyth.Fromdataminingtoknowledgediscovery:Anoverviewqdvancesinknow ledge
discoveryanddatamining[R].Califonia:AAAI/MITPress,1996.
[2]JainAK,MurtyMN,FlynnPJ.Dataclustering:Asurvey[J].ACMComput.Surv.,1999(31 ):264—323.
[3]JinHanjun,WangXiaorong,WangYanlin,eta1.Studyandapplicationofgeneticalgorith mincomputertestconstruction
[c]//ProceedingsofISCIT,2005[c].Beijing:BeijingUniversityofPostsandTelecommunica tionsPress,2005.
[4]HanJiawei,MichelineKamber.数据挖掘概念与技术[M].2版.北京:机械工业出版社,2007.
[5]马希荣,孙华志.数据挖掘技术在教学评价中的应用[J].计算机工程与应
用,2003(19):5l一54.
[6]MehmedKantardzic.数据挖掘——概念,模型,方法和算法[M].北京:清华大学出版社,2003.
[7]邵峰晶,于忠清.数据挖掘原理与算法[M].北京:水利水电出版社,2003.
责任编辑:党兰学
基于划分聚类法的文献综述
基于划分聚类法的文献综述 聚类分析是一种重要的无监替学习方法，作为数据分析的工具，其重要性在各个领域都得到了广泛的认可.聚类分析的目的是寻找数据集中的“口然分组”，即所谓的“簇”.通俗地讲，簇是指相似元素的集合，聚类分析就是一个在数据集中寻找相似元素集合的无监督学习过程.來〔1不同应用领域的数据集具有不同的特点，人们对数据进行聚类分析的目的也不尽相同，聚类分析的方法因数据集而异，因使用目的而异.当前，聚类分析的新方法层岀不穷，纵观各种聚类算法，它们使用的技术互不相同，其理论背景乂彼此交义、重蒂，很难找到一个统一的标准对其进行归类。 聚类分析的方法可分为基于层次的聚类方法、基于划分的聚类方法、基于图论的聚类方法、基于密度和网格的方法等.这些方法虽然从不同角度使用不同的理论方法研究聚类分析，但对于不同的实际问题，聚类分析中的一些基本内容始终是人们关注的焦点。其中，划分法通常是指给定数据库，其中有N个元素，采用分裂法将其构造为K个组，每一个分组就代表一个聚类，K 聚类分析K-means算法综述 摘要：介绍K-means聚类算法的概念，初步了解算法的基本步骤，通过对算法缺点的分析，对算法已有的优化方法进行简单分析，以及对算法的应用领域、算法未来的研究方向及应用发展趋势作恰当的介绍。 关键词：K-means聚类算法基本步骤优化方法应用领域研究方向应用发展趋势 算法概述 K-means聚类算法是一种基于质心的划分方法，输入聚类个数k，以及包含n个数据对象的数据库，输出满足方差最小标准的k个聚类。 评定标准：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。聚类相似度是利用各聚类中对象的均值所获得一个“中心对象”（引力中心）来进行计算。 解释：基于质心的划分方法就是将簇中的所有对象的平均值看做簇的质心，然后根据一个数据对象与簇质心的距离，再将该对象赋予最近的簇。 k-means 算法基本步骤 （1）从n个数据对象任意选择k 个对象作为初始聚类中心 （2）根据每个聚类对象的均值（中心对象），计算每个对象与这些中心对象的距离；并根据最小距离重新对相应对象进行划分 （3）重新计算每个（有变化）聚类的均值（中心对象） （4）计算标准测度函数，当满足一定条件，如函数收敛时，则算法终止；如果条件不满足则回到步骤（2） 形式化描述 输入：数据集D，划分簇的个数k 输出：k个簇的集合 （1）从数据集D中任意选择k个对象作为初始簇的中心； （2）Repeat （3）For数据集D中每个对象P do （4）计算对象P到k个簇中心的距离 （5）将对象P指派到与其最近（距离最短）的簇； （6）End For （7）计算每个簇中对象的均值，作为新的簇的中心； （8）Until k个簇的簇中心不再发生变化 对算法已有优化方法的分析 (1)K-means算法中聚类个数K需要预先给定 这个K值的选定是非常难以估计的，很多时候,我们事先并不知道给定的数据集应该分成多少个类别才最合适，这也是K一means算法的一个不足"有的算法是通过类的自动合并和分裂得到较为合理的类型数目k，例如Is0DAIA算法"关于K一means算法中聚类数目K 值的确定，在文献中，根据了方差分析理论，应用混合F统计量来确定最佳分类数，并应用了模糊划分嫡来验证最佳分类数的正确性。在文献中，使用了一种结合全协方差矩阵RPCL算法，并逐步删除那些只包含少量训练数据的类。文献中针对“聚类的有效性问题”提出武汉理工大学硕士学位论文了一种新的有效性指标：V(k km) = Intra(k) + Inter(k) / Inter(k max)，其中k max是可聚类的最大数目,目的是选择最佳聚类个数使得有效性指标达到最小。文献中使用的是一种称为次胜者受罚的竞争学习规则来自动决定类的适当数目"它的思想是：对每个输入而言不仅竞争获胜单元的权值被修正以适应输入值，而且对次胜单元采用惩罚的方法使之远离输入值。 (2)算法对初始值的选取依赖性极大以及算法常陷入局部极小解 不同的初始值，结果往往不同。K-means算法首先随机地选取k个点作为初始聚类种子，再利用迭代的重定位技术直到算法收敛。因此，初值的不同可能导致算法聚类效果的不稳定，并且，K-means算法常采用误差平方和准则函数作为聚类准则函数(目标函数)。目标函数往往存在很多个局部极小值，只有一个属于全局最小，由于算法每次开始选取的初始聚类中心落入非凸函数曲面的“位置”往往偏离全局最优解的搜索范围，因此通过迭代运算，目标函数常常达到局部最小，得不到全局最小。对于这个问题的解决，许多算法采用遗传算法(GA)，例如文献中采用遗传算法GA进行初始化，以内部聚类准则作为评价指标。 (3)从K-means算法框架可以看出，该算法需要不断地进行样本分类调整，不断地计算调整后的新的聚类中心，因此当数据量非常大时,算法的时间开销是非常大 所以需要对算法的时间复杂度进行分析，改进提高算法应用范围。在文献中从该算法的时间复杂度进行分析考虑，通过一定的相似性准则来去掉聚类中心的候选集，而在文献中，使用的K-meanS算法是对样本数据进行聚类。无论是初始点的选择还是一次迭代完成时对数据的调整，都是建立在随机选取的样本数据的基础之上，这样可以提高算法的收敛速度。 k-means聚类算法的研究 1．k-means算法简介 1.1 k-means算法描述 给定n个对象的数据集D和要生成的簇数目k，划分算法将对象组织划分为k个簇（k<=n），这些簇的形成旨在优化一个目标准则。例如，基于距离的差异性函数，使得根据数据集的属性，在同一个簇中的对象是“相似的”，而不同簇中的对象是“相异的”。划分聚类算法需要预先指定簇数目或簇中心，通过反复迭代运算，逐步降低目标函数的误差值，当目标函数收敛时，得到最终聚类结果。这类方法分为基于质心的（Centroid-based）划分方法和基于中心的（Medoid-based）划分方法，而基于质心的划分方法是研究最多的算法，其中k-means算法是最具代表和知名的。 k-means算法是1967年由MacQueen首次提出的一种经典算法，经常用于数据挖掘和模式识别中，是一种无监督式的学习算法，其使用目的是对几何进行等价类的划分，即对一组具有相同数据结构的记录按某种分类准则进行分类，以获取若干个同类记录集。k-means聚类是近年来数据挖掘学科的一个研究热点和重点，这主要是因为它广泛应用于地球科学、信息技术、决策科学、医学、行为学和商业智能等领域。迄今为止，很多聚类任务都选择该算法。k-means算法是应用最为广泛的聚类算法。该算法以类中各样本的加权均值（成为质心）代表该类，只用于数字属性数据的聚类，算法有很清晰的几何和统计意义，但抗干扰性较差。通常以各种样本与其质心欧几里德距离总和作为目标函数，也可将目标函数修改为各类中任意两点间欧几里德距离总和，这样既考虑了类的分散度也考虑了类的紧致度。k-means算法是聚类分析中基于原型的划分聚类的应用算法。如果将目标函数看成分布归一化混合模型的似然率对数，k-means算法就可以看成概率模型算法的推广。 k-means算法基本思想： （1）随机的选K个点作为聚类中心； （2）划分剩余的点； （3）迭代过程需要一个收敛准则，此次采用平均误差准则。 （4）求质心（作为中心）； （5）不断求质心，直到不再发生变化时，就得到最终的聚类结果。 k-means聚类算法是一种广泛应用的聚类算法，计算速度快，资源消耗少，但是k-means算法与初始选择有关系，初始聚类中心选择的随机性决定了算法的有效性和聚 基于因子分析和聚类分析的客户偏好探究 一文献综述 二十世纪五十年代中期，美国学者温德尔史密斯提出了顾客细分理论。该理论指出，顾客由于其文化观念、收入、消费习俗等方面的不同可以分为不同的消费群体。企业在经营中应该针对不同的顾客提供针对性的服务，这样才能够利用有限资源进行有效的市场竞争。对顾客的细分从方法上讲有根据人口特征和购买历史的细分和根据顾客对企业的价值即基于顾客的消费金额、消费频率的细分。本文的细分是基于购买历史和人口特征的聚类分析。饭店作为一个古老的服务行业，在现阶段的高度竞争市场下的发展趋势最重要的方面便是服务趋于个性化，所以针对饭店的消费群体特征的聚类可以对饭店进行定位，在此基础上通过分析目标客户群体对消费质量评价的最主要影响因素可以达到其服务个性化的目标。波特把顾客的价值定义为买方感知性与购买成本的一种权衡。对顾客的个性化服务增加了买方的感知度从而加大了他们愿意为此付出的成本，于是饭店便可以增加营业额。 聚类分析是把研究对象视作多维空间中的许多点, 并合理地分成若干类，即一种根据变量域之间的相似性而逐步归群成类的方法，它能客观地反映这些变量或区域之间的内在组合关系。1故聚类算法是对顾客进行分析的一个有效方式。在聚类分析的众多算法中因子分析是研究如何以最少的信息丢失, 将众多原始变量浓缩成少数几个因子变量, 以及如何使因子变量具有较强的可解释性的一种多元统计分析方法。2而典型的k-means算法以平方误差准则较好地实现了空间聚类,对于大数据集的处理效率较高。3在对顾客细分相关文献的研究过程中，主要运用的方法有神经网络,分层聚类,因子分析等方法。比如，在关于网络青少年用户的分类中，作者用层次聚类的方法，通过对青少年年龄,性别,民族,网络可得性,父母的观点等变量等变量定义不同的上网动机，在此基础上对其进行了分类。而在研究人寿保险持有者未来购买基金支持寿险可能性的文章中，通过灰度聚类和神经网络利用消费者的基本信息,财产地位信息,风险承受程度将消费者分为了忠实客户和非忠实客户。在对客户忠诚度的聚类中，作者用RFM的商业模型用DBI确定了Kmeans的最优K值，并最终用kmeans对客户忠诚度进行了聚类。 经过综合分析，我们选择了这两种方法处理顾客数据和饭店的基本资料。即，通过 k-means对客户进行聚类后通过因子分析分析不同类别客户的评价影响因素。 为分析每类客户倾向的饭店特征，本文根据客户聚类结果对饭店数据进行筛选。由于饭店部分属性之间具有相关性，本文采用因子分析法挖掘其“根本属性”，之后对饭店数据进 1李蓉, 李宇. 基与主成分分析与聚类分析方法的我国西部区域划分问题的研究. 科技广场, 2李新蕊.主成分分析、因子分析、聚类分析的比较与应用. 山东教育学院学报. 3杨善林.kmeans 算法中的k 值优化问题研究系统工程理论与实践 利用K-Means聚类进行航空公司客户价值分析 1.背景与挖掘目标 1.1背景航空公司业务竞争激烈，从 产品中心转化为客户中心。针对不同类型客户，进行精准营 销，实现利润最大化。建立客户价值评估模型，进行客户分 类，是解决问题的办法 1.2挖掘目标借助航空公司客户数据， 对客户进行分类。对不同的客户类别进行特征分析，比较不 同类客户的客户价值对不同价值的客户类别提供个性化服 务，制定相应的营销策略。详情数据见数据集内容中的 air_data.csv和客户信息属性说明 2.分析方法与过程 2.1分析方法首先，明确目标是客户价值识别。识别客户价值，应用 最广泛的模型是三个指标（消费时间间隔（Recency）,消费频率（Frequency）,消费金额（Monetary））以上指标简称RFM 模型，作用是识别高价值的客户消费金额，一般表示一段时 间内，消费的总额。但是，因为航空票价收到距离和舱位等 级的影响，同样金额对航空公司价值不同。因此，需要修改 指标。选定变量，舱位因素=舱位所对应的折扣系数的平均 值=C，距离因素=一定时间内积累的飞行里程=M。再考虑到，航空公司的会员系统，用户的入会时间长短能在一定程度上 影响客户价值，所以增加指标L=入会时间长度=客户关系长度总共确定了五个指标，消费时间间隔R，客户关系长度L，消费频率F，飞行里程M和折扣系数的平均值C以上指标， 作为航空公司识别客户价值指标，记为LRFMC模型如果采用传统的RFM模型，如下图。它是依据，各个属性的平均 值进行划分，但是，细分的客户群太多，精准营销的成本太 高。 综上，这次案例，采用聚类的办法进行识别客户价值，以LRFMC模型为基础本案例，总体流程如下图 2.2挖掘步骤从航空公司，选择性抽取与新增数据抽取，形 成历史数据和增量数据对步骤一的两个数据，进行数据探索 性分析和预处理，主要有缺失值与异常值的分析处理，属性 规约、清洗和变换利用步骤2中的已处理数据作为建模数据，基于旅客价值的LRFMC模型进行客户分群，对各个客户群 再进行特征分析，识别有价值客户。针对模型结果得到不同 价值的客户，采用不同的营销手段，指定定制化的营销服务，或者针对性的优惠与关怀。（重点维护老客户） 2.3数据抽取选取，2014-03-31为结束时间，选取宽度为两年的时间段， 作为观测窗口，抽取观测窗口内所有客户的详细数据，形成 历史数据对于后续新增的客户信息，采用目前的时间作为重 点，形成新增数据 2.4探索性分析本案例的探索分析，主要 对数据进行缺失值和异常值分析。发现，存在票价为控制， 折扣率为0，飞行公里数为0。票价为空值，可能是不存在 飞行记录，其他空值可能是，飞机票来自于积分兑换等渠道，查找每列属性观测值中空值的个数、最大值、最小值的代码 成绩： 西安建筑科技大学 毕业设计 (论文)文献综述 院（系）：信息与控制工程学院 专业班级： 毕业设计论文方向:空间数据挖掘方法的研究与应用 综述题目：空间数据挖掘方法的研究与应用 学生姓名： 学号： 100620114 指导教师：刘培奇 2014年 3 月 21 日 空间数据挖据方法的研究与应用 摘要：空间数据库含有空间数据和非空间数据, 空间数据主要是地表在GIS 中的二维投影, 非空间数据则是除空间数据以外的一切数据。随着对地观测、获取设备的迅速发展, 空间数据资源日益丰富。然而, 数据资源中蕴含的知识远远没有得到充分的挖掘和利用, 导致“数据爆炸但知识贫乏”;同时,要求用户详细分析这些数据并提取感兴趣的知识或特征是不现实的。因此, 从空间数据库中自动地挖掘知识, 寻找数据库中不明确的、隐含的知识、空间关系或其它模式, 即空间数据挖掘技术(Spatial DataMining ,SDM) 越来越重要。空间数据挖掘是在空间数据库的基础上, 综合利用统计学方法、模式识别技术、人工智能方法、神经网络技术、模糊数学、机器学习、专家系统和相关信息技术等, 按照一定的度量值和临界值抽取空间知识及与之相关的预处理、空间抽样和数据变换的一个多步骤相互链接、反复进行的人机交互过程。可以归纳为数据准备(了解应用领域的先验知识、生成目标数据集、数据清理、数据简化与投影) 、数据挖掘和知识发现(数据挖掘功能和算法的选取, 在空间的关联、特征、分类、回归、聚类、函数依赖等特定的规则中搜索感兴趣的知识)以及数据挖掘后处理(知识的解释、评价和应用)。 关键词：数据挖掘，知识发现，关联规则，空间数据库。 1.前言 空间数据挖掘（spatial data mining）是在数据挖掘的基础之上，结合地理信息系统（GIS）、遥感图像处理、全球定位系统（GPS）、模式识别、可视化等相关的研究领域而形成的一个分支学科，也称为空间数据挖掘和知识发现（spatial data mining and knowledge discovery 简称为SDMKD）。 自20世纪60年代数据库系统诞生以来，数据库技术已经得到了飞速的发展，并且己经深入到社会生活的各个方面。现在，数据无处不在，可以存放在不同类型的数据库中，数据仓库技术可以将异构的数据库集成起来进行综合管理，从而提供更好的服务。 第9章K-Means 聚类、辨别分析 9.1理解聚类分析 餐饮企业经常会碰到这样的问题： 1）如何通过餐饮客户消费行为的测量，进一步评判餐饮客户的价值和对餐饮客户进行细分，找到有价值的客户群和需关注的客户群？ 2）如何合理对菜品进行分析，以便区分哪些菜品畅销毛利又高，哪些菜品滞销毛利又低？ 餐饮企业遇到的这些问题，可以通过聚类分析解决。 9.1.1常用聚类分析算法 与分类不同，聚类分析是在没有给定划分类别的情况下，根据数据相似度进行样本分组的一种方法。与分类模型需要使用有类标记样本构成的训练数据不同，聚类模型可以建立在无类标记的数据上，是一种非监督的学习算法。聚类的输入是一组未被标记的样本，聚类根据数据自身的距离或相似度将他们划分为若干组，划分的原则是组样本最小化而组间（外部）距离最大化，如图9-1所示。 图9-1 聚类分析建模原理 常用聚类方法见表9-1。 表9-1常用聚类方法 类别包括的主要算法 常用聚类算法见图9-2。 表9-2常用聚类分析算法 9.1.2K-Means聚类算法 K-Means算法是典型的基于距离的非层次聚类算法，在最小化误差函数的基础上将数据划分为预定的类数K，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。 1.算法过程 1）从N个样本数据中随机选取K个对象作为初始的聚类中心； 2）分别计算每个样本到各个聚类中心的距离，将对象分配到距离最近的聚类中； 3）所有对象分配完成后，重新计算K个聚类的中心； 4）与前一次计算得到的K个聚类中心比较，如果聚类中心发生变化，转2)，否则转 5)； 5）当质心不发生变化时停止并输出聚类结果。 聚类的结果可能依赖于初始聚类中心的随机选择，可能使得结果严重偏离全局最优分类。实践中，为了得到较好的结果，通常以不同的初始聚类中心，多次运行K-Means算法。在所有对象分配完成后，重新计算K个聚类的中心时，对于连续数据，聚类中心取该簇的均值，但是当样本的某些属性是分类变量时，均值可能无定义，可以使用K-众数方 毕业设计(论文)材料之二(2) 本科毕业设计(论文)开题报告题目：聚类分析在股票投资中的应用 课题类型：设计□实验研究□论文√ 学生姓名： 学号： 专业班级： 学院： 指导教师： 开题时间：2012 年03 月17 日 2012 年3月08日 开题报告内容与要求 一、毕业设计（论文）内容及研究意义 主要内容： 聚类分析又称群分析，是根据“物以类聚”的道理，对样品或指标进行分类的一类多元统计方法。本文主要是采用SPSS或SAS统计软件中的聚类分析方法，对于股票市场中某一行业的多个样本股票进行聚类分析，得出结果并对结果进行分析。首先，介绍关于聚类分析的思想以及发展状况。其次，收集相关样本股票的数据，包括总资产，主营业收入，每股净资产，净资产收益率等指标。再次，用SAS软件对数据进行处理，并得出结果，将样本股票进行分类。最后，对结果进行分析，为投资者作出建议。 研究意义： 聚类源于很多领域，包括数学，计算机科学，统计学，生物学和经济学。在不同的应用领域，很多聚类技术都得到了发展，在股票投资中也发挥着这关重要的作用，这些技术方法被用作描述数据，衡量不同数据源间的相似性，以及把数据源分类到不同的簇中。在股市中，对于广大投资者来说，可以开拓投资渠道，扩大投资的选择范围，适应了投资者多样性的投资动机、交易动机和利益的需求，一般来说能为投资者提供较高收益的可能性。但是由于股票价格受到政治，经济，市场等因素的影响，也受到技术和投资者行为因素的影响，因此股票价格经常处于频繁的变动之中，股票价格的频繁变动扩大了股票市场的投机性活动，使股票市场的风险性增大。因此，对股票市场的的股票进行聚类分析显得意义更大。 matlab实现Kmeans聚类算法 1.简介： Kmeans和应用于混合高斯模型的受限EM算法是一致的。高斯混合模型广泛用于数据挖掘、模式识别、机器学习、统计分析。Kmeans 的迭代步骤可以看成E步和M步，E：固定参数类别中心向量重新标记样本，M：固定均值只考虑（估计）了均值，而没有估计类别的方差，所以聚类的结构比较适合于特征协方差相等的类别。 Kmeans在某种程度也可以看成Meanshitf的特殊版本，Meanshift 是所以Meanshift可以用于寻找数据的多个模态（类别），利用的是梯度上升法。在06年的一篇CVPR文章上，证明了Meanshift方法是牛顿拉夫逊算法的变种。Kmeans和EM算法相似是指混合密度的形式已知（参数形式已知）情况下，利用迭代方法，在参数空间中搜索解。而Kmeans和Meanshift相似是指都是一种概率密度梯度估计的方法，不过是Kmean选用的是特殊的核函数（uniform kernel），而与混合概率密度形式是否已知无关，是一种梯度求解方式。 k-means是一种聚类算法，这种算法是依赖于点的邻域来决定哪些点应该分在点，也可以对高维的空间（3维，4维，等等）的点进行聚类，任意高维的空间都可以。 上图中的彩色部分是一些二维空间点。上图中已经把这些点分组了，并使用了不同的颜色对各组进行了标记。这就是聚类算法要做的事情。 这个算法的输入是： 1：点的数据（这里并不一定指的是坐标，其实可以说是向量） 2：K，聚类中心的个数（即要把这一堆数据分成几组） 所以，在处理之前，你先要决定将要把这一堆数据分成几组，即聚成几类。但并不是在所有情况下，你都事先就能知道需要把数据聚成几类的。意味着使用k-means就不能处理这种情况，下文中会有讲解。 把相应的输入数据，传入k-means算法后，当k-means算法运行完后，该算法的输出是： 1：标签（每一个点都有一个标签，因为最终任何一个点，总会被分到某个类，类的id号就是标签） 2：每个类的中心点。 标签，是表示某个点是被分到哪个类了。例如，在上图中，实际上有4中“标签”，每个“标签”使用不同的颜色来表示。所有黄色点我们可以用标签以看出，有3个类离的比较远，有两个类离得比较近，几乎要混合在一起了。 当然，数据集不一定是坐标，假如你要对彩色图像进行聚类，那么你的向量就可以是(b,g,r)，如果使用的是hsv颜色空间，那还可以使用(h,s,v),当然肯定可以有不同的组合例如(b*b,g*r,r*b) ，(h*b,s*g,v*v)等等。 在本文中，初始的类的中心点是随机产生的。如上图的红色点所示，是本文随机产生的初始点。注意观察那两个离得比较近的类，它们几乎要混合在一起，看看算法是如何将它们分开的。 类的初始中心点是随机产生的。算法会不断迭代来矫正这些中心点，并最终得到比较靠5个中心点的距离,选出一个距离最小的(例如该点与第2个中心点的距离是5个距离中最小的),那么该点就归属于该类.上图是点的归类结果示意图. 经过步骤3后,每一个中心center(i)点都有它的”管辖范围”,由于这个中心点不一定是这个管辖范围的真正中心点,所以要重新计算中心点,计算的方法有很多种,最简单的一种是,直接计算该管辖范围内所有点的均值,做为心的中心点new_center(i). 如果重新计算的中心点new_center(i)与原来的中心点center(i)的距离大于一定的阈值（该阈值可以设定），那么认为算法尚未收敛，使用new_center(i)代替center(i)（如图，中心点从红色点 毕业论文文献综述 信息与计算科学 基于数据库的应用研究 一般来说，一个真正的、完整的站点是离不开数据库的，因为实际应用中，需要保存的数据很多，而且这些数据之间往往还有关联，利用数据库来管理这些数据，可以很方便的查询和更新。数据库在网站编辑中占有很大的比重，几乎没有一个网站能脱离数据库的参与。 高等数学是高校很多专业必修的一门基础课程, 对该门课程的学习不仅可以使学生掌握高等数学的基本概念、理论和方法, 而且还能提高学生的抽象思维能力、逻辑推理能力、空间想象能力、运算能力和综合运用所学知识分析问题、解决问题的能力. 但在传统的教学过程中, 学生普遍反应, 高等数学中的许多概念和基本理论非常抽象, 理解和掌握起来很困难, 这极大地影响了学生学习的效果. 而随着计算机及其应用软件技术的发展, 通过建立数学虚拟实验模型来使学生获得对基本概念的感性认识, 以便帮助学生理解高等数学中的基本概念和理论的方法不仅可行, 而且也取得了很好的效果.。 数学实验的概念可以界定为: 为获得某种数学理论, 检验某个数学猜想, 解决某类问题, 实验者运用一定的物质手段, 在数学思维活动的参与下, 在特定的实验环境下进行的探索、研究活动。建立网上数学实验室可以很好的完成数学实验，而不是抽象的去思考问题，更为直观的看待数学问题。 现如今，抽象的数学教学方法即粉笔+黑板的教学方法已经适应不了现在学生的需求，不管是应用方面突出的工科学院或者纯理论的理学院。过去认为数学课是纯理论课，没有实践性教学环节的观念已经被打破，把计算机引入数学课程教学已是不争的事实。对于突出应用和动手能力的高工专学校，利用数学软件进行数学实验不仅是对数学课程改革、对专业课程的改革的要求，也是时代的发展的必然趋势。 想要建立一个完整的网上数学实验室站点，是需要服务器，数据库，网站设计，网站代码编辑等许多方面的配合。数据库知识是网站建设的基础，网站设计是网站建设的设计图，代码编辑就是实现网站能够面向客户的基本。 数据库知识，在文献1中，讲述了数据库在WEB站点中关于存储和更新时间的长短处理以及如何处理存储更新慢的情况，列举的是电子商务系统里用户对店铺的取舍是由点击转的速度来决定的，而点击后转的速度由数据库来决定的。文中提供了多种解决办法，主要是通过缓存和CachePortal加速方法来解决的。该文献1为我们提供了如何解决点击反映慢的问题，加快网页的反应速度，给用户一个更好的体验。 模式识别基础概念文献综述 一．前言 模式识别诞生于20世纪20年代。随着20世纪40年代计算机的出现，20世纪50年代人工智能的兴起，模式识别在20世纪60年代迅速发展成为一门学科。在20世纪60年代以前，模式识别主要限于统计学领域的理论研究，计算机的出现增加了对模式识别实际应用的需求，也推动了模式识别理论的发展。经过几十年的研究，取得了丰硕的成果，已经形成了一个比较完善的理论体系，主要包括统计模式识别、结构模式识别、模糊模式识别、神经网络模式识别和多分类器融合等研究内容。 模式识别就是研究用计算机实现人类的模式识别能力的一门学科，目的是利用计算机将对象进行分类。这些对象与应用领域有关，它们可以是图像、信号，或者任何可测量且需要分类的对象，对象的专业术语就是模式（pattern）。按照广义的定义，存在于时间和空间中可观察的事物，如果可以区别它们是否相同或相似，都可以成为模式。 二．模式识别基本概念 <一>.模式识别系统 模式识别的本质是根据模式的特征表达和模式类的划分方法，利用计算机将模式判属特定的类。因此，模式识别需要解决五个问题：模式的数字化表达、模式特性的选择、特征表达方法的确定、模式类的表达和判决方法的确定。一般地，模式识别 系统由信息获取、预处理、特征提取和选择、分类判决等4部 分组成，如图1-1所示。 观察对象→→→→→→→→→类→类别号信息获取预处理特征提取和选择分类判决 图1-1模式识别系统的组成框图 <二>.线性分类器 对一个判别函数来说，应该被确定的是两个内容：其一为方程 的形式；其二为方程所带的系数。对于线性判别函数来说方程 的形式是线性的，方程的维数为特征向量的维数，方程组的数 量则决定于待判别对象的类数。对M类问题就应该有M个线 性判别函数；对两类问题如果采用“+”“-”判别，则判别函数 可以只有一个。既然方程组的数量、维数和形式已定，则对判 别函数的设计就是确定函数的各系数，也就是线性方程的各权 值。在计算机上确定各权值时采用的是“训练”或“学习”的 方法，这就是待识别的模式集中挑选一批有代表的样本，它们 经过人工判读成为已知类别的样本，把这批样本逐个输入到计 算机的“训练”程序（或算法）中去，通过一次一次的迭代最 后得到正确的线性判别函数，这样一个迭代的运算的过程成为 训练过程。由于样本的分类首先经过人工判读，因而这样的构 成分类器也称为有人监督或有教师的分类器。 <三>.特征选择和提取 <1>、特征选择 特征的获取是依赖于具体的问题和相关专业的知识的，无法进 利用 K-Means 聚类进行航空公司客户价值分析 1.背景与挖掘目标 1.1 背景航空公司业务竞争激烈，从 产品中心转化为客户中心。针对不同类型客户，进行精准营 销，实现利润最大化。建立客户价值评估模型，进行客户分 类，是解决问题的办法 1.2 挖掘目标借助航空公司客户数据，对客户进行分类。对不同的客户类别进行特征分析，比较不 同类客户的客户价值对不同价值的客户类别提供个性化服 务，制定相应的营销策略。详情数据见数据集内容中的 air_data.csv 和客户信息属性说明 2.分析方法与过程 2.1 分析方法首先，明确目标是客户价值识别。识别客户价值，应用 最广泛的模型是三个指标（消费时间间隔（Recency） ,消费 频率（ Frequency）,消费金额（ Monetary ））以上指标简称RFM 模型，作用是识别高价值的客户消费金额，一般表示一段时 间内，消费的总额。但是，因为航空票价收到距离和舱位等 级的影响，同样金额对航空公司价值不同。因此，需要修改 指标。选定变量，舱位因素=舱位所对应的折扣系数的平均 值=C，距离因素 =一定时间内积累的飞行里程 =M 。再考虑到，航空公司的会员系统，用户的入会时间长短能在一定程度上 影响客户价值，所以增加指标 L= 入会时间长度 =客户关系长度总共确定了五个指标，消费时间间隔 R，客户关系长度 L ，消费频率 F，飞行里程 M 和折扣系数的平均值 C 以上指标， 作为航空公司识别客户价值指标，记为LRFMC 模型如果采用传统的 RFM 模型，如下图。它是依据，各个属性的平均 值进行划分，但是，细分的客户群太多，精准营销的成本太 高。 综上，这次案例，采用聚类的办法进行识别客户价值，以LRFMC 模型为基础本案例，总体流程如下图 2.2 挖掘步骤从航空公司，选择性抽取与新增数据抽取，形 成历史数据和增量数据对步骤一的两个数据，进行数据探索 性分析和预处理，主要有缺失值与异常值的分析处理，属性 规约、清洗和变换利用步骤 2 中的已处理数据作为建模数据， 基于旅客价值的 LRFMC 模型进行客户分群，对各个客户群再 进行特征分析，识别有价值客户。针对模型结果得到不同 价值的客户，采用不同的营销手段，指定定制化的营销服务，或者针对性的优惠与关怀。（重点维护老客户） 2.3 数据抽取选取， 2014-03-31 为结束时间，选取宽度为两年的时间段，作为观测窗口，抽取观测窗口内所有客户的详细数据，形成 历史数据对于后续新增的客户信息，采用目前的时间作为重 点，形成新增数据 2.4 探索性分析本案例的探索分析，主要对 数据进行缺失值和异常值分析。发现，存在票价为控制，折扣 率为 0，飞行公里数为 0。票价为空值，可能是不存在飞行记录，其他空值可能是，飞机票来自于积分兑换等渠道，查找 每列属性观测值中空值的个数、最大值、最小值的代码 最大距离法选取初始簇中心的K-means文本聚类算法的研究 的评论 背景 随着计算机技术和网络技术的飞速发展，人们的生活方式产生了极大的改变。计算机从一个有几个房子大小的巨无霸，已经变成了小巧的笔记本。网络设备也已经从PC端走向移动端。越来越丰富的网络设备，让人们能在网络里畅游，网络对于人们来说触手可及，同时也产生了巨大的数据流量。人们如何从海量的数据中找到有用的信息，成为了现在计算机学科的研究热点。聚类是数据挖掘中重要的一支。由于聚类具有无需先验知识的优势，可以根据数据自然分部而获取知识。聚类成为数据挖掘领域一个非常活跃的领域，而且得到了广泛的应用。聚类就是把一个数据集合分成几个簇，在同一个簇里，数据相关性最高，但是在2个不同的簇里，数据相关性最低。K-means聚类算法主要针对处理大数据集时，处理快速简单，并且算法具有高效性和可伸缩性。但是，K-means聚类算法随机的选择初始簇中心会导致以下缺点：（1）得到的聚类结果中容易出现局部最优，而不是全局最优；（2）聚类结果不具有稳定性，很大程度上依赖于初始簇中心；（3）聚类过程中的迭代次数增加使聚类过程中的总耗时增加。 传统的k-means聚类算法 传统的聚类算法思想：首先从N个数据对象集合中随机选择k个对象，然后计算剩余的N-k个对象与k个对象的距离（相似度），与k个对象中哪个对象的距离最小，就把分给那个对象；然后在计算每个簇中的簇中心，即是每个簇中对象的均值；不断重复这一过程步骤，直到标准测度函数E开始收敛为止。 K-means算法描述如下： 输入：迭代终止条件ε，最大的迭代次数为max，簇的总数目是k，样本集有N个数据对象。 输出：满足迭代终止条件的k个簇和迭代次数s。 随机初始化k个簇中心： 对每个数据对象，分别计算该对象与k个簇中心均值的距离，并选择距离最小的簇将该对象加个到该簇里； 重新计算k个簇的中心，利用函数E计算出此时的函数值； 如果带到最大迭代次数或满足： 地球科学与工程学院硕士研究生学术文献综述报告 1 研究背景及意义 水库是一项重大的水利枢纽工程，自古至今，他承载着防洪发电，灌溉养殖，蓄水航运，供工农业用水、生活用水，观光游览，调节生态平衡等多个任务，在国家的江河综合治理和水资源合理开发利用以及可持续发展方面有着十分重要的地位。一些水库是天然湖泊，一些水库是在山沟或河流的狭口处建造拦河坝形成的人工湖泊，尤其在水系发达的南方地区，许多水库是拦河建坝发电的杰作，举世闻名的三峡工程是有力的代表。 水坝拦截河流使得原先自然河流流域的水环境发生改变，建库前河水的水质和建库后的水质以及水库蓄水初期与正常运行时期的水质都会有一些差异，这些变化规律是水库环境评价、规划、治理和管理的基础，是保证水库合理开发建设的重要依据，所以对水库水质进行研究分析是水利工程的一项重要任务。 由于水坝的拦截作用，水流速度变的缓慢，水面变得广阔，水体的沉淀作用加强、交换速度变缓，稀释、温和能力较差，同时受风浪、地理条件和蓄水更新期等其他因素的影响，使得水库地表水基于河水在水库内长期滞留的结果而出现一系列水质现象，一些水质问题主要表现在以下几个方面： ⑴土壤盐碱化和沼泽化 水库蓄水后，库区地下水水位上升，把深层土壤内的盐分带到地表，再加上灌溉水中的盐分和化学残留物，导致土壤盐碱化。当地下水水位上升到耕作层时，造成了土壤湿度过量，以至大多数包气带破坏，结果大片土地沼泽化。 ⑵水体污染及富营养化 水库蓄水后，盐碱化使土壤中的盐分及化学残留物增加，使地下水受到污染，下游河水的含盐量增大。水面增大，蒸发加快，水体流速减慢，悬浮物沉降，浑浊度降低，透明度提高，加之氮、磷等营养物质大量进入水体使水生植物及藻类过度生长，造成水体溶氧量下降，发生水生物死亡、水质恶化的富营养化问题。 ⑶水库泥沙淤积严重，库区面积有不断减少的趋势 拦河筑坝后抬高了水位，形成了在建筑物前近似水平、而在上游末端与天然河流原水面线相切的水面曲线。水流进入库区后，由于水深沿流程增加，水面坡度和流速沿流程减小，因而水流挟沙能力沿流程降低，出现泥沙在水库回水末端 K-means聚类算法研究综述 摘要:总结评述了K-means聚类算法的研究现状，指出K-means聚类算法是一个NP难优化问题，无法获得全局最优。介绍了K-means聚类算法的目标函数，算法流程，并列举了一个实例，指出了数据子集的数目K，初始聚类中心选取，相似性度量和距离矩阵为K-means聚类算法的3个基本参数。总结了K-means聚类算法存在的问题及其改进算法，指出了K-means 聚类的进一步研究方向。 关键词：K-means聚类算法；NP难优化问题；数据子集的数目K；初始聚类中心选取；相似性度量和距离矩阵 Review of K-means clustering algorithm Abstract: K-means clustering algorithm is reviewed. K-means clustering algorithm is a NP hard optimal problem and global optimal result cannot be reached. The goal，main steps and example of K-means clustering algorithm are introduced. K-means algorithm requires three user-specified parameters: number of clusters K，cluster initialization，and distance metric. Problems and improvement of K-means clustering algorithm are summarized then. Further study directions of K-means clustering algorithm are pointed at last. Key words: K-means clustering algorithm; NP hard optimal problem; number of clusters K; cluster initialization; distance metric K-means聚类算法是由Steinhaus1955年、Lloyed1957年、Ball & Hall1965年、McQueen1967年分别在各自的不同的科学研究领域独立的提出。K-means聚类算法被提出来后，在不同的学科领域被广泛研究和应用，并发展出大量不同的改进算法。虽然K-means聚类算法被提出已经超过50年了，但目前仍然是应用最广泛的划分聚类算法之一[1]。容易实施、简单、高效、成功的应用案例和经验是其仍然流行的主要原因。 文中总结评述了K-means聚类算法的研究现状，指出K-means聚类算法是一个NP难优化问题，无法获得全局最优。介绍了K-means聚类算法的目标函数、算法流程，并列举了一个实例，指出了数据子集的数目K、初始聚类中心选取、相似性度量和距离矩阵为K-means聚类算法的3个基本参数。总结了K-means聚类算法存在的问题及其改进算法，指出了K-means聚类的进一步研究方向。 1经典K-means聚类算法简介 1.1K-means聚类算法的目标函数 对于给定的一个包含n个d维数据点的数据集 12 {x,x,,x,,x} i n X=??????，其中d i x R ∈，以及要生成的数据子集的数目K，K-means聚类算法将数据对象组织为 K个划分{c,i1,2,} k C K ==???。每个划分代表一个类c k，每个类c k有一个类别中心iμ。选取欧氏距离作为相似性和 距离判断准则，计算该类内各点到聚类中心 i μ的距离平方和 2 (c) i i k i k x C J xμ ∈ =- ∑（1） 聚类目标是使各类总的距离平方和 1 (C)(c) K k k J J = =∑最小。 22 1111 (C)(c) i i K K K n k i k ki i k k k x C k i J J x d x μμ ==∈== ==-=- ∑∑∑∑∑ （2）其中， 1 i i ki i i x c d x c ∈ ? =? ? ? 若 若 ，显然，根据最小二乘 法和拉格朗日原理，聚类中心 k μ应该取为类别 k c类各数据点的平均值。 K-means聚类算法从一个初始的K类别划分开始，然 基于K―means聚类的客户细分案例分析 【摘要】当今流行的客户细分理论的视角主要关注在消费市场的细分上，现有的客户细分理论中根据客户购买的产品特征进行细分的分析和研究相对较少，因此本文的研究就是把某品牌鞋子的风格特征作为细分变量，基于某企业的销售数据来进行分析，选择K-means聚类分析方法结合企业的实际情况，划分出不同的客户群，企业可以根据不同客户群的需求和对企业的贡献制定不同的宣传营销策略，降低企业的销售成本，提高企业的竞争力。 【关键词】客户细分K-means聚类案例分析营销策略 一、案例介绍 某公司是一个以鞋类的研发制造及品牌管理为主的时 尚集团公司，业务遍及大中华区（中国大陆、香港、台湾）、亚洲、欧洲及北美洲，是中国最成功的国内品牌之一。该公司在中国经营的组织架构为：总公司――分公司――专卖店。其中，总公司负责拓展策略和公司年度工作计划的制定，以及成本控制和分公司事务管理。分公司负责执行总公司的战略，对专卖店、专卖店人员实施管理，工作内容包括：新开专卖店寻址、申请开店、签约、开店；对分公司人员管理、分公司销售指标达成、执行总公司促销活动等。 二、数据处理 （一）数据准备 原始数据包括两张表：客户交易记录表和鞋子具体属性表，其中客户交易记录表与鞋子属性表连接的变量是鞋子ID，交易记录数据的时间是过去一年2013年9月1日到2014年9月1日。 （二）数据清洗 该企业一年的交易记录有几千万条，所以原始的交易数据量非常大，这样就很容易出现噪声数据、空缺数据和不一致数据，所以必须要经过一系列的分析与处理，包括对缺失值的处理和异常值的处理，例如：去除客户属性为空的客户记录、剔除消费额和消费次数不在正常范围内的客户记录等。 （1）剔除异常的正负交易。从客户交易记录表中选出过去一年交易ID不为空的正常交易记录，交易记录表中的金额有正负之分，正表示购买记录，负表示退货记录，要剔除掉没有正交易与之对应的退货记录。 （2）剔除异常的购买数量和金额。由于有些客户不是会员，专卖店的销售员会帮客户刷自己的会员卡，这样就会出现一个会员ID在一段时间内交易数量和交易金额超出正常范围。本文用3δ准则剔除不在正常范围内异常客户。 （三）数据转换和整合 摘要：介绍了电火花加工控制涉及的主要问题及放电状态检测方法。详细论述了近20年来自适应控制、模糊控制、神经网络控制、遗传算法、专家系统、混合智能控制等在电火花加工中的研究状况。对电火花加工过程中控制变量的优化及过程监测与控制等进行了讨论,就控制技术在电火花加工中的发展趋势进行了展望。 关键词: 电火花加工;自适应控制;模糊控制;人工神经网络控制;混合智能控制 一、前言 经过半个多世纪的研究和开发,电火花加工已成为制造业中一种重要的加工手段,在机械、宇航、电子、仪器、轻工、汽车等领域获得了广泛的应用。然而,电火花加工过程是一个典型的非线性过程[1],影响加工过程的因素很多,其中主要是电源参数和伺服运动参数。电源参数主要包括开路电压、电流、脉冲宽度、脉冲间隔、间隙平均电压、电极放电时间周期等;伺服运动参数包括电极抬刀周期、电极抬刀高度和抬刀速度等;还有其他因素如:工件材料、放电点分布情况、加工深度、电介质浓度、有无冲油等。这些因素相互影响、相互制约,造成了电火花加工过程控制的复杂性。 二、正文 本文将介绍电火花加工涉及的主要控制问题和目前的状态检测技术,然后分别叙述6种控制方式(自适应控制、模糊控制、神经网络控制、遗传算法、专家系统、混合智能控制)在电火花加工过程中的应用情况。 1 电火花加工控制技术 1.1 电火花加工中的主要控制问题 控制对电火花加工质量的优劣一直起着举足轻重的作用,电火花加工过程需解决的主要控制问题有[2]: (1)为了形成有效的放电脉冲,工具电极和工件被加工表面之间必须保持一定的放电间隙,故需控制极间间隙的伺服运动。 (2)要形成稳定、高效的电火花加工,火花放电必须为瞬时的脉冲性放电,故电火花加工必须采用脉冲电源。而脉冲电源的各参数(如:极性、脉宽、脉间、电流幅度)与加工状态及加工聚类分析K-means算法综述
k-means聚类算法的研究全解
基于因子分析和聚类分析的客户偏好探究
利用K-Means聚类进行航空公司客户价值分析
文献综述--例子
第9章rapidminer_k_means聚类.辨别分析v1
关于聚类分析在股票投资中的应用开题报告
matlab实现Kmeans聚类算法
基于数据库的应用研究【文献综述】
模式识别文献综述
利用K-Means聚类进行航空公司客户价值分析.doc
K-means文本聚类算法
文献综述报告(DOC)
K-means-聚类算法研究综述
基于K―means聚类的客户细分案例分析
先进制造技术文献综述详解