聚类分析方法调研报告

中原工学院理学院本科毕业论文

调研报告

一、调查目的和手段：

调研目的：随着我国经济的进一步发展，信用经济正在也占据着越来越重要的地位，上市公司信用等级也日益受到投资人的重视，由此，信用评价环节也逐渐成为信用关系建立前的必要环节，准确有效的信用调查是上市公司从股民手中获取资金的基本保障，也是整个社会资金链的重要一步。建立一个良好的、有效的上市公司信用评价制度业对于投资人根据企业的盈利状况进行合理选择，以及上市公司的公平竞争，甚至整个市场经济的发展大局，都起着十分重要的作用，它可以使投资人在对企业融资的过程中，尽量减少因信息不对称造成的风险，促进证券市场资本的合理配置，实现企业与投资人的双赢。本次调研旨在利用图书文献资料，了解聚类分析的使用方法及其在企业信用方向的应用信息，为接下来的论文写作打下基础。

调研方法：利用知网等相关网站收集聚类分析方法应用于企业信用等级评价的相关论文与书籍资料，对聚类分析中的系统聚类、模糊聚类等方法进行深入掌握。

二、调研内容简述：

调研内容：首先收集若干家上市公司财务报表中净利润、净利润增长率、加权净资产收益率等数据信息，并找出这些数据与企业信用分类评价的联系。首先，信用评级是根据科学的指标体系对被评级公司履行经济责任的能力及其可信任程度进行客观公正评价的过程。信用评级可分为外部信用评级和内部信用评级两种模式。外部信用评级主要由专门的评级机构做出，并给出相

应的信用统计信息。内部信用评级则是由银行或者企业根据内部模型给出，其中建立内部模型是新巴塞尔资本协议的核心内容之一，该协议正式允许金融机构使用其内部模型管理风险。从国际著名银行的风险管理方式来看，内部信用评级在信用风险管理中的作用日益增强。早期建立的内部信用评级方法是多元判别分析法。1968年，Altman率先将判别分析法应用于财务危机、公司破产及违约风险的分析，建立了著名的Z-score模型和改进的ZETA模型。1977年，Martin放松判别分析法中的正态分布假设，建立了Logistic回归模型，改善了公司财务数据在不满足正态分布的情况下判别方法的正确率。此外，还有几种常见的用于信用风险分析的统计方法：k―邻近法、主成份分析法、聚类分析法和分类树法等。进入20世纪90年代，神经网络引入了银行业，用于信用风险识别和预测。2000年，West建立五种不同的神经网络模型：多层感知器、专家混合系统、径向基函数、学习向量量子化和模糊自适应共振，用来研究商业银行信用评价的准确性。

国内对内部信用评级体系的研究方面起步较晚，目前主要是采用财务数据建立内部信用评级体系，取得了一定的成果。张玲(2004)利用Z值模型对我国上市公司进行信用评级，并分析了我国上市公司资信品质的一些特点。本文从最为常用的财务指标出发，采用上市公司的年报数据建立样本集合，并利用因子分析达到降维目的，把多个指标变量进行综合，以得出若干个能充分反映中国企业信用风险特征的主因子，然后把这些主因子作为聚类分析的变量，对样品进行聚类分析，最后通过分析微观因子的经济意义并结合S&P评级体系确定最后的企业的评级结果。

聚类分析是统计学中研究“物以类聚”问题的多元统计分析方法。聚类

分析在统计分析应用领域已经得到了极为广泛的应用。聚类分析将分类对象置于一个多维空间中，按照它们空间关系的相似性(亲疏程度)进行分类，即聚类分析是一种建立分类的多元统计方法，它能够将一批样本(或变量)数据根据其诸多特征，按照在性质上的亲疏程度进行自动分类，产生多个分类结果。类内部的个体在特征上具有相似性，不同类之间个体的差异性较大聚类分析中个体之间的“亲疏程度”是极为重要的，它将直接影响最终的聚类结果。对“亲疏程度”的测度一般有两个角度：

第一，个体间的相似程度；

第二，个体间的差异程度，通常是观察不同类的个体是否明显区别于其他类的个体。

通过众多资料用聚类分析方法对企业信用分类评价的研究，说明基于聚类分析方法可以作为企业信用评级的一种手段。由于目前中国上市公司的财务数据的质量并不是很高，收集数据十分有限，所以进行的评级只能是一个比较粗略的结果，对企业的信用的评级还有待于财务数据的完整和准确。

阅读的主要参考文献及资料名称：

[1]奚胜田，詹原瑞，韩著钊.因子分析与聚类分析在企业信用评级中的应用[J].北京：中国农机化，2009(01).

[2]吴海建.多元统计的聚类分析方法及应用[J].郑州：河南省情与统计期刊，2003，3：34-35.

[3]王庆健.聚类分析在上市公司财务数据中的应用研究[N]. 安徽电子信息职业技术学院学报，2007，2（6）：88-89.

[4]苗杰，银建华.聚类分析在上市公司绩效评价中的应用[N].昌吉学院学报，

2009，4：94-96.

[5]何晓群.多元统计分析[M].北京：中国人民大学出版社，2011.

[6]冯伟.聚类分析在金融数据分析中的研究[D].沈阳：辽宁师范大学应用数学系，2009.

[7]Pang-Ning Tan，Michael Steinbach，Vipin Kumar，et al.Introduction to Date Mining[M]（范明，范宏建等译），北京：人民邮电出版社，2011，305-402.

[8]曹小奇，郭焦锋等.我国民营企业信用调研报告[R].北京：国务院发展研究中心，2005(05).

三、调研总结：

通过对论文课题内容的深入挖掘及对聚类分析方法的掌握，这次调研我掌握到了很多有用的信息。

第一，翻阅的资料中对聚类分析的讲解十分透彻，在掌握了系统聚类、模聚类的方法后，我可以对接下来的论文写作做到有的放矢。

第二，在上市公司的金融数据上，聚类结果可以指导我们对企业有一个较准确的认识，可以给投资者以建议。一方面，分析各类股票的业绩指标可以判断出绩优的类和绩差的类，高成长的类和低成长的类，由此投资者可在某一类或几类中确定投资范围，提高了投资决策的效率和准确性；另一方面，从聚类的结果中得出类的均衡价格水平，预测股票的价格趋势。低于这一价格水平的，其当期市价与均衡价格的差距就是该股票价格可能的上涨空间，投资者若把握时机对这类股票进行长期投资则承担的风险较小，获利的可能性较大。

第三，通过对企业信用分类评价相关资料的查阅，我了解到建立信用评价模

型需要对企业的股票数据进行综合分析，不能片面纠结于其中一点，才能得出最准确的信用评价结果。另外运用民生证券钱龙金典版进行数据收集时，需要选取不同行业的企业，避免选取企业的重复性。

第四，在对何晓群《多元统计分析》的阅读中，SPSS软件的重要性值得重视，聚类分析需要借助SPSS软件对数据进行处理，在熟练掌握软件操作后，可以很方便的将各种聚类方法应用到信用分类评价中去。

空间聚类的研究现状及其应用_戴晓燕

空间聚类的研究现状及其应用＊ 戴晓燕1　过仲阳1　李勤奋2　吴健平1 (1华东师范大学教育部地球信息科学实验室　上海　200062) (2上海市地质调查研究院　上海　200072) 摘　要　作为空间数据挖掘的一种重要手段,空间聚类目前已在许多领域得到了应用。文章在对已有空间聚类分析方法概括和总结的基础上,结合国家卫星气象中心高分辨率有限区域分析预报系统产品中的数值格点预报(HLAFS)值,运用K-均值法对影响青藏高原上中尺度对流系统(MCS)移动的散度场进行了研究,得到了一些有意义的结论。 关键词　空间聚类　K-均值法　散度 1　前言 随着GPS、GI S和遥感技术的应用和发展,大量的与空间有关的数据正在快速增长。然而,尽管数据库技术可以实现对空间数据的输入、编辑、统计分析以及查询处理,但是无法发现隐藏在这些大型数据库中有价值的模式和模型。而空间数据挖掘可以提取空间数据库中隐含的知识、空间关系或其他有意义的模式等[1]。这些模式的挖掘主要包括特征规则、差异规则、关联规则、分类规则及聚类规则等,特别是聚类规则,在空间数据的特征提取中起到了极其重要的作用。 空间聚类是指将数据对象集分组成为由类似的对象组成的簇,这样在同一簇中的对象之间具有较高的相似度,而不同簇中的对象差别较大,即相异度较大。作为一种非监督学习方法,空间聚类不依赖于预先定义的类和带类标号的训练实例。由于空间数据库中包含了大量与空间有关的数据,这些数据来自不同的应用领域。例如,土地利用、居住类型的空间分布、商业区位分布等。因此,根据数据库中的数据,运用空间聚类来提取不同领域的分布特征,是空间数据挖掘的一个重要部分。 空间聚类方法通常可以分为四大类:划分法、层次法、基于密度的方法和基于网格的方法。算法的选择取决于应用目的,例如商业区位分析要求距离总和最小,通常用K-均值法或K-中心点法;而对于栅格数据分析和图像识别,基于密度的算法更合适。此外,算法的速度、聚类质量以及数据的特征,包括数据的维数、噪声的数量等因素都影响到算法的选择[2]。 本文在对已有空间聚类分析方法概括和总结的基础上,结合国家卫星气象中心高分辨率有限区域分析预报系统产品中的数值格点预报(HLAFS)值,运用K-均值法对影响青藏高原上中尺度对流系统(MCS)移动的散度场进行了研究,得到了一些有意义的结论。 2　划分法 设在d维空间中,给定n个数据对象的集合D 和参数K,运用划分法进行聚类时,首先将数据对象分成K个簇,使得每个对象对于簇中心或簇分布的偏离总和最小[2]。聚类过程中,通常用相似度函数来计算某个点的偏离。常用的划分方法有K-均值(K-means)法和K-中心(K-medoids)法,但它们仅适合中、小型数据库的情形。为了获取大型数据库中数据的聚类体,人们对上述方法进行了改进,提出了K-原型法(K-prototypes method)、期望最大法EM(Expectation Maximization)、基于随机搜索的方法(ClAR ANS)等。 K-均值法[3]根据簇中数据对象的平均值来计算 ——————————————— ＊基金项目:国家自然科学基金资助。(资助号: 40371080) 收稿日期:2003-7-11 第一作者简介:戴晓燕,女,1979年生,华东师范大学 地理系硕士研究生,主要从事空间数 据挖掘的研究。 · 41 · 2003年第4期 上海地质 Shanghai Geology

肤色在各颜色空间的聚类分析

肤色在各颜色空间的聚类分析 摘要肤色是人体表面最显著的特征之一。对不同肤色在RGB、YCbCr颜色空间内和同一肤色在不同亮度环境下的聚类情况进行深入的分析研究,发现肤色在YCbCr空间内聚类效果更好,更适合做肤色分割。然后在此基础上对黑色肤色、黄色肤色及白色肤色在YCbCr空间内进行肤色分割,达到较好的分割效果。 关键词肤色;颜色空间;肤色分割;YCbCr空间 肤色是人体表面最显著的特征之一,由于它对姿势、旋转、表情等变化不敏感,因此将人体的肤色特征应用于人脸检测与识别、表情识别、手势识别具有很大的优势,所以肤色特征是人脸识别、表情识别、与手势识别中最为常用的分割方法。然而,若要利用肤色进行分割,我们首先应该对肤色以及肤色的聚类情况进行分析。 世界上的人种主要有三种,即尼格罗—澳大利亚人种(黑色皮肤),蒙古人种(黄色皮肤),欧罗巴人种(白色皮肤)。尽管人的肤色因人种的不同而不同,呈现出不同的颜色,但是有学者指出:排除亮度、周围环境等对肤色的影响后,皮肤的色调基本一致。本文对在不同环境下的不同肤色进行取样,然后分别在RGB、YCbCr颜色空间进行统计,从而对比分析肤色在各颜色空间聚类的情况。 1肤色在各颜色空间的聚类比较 1.1不同肤色在RGB和YCbCr颜色空间上的分布 图1—图2给出了黄色、黑色和白色肤色分别在RGB、YCbcr空间的分布情况。 由图1—图2可以得出,不同肤色在RGB、YCbCr空间的分布有如下特征: 1)不同肤色在不同颜色空间均分布在很小的范围内。 2)不同肤色在不同颜色空间内不是随机分布,而是在某固定区域呈聚类分布。 3)不同肤色在YCbCr空间内分布的聚类状态要好于在RGB空间内分布的聚类状态。 4)不同肤色在亮度上的差异远远高于在色度上的差异。 1.2肤色在不同亮度下的分布 图3—图4给出了不同亮度下的同一肤色分别在RGB、YCbCr空间的分布情况。图(a)至图(d)的肤色来源于同一人在不同亮度下的照片。

空间聚类分析概念与算法

空间聚类概念 空间聚类作为聚类分析的一个研究方向，是指将空间数据集中的对象分成由相似对象组成的类。同类中的对象间具有较高的相似度，而不同类中的对象间差异较大。作为一种无监督的学习方法，空间聚类不需要任何先验知识，比如预先定义的类或带类的标号等。由于空间聚类方法能根据空间对象的属性对空间对象进行分类划分，其已经被广泛应用在城市规划、环境监测、地震预报等领域，发挥着较大的作用。同时，空间聚类也一直都是空间数据挖掘研究领域中的一个重要研究分支。目前，己有许多文献资料提出了针对不同数据类型的多种空间聚类算法，一些著名的软件，如WEAK、SPSS、SAS等软件中已经集成了各种聚类分析软件包。 1 空间数据的复杂性 空间聚类分析的对象是空间数据。由于空间数据具有空间实体的位置、大小、形状、方位及几何拓扑关系等信息，使得空间数据的存储结构和表现形式比传统事务型数据更为复杂，空间数据的复杂特性表现： (1)空间属性间的非线性关系。由于空问数据中蕴含着复杂的拓扑关系，因此，空间属性间呈现出一种非线性关系。这种非线性关系不仅是空间数据挖掘中需要进一步研究的问题，也是空问聚类所面临的难点之一。 (2)空间数据的尺度特征。空间数据的尺度特征足指在不同的层次上，空间数据所表现出来的特征和规律都不尽相同。虽然在空间信息的概化和细化过程中可以利用此特征发现整体和局部的不同特点，但对空间聚类任务来说，实际上是增加了空间聚类的难度。 (3) 间信息的模糊性。空间信息的模糊性足指各种类型的窄问信息中，包含大量的模糊信息，如空问位置、间关系的模糊性，这种特性最终会导致空间聚类结果的不确定性。 (4)空间数据的高维度。空问数据的高维度性是指空间数据的属性(包括空间属性和非空间属性)个数迅速增加，比如在遥感领域，获取的空间数据的维度已经快速增加到几十甚至上百个，这会给空间聚类的研究增加很大的困难。 2 空间聚类算法 目前，研究人员已经对空间聚类问题进行了较为深入的研究，提出了多种算法。根据空间聚类采用的不同思想，空间聚类算法主要可归纳为以下几种：基于划分的聚类算法、基于层次的聚类算法、基于密度的聚类算法、基于网格的聚类算法、基于模型的聚类算法以及其它形式的聚类算法，如图l所示。 (1)基于划分的聚类 基于划分的聚类方法是最早出现并被经常使用的经典聚类算法。其基本思想是：在给定的数据集随机抽取n个元组作为n个聚类的初始中心点，然后通过不断计算其它数据与这几个中心点的距离(比如欧几里得距离)，将每个元组划分到其距离最近的分组中，从而完成聚类的划分。由于基于划分的聚类方法比较容易理解，且易实现，目前其已被广泛的弓l入到空间聚类中，用于空间数据的分类。其中最为常用的几种算法是：k一平均(k-means)算法、kl中心点(k—medoids)算法和EM(expectation maximization)算法。k一平均算法’使

应用空间聚类进行点数据分布研究_林冬云

2006年　8月第42卷　第4期北京师范大学学报(自然科学版) Jour nal of Beijing N ormal U niver sity (N atural Science )A ug.2006 V ol.42　N o.4 应用空间聚类进行点数据分布研究* 林冬云1)　刘慧平1,2,3)? (1)北京师范大学地理学与遥感科学学院;2)北京师范大学遥感科学国家重点实验室; 3)北京师范大学环境遥感与数字城市北京市重点实验室:100875,北京) 摘要　空间数据挖掘是寻找大数据量空间分布的重要方法,应用地理信息系统(G IS )进行空间数据挖掘是目前进行海量数据分析的重要手段之一.应用空间聚类方法对北京市海淀区54325个企业点数据进行量化分析研究,通过空间位置聚类,进行属性指标量化,从而进行属性指标分层聚类,得到企业空间分布特征.研究表明,空间聚类方法是进行点数据空间分布研究的有效方法. 关键词　空间聚类;企业分布;地理信息系统;量化 *国家自然科学基金资助项目(40271035);国家“十五”科技攻关课题资助项目(2003BA808A16-6) ?通讯作者 收稿日期:2005-11-23 随着数据获取和处理技术的迅速发展及数据库管 理系统的广泛应用,人们积累的数据越来越多,但在激增的数据背后隐藏着许多重要的信息,由于缺乏有效的方法,导致了一种“数据爆炸但知识贫乏”的现象[1],面对这一挑战,数据挖掘(data mining ,DM )和知识发现(know ledge discovery in database s ,KDD )技术应运而生并得到迅速发展,它的出现为自动和智能地把海量的数据转化成为有用的信息和知识提供了手段. 作为DM 技术一个新的分支,空间DM 也称基于空间数据库的数据挖掘和知识发现(spatial data mining and know ledge disco very ),是指从空间数据库中提取隐含的、用户感兴趣的空间和非空间的模式、普遍特征、规则和知识的过程[2]. 空间聚类方法是空间数据挖掘中的主要方法之一,是在一个比较大的多维数据集中根据距离的度量找出簇或稠密区域.聚类算法无需背景知识,能直接从空间数据库中发现有意义的空间聚类结构[3].在无先验知识的情况下,聚类分析技术是进行数据挖掘时的首选[4],因而运用空间数据聚类方法来处理海量数据,对于提取大型空间数据库中有用的信息和知识具有十分重要的现实意义. 目前,对于空间聚类的研究主要集中在算法研究和应用研究上,存在2种偏向,一是从事GIS 理论方法和技术工具研究的工作者大多根据空间对象的地理坐标进行聚类,即只考虑对象的空间邻近性,而不考虑对象属性特征的相似性[2,5];另一种是从事GIS 应用和地学研究的工作者,直接套用传统聚类分析方法,根据属性特征集进行分析,忽视了对象的空间邻近性[6]. 而空间对象本质上具有地理位置和属性特征双重含 义,二者结合才能完整地描述空间特征和空间差异.将地理位置和属性特征纳入统一的空间距离测度和空间聚类分析系统,将会改善空间分析和空间DM 的信息 质量[7-9] . 本文主要应用GIS 分析技术,采用空间DM 中的空间聚类方法,通过将空间位置与属性相结合的聚类方法,对北京市海淀区5万多个企事业单位的点分布数据进行分析,探讨对于属性是定性描述的点分布数据的量化方法. 1　研究区和数据来源 海淀区是北京市重要近郊区,占地面积大,人口众多,交通发达,存在着大量的居民和村民混居现象,是中心城市自上而下的扩散能力最强、城乡一体化程度最高、城乡联系最密切的地区,也是大都市空间扩展的主要地区[10]. 研究使用的数据来源是2001年北京市企业数据的统计表,经数字化处理生成企业单位点位分布图,按照数据文件中企业注册地址信息,结合参考北京市电子地图、北京市街道胡同地图集、北京市地图、网上北京市地图以及有关企事业单位的网站,将海淀区共计54325条记录生成5万多个企业的点分布图. 2　研究方法 应用GIS 提取企事业单位分布空间坐标,进行按位置距离聚类分析,获得位置聚类小区,然后进行属性指标的量化,应用聚类分析进行属性聚类,分析企事业