大数据时代的统计学
大数据时代的统计学
摘要：本文主要围绕“大数据”展开话题，结合“统计学”专业，论述了什么是大数据，什么是统计学，在对概念的了解基础上掌握大数据的发展历程以及统计学的发展历程。从中找出大数据与统计学的联系，然后进一步了解在大数据时代下统计学所处的地位以及大数据时代下统计学的变化和发展。在前人的研究基础上，我们进一步的发现问题并探讨问题，运用统计学方法去解决大数据时代下的一些问题，并提出自己的看法。
关键词：大数据；统计学；数据挖掘；数据分析
引言
本文写作的目的在于阐述大数据的定义、历史发展及趋势、运用领域等有关大数据的问题，以及阐述统计学的定义、发展趋势、运用领域等有关统计方面的问题。在此基础上探析大数据时代下的统计学发生的变化，带来的影响，以及所导致的统计学的发展趋势。
有关大数据的文献很多，涉及的领域也相当广泛，如互联网、天文学、大气科学、基因组学、大规模电子商务等等，都离不开计算机作为载体，它们都成为了大数据的来源。本文写作主要基于运用统计学知识去处理大数据所涉及问题，而运用统计方法分析问题所涉及的范围也相当广泛。对于大数据的到来，对于统计学来说是福音，因为它为大数据时代处理大数据问题带来了有效的解决方法。
本文所引用文献主要来自于2011年到2015年的国内外有关大数据的期刊文献，从不同角度描述了大数据对当今时代的影响，尤其是对本文的另一位主角--统计学的影响。而对于一个统计学专业出身的人，对于大数据时代下统计学的发展有喜有忧，大数据时代的到来在一定程度上促进了统计学的发展，同样的也带来了巨大的挑战。这些都需要我们一步步的解决并完善。
正文
1 大数据的来源与发展历程
“大数据”这个术语最早期的引用可追溯到apache org的开源项目Nutch。当时，大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。随着谷歌MapReduce和Google File System （GFS）的发布，大数据不再仅用来描述大量的数据，还
涵盖了处理数据的速度[1-5]。不过，大约从2009年开始，“163大数据”才成为互联网信息技术行业的流行词汇。美国互联网数据中心指出，互联网上的数据每年将增长50%，每两年便将翻一番，而目前世界上90%以上的数据是最近几年才产生的。此外，数据又并非单纯指人们在互联网上发布的信息，全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，也产生了海量的数据信息。就这样，“大数据”在不知不觉中进入了我们的生活，无论哪里都有着它的影子，这说明“大数据时代”已经到来。
我们可以这样来定义“大数据时代”，大数据时代是建立在通过互联网、物联网等现代网络渠道广泛大量数据资源收集基础上的数据存储、价值提炼、智能处理和展示的信息时代。在这个时代，人们几乎能够从任何数据中获得可转换为推动人们生活方式变化的有价值的知识[22]。“大数据时代”的到来引起了业界和学界的广泛关注,大量研究成果不断涌现。那么什么是大数据呢？大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据是一种大规模数据的管理和利用的商业模式和技术平台的泛指，它与传统的海量数据不同的是，它除了数据规模呈现几何级数增长的特征之外，还包括所有数据类型的采集、分类、处理、分析和展现等多个方面，从而最终实现从大数据挖掘潜在巨大价值的目的[18]。到目前为止对于大数据还没有统一的定义。
对于大数据，其特点[18]在于：（1）数据体量大。普遍认为PB级的数据为大数据的起点。（2）数据类型繁多。既可以是传统的有因果关系的结构化数据如关系数据库数据，但更多的是诸如网络日志、视频、图片、地理位置信息等等的半结构化和非结构化数据。（3）价值密度低。大数据蕴藏的价值虽然巨大，价值密度却很低，往往需要对海量的数据进行挖掘分析才能得到真正有用的信息，从而产生价值。以视频为例，连续不间断监控过程中，可能有用的数据仅有一两秒。(4) 处理速度快。大数据时代更强调实时分析，而不是批量分析,奉行 1秒定律。即一般要在秒级时间范围内给出分析结果，时间太长就失去价值。
基于统计学的角度，我们应该如何理解“大数据”呢？李金昌认为，大数据不是基于人工设计、借助传统方法而获得的有限、固定、不连续、不可扩充的结构型数据，而是基于现代信息技术与工具可以自动记录、储存和连续扩充的、大大超出传统统计记录与储存能力的一切类型的数据[20]。
2 统计学的发展历程
由于人类的统计实践是随着计数活动而产生的，因此，统计发展史可以追溯到远古的原始社会，也就是说距今足有五千多年的漫长岁月。但是，能使人类的统计实践上升到理论上予以概括总结的程度，即开始成为一门系统的学科统计学，却是近代的事情，距今只有三百余年的短暂历史。统计学发展的概貌，大致可划分为古典记录统计学、近代描述统计学和现代推断统计学三种形态[18-20]。
古典记录统计学形成期间大致在十七世纪中叶至十九世纪中叶。统计学在这个兴起阶段，还是一门意义和范围不太明确的学问，在它用文字或数字如实记录与分析国家社会经济状况的过程中，初步建立了统计研究的方法和规则。到概率论被引进之后，才逐渐成为一项较成熟的方法。最初卓有成效地把古典概率论引进统计学的是法国天文学家、数学家、统计学家拉普拉斯(P.S. Laplace，1749～1827)。因此，后来比利时大统计学家凯特勒指出，统计学应从拉普拉斯开始。
近代描述统计学形成期间大致在十九世纪中叶至二十世纪上半叶。由于这种“描述”特色由一批原是研究生物进化的学者们提炼而成，因此历史上称他们为生物统计学派。生物统计学派的创始人是英国的高尔登(F. Galton，1822～1911)，主将是高尔登的学生毕尔生(K.Pearson，1857～1936)。
现代推断统计学形成期间大致是二十世纪初叶至二十世纪中叶。人类历史进入二十世纪后，无论社会领域还是自然领域都向统计学提出更多的要求。各种事物与现象之间繁杂的数量关系以及一系列未知的数量变化，单靠记录或描述的统计方法已难以奏效。因此，相继产生“推断”的方法来掌握事物总体的真正联系以及预测未来的发展。从描述统计学到推断统计学，这是统计发展过程中的一个大飞跃。统计学发展中的这场深刻变革是在农业田间试验领域中完成的。因此，历史上称之为农业试验学派。对现代推断统计的建立贡献最大的是英国统计学家哥塞特(W.S. Gosset，1876～1937)和费雪(R.A. Fisher，1890～1962)。
在大数据时代，对统计学来说既是机遇又是挑战，机遇在于大数据的分析主要建立在统计学的基础上对数据进行处理、分析，从而使得大数据“可视化”，而挑战在于，当下传统统计学的方法对于大数据的不适用，这需要我们进一步对统计学进行发展与创新。
3大数据时代对统计学的影响
统计学是一门古老的学科，已经有三百多年的历史，在自然科学和人文社会科学的发展中起到了举足轻重的作用; 统计学又是一门生命力及其旺盛的学科，他海纳百川又博采众长，
随着各门具体学科的发展不断壮大。毫不例外，大数据时代的到来，给统计学科带来了发展壮大机会的同时，也使得统计学科面临着重大的挑战。怎样深刻地认识和把握这一发展契机，怎样更好地理解和应对这一重大挑战，这就迫使我们需要澄清大数据的概念"明确大数据的特征; 重新审视统计的工作过程"提出新的统计思想理念[22]。
3.1 大数据对样本和总体的影响
统计利用大数据的目的[6]是为了推断经济总体或社会总体，经济或社会指标的平均数或分位数等情况。统计学强调的是样本的代表性，而代表性这一要求一般是通过概率抽样来满足的。大数据虽然有着海量的样本量，能够提供丰富的信息，但是严格来说，大数据并不是一个抽样样本，相反大数据样本会存在缺乏代表性、信息冗余、存在噪声等诸多问题，这种情况下很容易带来分析结果的系统偏差[26]。
如果说，传统统计研究的数据是有意收集的结构化的样本数据，那么现在我们面对的数据则是一切可以记录和存储、源源不断扩充、超大容量的各种类型的数据。样本数据与大数据的这种区别，具有什么样的统计学意义? 我们知道，样本数据是按照特定研究目的、依据抽样方案获得的格式化的数据，不仅数据量有限，而且如果过程偏离方案，数据就不能满足要求。基于样本数据所进行的分析，其空间十分有限---通常无法满足多层次、多角度的需要，若遇到抽样方案事先未曾考虑到的问题，数据的不可扩充性缺点就暴露无疑。而大数据是一切可以通过现代信息技术记录和量化的数据，不仅所蕴含的信息量巨大，而且不受各种框框的限制---任何种类的数据都来者不拒、也无法抵拒。不难发现，大数据相比于样本数据的最大优点是，具有巨大的数据选择空间，可以进行多维、多角度的数据分析。更为重要的是，由于大数据的大体量与多样性，样本不足以呈现的某些规律，大数据可以体现; 样本不足以捕捉的某些弱小信息，大数据可以覆盖; 样本中被认为异常的值，大数据得以认可。这将极大地提高我们认识现象的能力，避免丢失很多重要的信息，避免失去很多决策选择的机会[20]。所以说，在大数据时代下，大数据既是样本，也是总体。
由于计算机处理技术发生着日新月异的变化，人们处理大规模复杂数据的能力日益增强，从大规模数据中提取有价值信息的能力日益提高，人们将会迅速进入大数据时代。数据时代，不仅会带来人类自然科学技术和人文社会科学的发展变革，还会给人们的生活和工作方式带来焕然一新的变化[22]。
3.2 相关分析变化
大数据时代的到来使得相关分析需要达到的要求更高，针对传统统计分析中的相关测量法存在的缺陷，大数据时代的相关分析首先满足“通用性”和“均等性”两个准则，相关分析的结果应该只与变量之间连动性的紧密程度有关，而不应受变量间相关形式的影响[29-30]。近些年，国外已经有很多学者开始注意到大数据时代相关分析方法的重要性，对如何改进相关分析方法进行了研究。Reshef等学者（2011）基于信息论中关于两个事件集合的相关性信息度量提出了一种关于相关性分析的改进方法--最大信息系数(Maximal Information Coefficient，MIC)的，可以对变量间的非函数相关关系进行有效的识别。David Lopea-Paz等学者（2013）运用 Copula 转换提出了随机相关系数（Randomized Dependence Coefficient，RDC），并与MIC方法进行了对比，证明前者的时间复杂度更低。Hoang V.Nguyen 等学者（2014）根据MIC方法，提出了更一般化的相关分析方法--最大相关分析（Maximal Correlation Analy-sis，MAC），扩展了MIC方法的运用范围，可以对两组变量之间的非函数相关关系进行准确的测量[27]。
新兴的相关分析方法在最近几年涌现，一方面是由于国内外学者看到了大数据分析中传统统计相关分析存在的缺陷，运用传统统计方法已经无法满足大数据时代数据分析的需求；更重要的在于，国内外学者们都看到了大数据时代相关分析思维的重要性，看到了相关分析在特征选择、变量依赖关系识别中的实用性[27]。大数据时代，相关分析的运用范围之广、重要性之大是我们不能忽略的，也是传统相关分析所面临的巨大机遇。如何以相关分析思路为起点探究新的分析方法，使统计相关分析方法能够更顺应时代的变化，体现出传统统计思维的经典与先进，在大数据下能够发挥作用，即是传统相关分析面临的挑战也是机遇[7]。
3.3 因果分析的变化
随着大数据时代的到来，经济中，对于数据的分析发生了很大的变化，从原来的注重因果分析到如今对相关分析的看重。人们不再过多的关注“为什么”。而更加的想知道“是什么”
4 大数据时代下统计学面临的机遇和挑战
4.1 大数据时代下统计学面临的机遇
一个新生事物的出现将必定导致传统观念和技术的革命。数码照相机的出现导致传统相片胶卷和影像业的已近消亡。如果大数据包含了所有父亲和儿子的身高数据，只要计算给定的父亲身高下所有儿子的平均身高就可以预测其儿子身高了。模型不再重要，当年统计学最得意的回归预测方法将被淘汰。大数据的到来将对传统的统计方法进行考验。统计学会不会
象科学哲学那样，只佩戴着历史的光环，而不再主导和引领人们分析和利用大数据资源。现在其他学科和行业涌入大数据的热潮，如果统计学不抓紧参与的话，将面临着被边缘化的危险[8-12]。
现今统计学的目标是通过获取数据和分析数据发现真理( 总体的参数和性质) ，统计方法和理论对数据有过高的要求。而大数据充满了各种随机的、非随机的误差和偏倚，不能满足这些苛刻的要求。按照波普的科学划界准则，只要我们能从大数据中提炼出具有可证伪的结论，那么这个结论还是科学的，可以用于知识积累。这些可证伪的大数据结论可作为进一步科学研究的假说，以数据驱动研究[24]。
4.2 大数据时代统计学面临的挑战
大数据时代并不会自动生成，总是需要不断地提出和解决大数据发展所遇到的问题和矛盾，才会有切实的进步。事物发展的不同阶段有不同的“时务”，需要不同的应对。统计数据的搜集方面，传统的统计抽样调查不再适用，这需要我们结合大数据的来源来搜集数据；数据整理方面，不再是传统的计算机所能运行的，它需要更大的存储以及计算机处理数据的能力；数据分析方面，很多传统的统计方法不再有效，利用这些方法对数据进行分析，未必能得到我们想要的结果，这就需要我们对统计方法的创新与发展做进一步的努力。
对统计工作者而言，这种改变不仅意味着拓宽了统计研究的范畴"丰富了统计研究的内容"增强了统计学的生命力，还意味着统计工作及统计研究的四个转变[22]：（1）转变统计研究过程。传统的统计研究过程包括统计设计、收集数据、整理与分析和统计资料的积累、开发与应用等四个基本环节。大数据时代，由于数据规模巨大、数据结构复杂等特点，以及整理数据可能损坏原有数据中有价值信息，针对大数据的统计研究过程仅包括数据整理与分析和数据的积累、开发与应用两个基本环节。进一步的分析表明，大数据整理与分析过程仅指数据储存工作。总的说来，大数据统计研究过程包括数据储存和数据的积累、开发与应用两个环节。
（2）转变统计研究方法。传统的统计研究方法，如建立回归方程、估计模型参数、检验参数估计结果等因为大数据的特点而无法实施，对大数据的统计分析是以相关关系为基础展开的。但针对大数据的相关关系分析不同于传统的相关关系的分析，传统的相关分析基本是线性相关分析，大数据研究的相关关系分析的不仅是线性相关，更多的是非线性相关以及不明确函数形式的线性关系。
（3）转变统计研究目的。传统统计研究的目的主要是为了探寻现象( 或变量) 间的相关关系、因果关系以及建立在相关关系或因果关系基础上的预测分析。大数据由于数据规模
巨大和数据结构复杂以及要求数据处理速度快等特点，因果分析往往不可行。大数据时代统计研究分析的目的主要是研究现象间的相关关系以及建立在相关分析基础上的预测分析。
（4）转变统计研究工作思想。传统统计研究工作中，囿于计算技术的限制，总是希望用尽量少的数据和相对复杂的模型尽量获取有价值的信息。传统的统计抽样调查方法虽然在小数据时代有助于节省费用、了解总体信息，但可能存在抽样框不稳定、调查样本片面、调查结果经不起细分以及纠偏成本高昂的缺陷。在大数据时代，样本即总体，由于计算机超前的数据处理能力，可以通过分析处理大数据了解总体各方面的信息。另外，还需将传统统计质量管理控制中的事后检验转变为事先预测，以及转变尽量利用复杂模型的思想为巧用简单模型的思想。
结论
从统计学角度定义，大数据不是基于人工设计、借助传统方法而获得的有限、固定、不连续、不可扩充的结构型数据，而是基于现代信息技术与工具可以自动记录、储存和连续扩充的、大大超出传统统计记录与储存能力的一切类型的数据。大数据时代下，统计学发生了很多的变化，传统的统计学方法已经不能够很好的处理大数据问题。这要求我们必须改变传统的统计学分析思维，从数据获取、处理、分析方面找到更加适合大数据的一套完整的统计分析方法。对于每一位统计工作者来说，这既是机遇，有是挑战。机遇在于，在大数据时代下，统计学的地位不容忽视，它是处理大数据问题的有效途径。挑战在于，要得到一套适合大数据的统计分析方法实属不易，这需要我们每一位统计学者和工作者的不懈努力。
参考文献
[1]Rados?aw Bandomir, Mariusz Krawczyk, Jacek Namie?nik. A New Analyzer Based on Pellistor Sensor with Neural Network Data Postprocessing for Measurement of Hydrocarbons in Lower Explosive Limit Range[J]. Journal of Automated Methods & Management in Chemistry, 2005, 2005(2).
[2]S. G. Wesnousky. Possibility of Biases in the Estimation of Earthquake Recurrence and Seismic Hazard from Geologic Data[J]. Bulletin of the Seismological Society of America, 2010, 100(5A).
[3]Patricia L. Mabry. Making Sense of the Data Explosion[J]. American Journal of Preventive Medicine, 2011, 40(5).
[4]V. Letouzey, S. Huberlant, P. Mares et al.. Assessment of Quality of Life of Patients Supported for Genital Prolapse Surgery: Feasibility of a Computerized Data
Collection[J]. The Journal of Minimally Invasive Gynecology, 2011, 18(6).
[5]Patricia L. Mabry. Making Sense of the Data Explosion[J]. American Journal of Preventive Medicine, 2011, 40(5).
[6]卢敏,刘学.大数据-任务并不简单[J].软件和信息服务,2011,11:44-52.
[7]姜奇平.大数据时代到来[J].互联网周刊,2012,01:6.
[8]Hang Yang, Simon Fong, Guangmin Sun et al.. A Very Fast Decision Tree Algorithm for Real-Time Data Mining of Imperfect Data Streams in a Distributed Wireless Sensor Network[J]. International Journal of Distributed Sensor Networks, 2012, 2012.
[9]B. Zhu, L. Xu, D. Faries et al.. PMH83 Comparison of Total Health Care Costs Between Remitters and Non-Remitters for Schizophrenia Patients from a Prospective Longitudinal, Observational Study in the Presence of Missing Data[J]. Value in Health, 2012, 15(4). [10]W. Aigner, A. Rind, S. Hoffmann. Comparative Evaluation of an Interactive
Time-Series Visualization that Combines Quantitative Data with Qualitative Abstractions[J]. Computer Graphics Forum, 2012, 31(3pt2).
[11]Ahmed M. Abdel-Khalek, Mostafa A. Elseifi, Kevin Gaspard et al.. Model to Estimate Pavement Structural Number at Network Level with Rolling Wheel Deflectometer
Data[J]. Transportation Research Record: Journal of the Transportation Research Board, 2012, 2304(-1).
[12]B. Zhu, L. Xu, D. Faries et al.. PMH83 Comparison of Total Health Care Costs Between Remitters and Non-Remitters for Schizophrenia Patients from a Prospective Longitudinal, Observational Study in the Presence of Missing Data[J]. Value in Health, 2012, 15(4).
[13]郭兆辉.营销的未来-大数据[J].软件和信息服务,2012,09:36-37.
[14]李国杰,程学旗.大数据研究：未来可以及经济社会发展的重大战略领域[J].战略与决策研究,2012,27(6):647-657.
[15]卢东明.谈微博上淘宝广告中的大数据[J].软件和信息服务,2013,07:70
[16]霍学文.关于云金融的思考[J].经济学动态,2013,06:33-38.
[17]俞立平.大数据与大数据经济学[J].中国软科学,2013,07:177-183.
[18]李永宏.大数据与云计算[J].统计与管理,2013,06:114-116.
[19]杨少浪.“大数据”背景下的GDP[J].中国统计,2013,10:27-28.
[20]李金昌.大数据与统计新思维[J].统计研究,2014,31(1):10-15.
[21]邱东.大数据时代对统计学的挑战[J].统计研究,2014,31(1):16-17
[22]朱建平.大数据时代下数据分析理念的辨析[J].统计研究,2014,31(2):10-19.
[23]黄永勤.国外大数据研究热点及发展趋势探析[J].情报杂志,2014,33(6):99-105.
[24]耿直.大数据时代统计学面临的机遇与挑战[J].统计研究,2014,31(1):5-9.
[25]冷加起.大数据带来哪些大变革[J].中国统计,2014,12:19-20
[26]解明明.政府统计视觉的大数据样本与总体关系探讨[J].中国统计,2014,12:54-55.
[27]程鑫,石洪波.大数据时代传统相关分析的局限与拓展[J].统计与决策,2015,05:73-74.
[28]李凯,张丽君.二阶部分线性自回归模型的经验似然估计[J].统计与决策,2015,05:75.
[29]郑捷.大数据背景下政府电子商务统计的研究与探索[J].商,2015,03:82-83.
[30]何强.政府统计视阈中的大数据核心思想刍议[J].调研世界,2015,02:50-53.
[31]维克托.迈尔-舍恩伯格,肯尼思.库克耶.大数据时代-生活、工作与思维的大变革［M］.盛杨燕,周涛译，杭州: 浙江人民出版社.
大数据对统计学的冲击与机遇
本科毕业论文(设计) 论文题目：大数据对统计学的冲击与机遇 学生姓名：黄耀真 学号： 1004100311 专业：统计学 班级：统计1003班 指导教师：朱钰 完成日期：2014年 4月 10日
大数据对统计学的冲击与机遇 内容摘要 2010年，全球数据跨入了ZB时代，据IDC预测，至2020年全球将拥有35ZB的数据量，大量数据实时地影响我们工作、生活，甚至国家经济、社会发展，大数据时代已经到来。基于数据关系的内在本质决定了大数据与统计学之间的必然关系，大数据对统计学产生了冲击又提供了机遇。本论文首先对现代统计学体系作了简要介绍。根据统计方法将统计学分为描述统计学和推断统计学，首先从大数据对描述统计学的冲击进行分析，体现在：对搜集数据方法的冲击、对搜集数据类型的冲击、对数据存储方法的冲击。再者对推断统计学的冲击进行总结。大数据对统计学的机遇体现在：抽样平均误差的降低、统计学作用范围的扩大及统计学家地位的提升。 关键词：大数据统计学冲击机遇
The impact and opportunities of big data on statistics Abstract:In 2010,the quantity of data rcached ZB level.According to IDC,there will be at least 35zettabytes of stored data in 2020.Massive data are affecting our life,even the economy and the development of society.The Big data era alredy come.From the perspective of subject, big data can be regarded as a new dataanalysis method due to its function in storage, integration, processing and analysis formass data. The intrinsic nature of big data based on data relationships determines thecertain connection with statistics, thus big data brings both challenges andopportunities to the development of statistics. The statistical was divided into descriptive statistics and inferencial statistics. The challenges of descriptive statistics embodied in the impact on method of data collection, the impact on data type and the impact on data storage.The summary of inferencial statistics.Besides, strengthen convincingness of statistical result,extended statistics system, wilder functionfield as well as higher status of statistician. Key words：Big data statistics impact opportunity
大数据时代的Excel统计与分析定制
大数据时代的Excel统计与分析 第1章大数据分析概述 1.1 大数据概述 1.1.1 什么是大数据 1.1.2 数据、信息与认知 1.1.3 数据管理与数据库 1.1.4 数据仓库 1.1.5 数据挖掘的内涵和基本特征 1.2 制造行业需要分析哪些数据？ 1.2.1 产品的良率监控 1.2.2 产品的BOM设计 1.2.3 市场数据监控 1.2.4 财务数据 1.2.5 产品生产数据 1.2.6 设备预防性维护数据 1.2.7 产品需求数据 1.2.8 其他日常数据等 第2章数据挖掘流程 2.1 数据挖掘流程概述 2.1.1 问题识别 2.1.2 数据理解 2.1.3 数据准备 2.1.4 建立模型 2.1.5 模型评价 2.1.6 部署应用 第3章大数据的Excel统计分析 3.1 研究程序与抽样 3.2 频率分布 3.2.1 传统的建表方式 3.2.2 离散变量—单选题频率布 3.2.3 如何用Word编辑频率分布表 3.2.4 绘制频率分布统计图表 3.2.5 离散变量—复选题频率分布 3.2.6 利用RANK（）函数处理 3.3 集中趋势 3.3.1 平均值\平均值的优点 3.3.2中位数\ 众数\ 内部平均值\ 最大值\最小值 3.3.3 第几最大值第几最小值
3.3.4 描述统计 3.4 离散程度 3.5 假设检验 3.6 单因子方差分析 3.7 相关分析 3.8 回归分析 3.9 聚类分析 3.10预测分析 第4章大数据的图表分析案例 前言：常见图表分析的三大错误 4.1 用实例说明九大类型图表：饼图、柱状图、条形图、折线图、散点图、雷达图、气泡图、面积图、圆环图的应用场合 4.2 几种专业的图表分析法 4.3九大类型图表的生成实例演练 4.4介绍几种专业的图表分析工具，您需要展示与众不同的专业度 -利用双曲线组合图表显示预计销量和实际销量对比 -利用柱形层叠图显示计划完成度 -利用双侧比较图显示市场调查结果 -利用复合饼图深入分析主要销售组成 -使用断层图分析企业数据 第5章数据分析应用实践 5.1 合理的数据呈现与EXCEL/PPT图表制作 图表制作的关键要素 合适的图表展示合适的数据 正确表达需要的主题 图表与文字的协调 图表的结论 5.2科学的数据分析结果解读 注意因果关系 不要以偏概全 考虑环境影响 兼顾定性研究 第6章数据分析报告与汇报 6.1如何撰写一份优秀的数据分析报告 6.2现场实操演练：分析报告撰写 6.3 汇报的技巧 第7章商业预测技术 预测是企业重要的决策依据，企业通过预测技术可以估计下一季度、年度的市场规模、市场占有率、销售量等。 1. 预测责任者与支持者 2. 预测的组织流程
统计学专业就业前景以及课程介绍研究
统计学专业就业前景以及课程介绍研究 1.统计学专业的基本情况以及培养的过程中需要注意的问题 1.1统计学专业的具体含义以及学生以后就业的时候应该进入的公司或者单位的类型 统计学专业在专业方向中主要包含一般统计学以及经济类统计学这两个方向，统计学专业需要培养的人才类型是拥有比较良好的教学或者数学以及经济学素养的综合性人才，其中这些人才应该非常熟练的掌握统计学的相关基本理论或者基本方法，与此同时也需要拥有很好的科学素养，这样才能够比较熟练地利用计算机的相关软件或者功能进行相关数据的分析工作。统计学专业毕业的学生走向社会应聘工作岗位的时候，能够在单位或者公司中进行经济、金融或者相关的管理部门中的相关的统计信息管理工作、相关数量比较分析工作、市场研究工作或者高新科技产品的相关研究、开发、应用或者管理工作，同时也可以在科学研究的相关教育教学部门从事相关的教学工作。 1.2统计学在进行相关人才的培养过程中应该时刻注意的培养要求或者培养标准 这个专业的学生在学校中主要的学习目的就是学习相关的统计学的基本理论知识以及基本计算方法，与此同时增强学生的数学基础，相关的科学综合素养也应该在学校期间进行加强，统计学的相关老师
对学生进行统计学基本理论知识以及基本技能的训练过程中，还需要进行相关的理论研究、实际工作中的应用技能以及利用计算机进行基本的训练或者练习，只有经过这样的训练或者练习之后，相关的学生才能够拥有一定程度的数据处理的基本能力以及统计分析的基本能力。毕业生要想能够在毕业之后掌握非常良好的综合理论知识以及专业技能，才可能在走向社会中找到比较合适的工作单位以及工作岗位。 首先，统计学专业的学生要想拥有比较缜密的思维，相关的教育教学老师应该对学生进行非常严格的科学思维练习以及思维训练，只有这样才能够在拥有比较深厚的数学基础知识的同时，拥有好的科学思维能力。 第二，统计学专业的学生在学习过程中需要掌握统计学的相关专业中的基本原理、基本理论知识以及基本的计算方法，同时相关的计算机的实际操作能力也需要不断的训练以及提升，要让学生经过学习之后拥有采集相关数据、设计相关的调查问卷以及处理调查问卷的结果数据的基本能力。这样才能够在以后实际的工作过程中运用自己的专业知识以及专业技能提升自身公司或者单位的综合实力。 第三，统计学专业的学生不仅仅需要学习非常深厚的专业知识以及专业技能，同时也需要了解与统计学专业相关的自然科学学科、社
统计学是(大数据)数据分析的灵魂
及早发现流感 谷歌有一个名为“谷歌流感趋势”的工具，它通过跟踪搜索词相关数据来判断全美地区的流感情况（比如患者会搜索流感两个字）。近日，这个工具发出警告，全美的流感已经进入“紧张”级别。它对于健康服务产业和流行病专家来说是非常有用的，因为它的时效性极强，能 够很好地帮助到疾病暴发的跟踪和处理。事实也证明，通过海量搜索词的跟踪获得的趋势报告是很有说服力的，仅波士顿地区，就有700例流感得到确认，该地区目前已宣布进入公 共健康紧急状态。 这个工具工作的原理大致是这样的：设计人员置入了一些关键词（比如温度计、流感症状、肌肉疼痛、胸闷等），只要用户输入这些关键词，系统就会展开跟踪分析，创建地区流感图表和流感地图。谷歌多次把测试结果（蓝线）与美国疾病控制和预防中心的报告（黄线）做比对，从下图可知，两者结论存在很大相关性： 但它比线下收集的报告强在“时效性”上，因为患者只要一旦自觉有流感症状，在搜索和去医院就诊这两件事上，前者通常是他首先会去做的。就医很麻烦而且价格不菲，如果能自己通过搜索来寻找到一些自我救助的方案，人们就会第一时间使用搜索引擎。故而，还存在一种可能是，医院或官方收集到的病例只能说明一小部分重病患者，轻度患者是不会去医院而成为它们的样本的。 这就是一个典型的“大数据”的应用例子，舍恩伯格的这本《大数据时代》受到了广泛的赞誉，他本人也因此书被视为大数据领域中的领军人物。 大数据的起源 大数据起源于数据的充裕，舍恩伯格在他的另外一本书《删除》中，提到了这些源头。 1、信息的数字化，使得所有信息都可以得到一个完美的副本； 2、存储器越来越廉价，大规模存储这些数字信息成本极低；
大数据时代统计调查工作的挑战与思考_季晓晶
2013．5 一、问题的提出 大数据（ｂｉｇｄａｔａ）泛指伴随社会化数据出现的大量在线文本、图片、流媒体数据。这里的“大”有两方面含义。一是数据量巨大。指在科学技术、计算机仿真、互联网应用、电子商务等诸多应用领域产生的海量数据集。二是以数据为“大”的价值论。即大数据之 “大”更多地反映在其重要性上，而不完全指数量上的庞大。因为可以从这些数据中挖掘出有价值的信息，目前大数据被世界经济论坛的相关报告认定为其价值堪比石油的新财富。随着互联网和移动互联网的发展，无处不在的信息感知和采集终端，将行政管理、生产经营、商务活动等众多领域源源不断产生的海量即时电子化数据，通过“云计算”技术构建了一个与物质世界相平行的数字世界，所以很多专家认为人类已经跨入了大数据时代。作为数据生产的权威机关，这样一个时代的到来给统计调查工作带来了什么样的挑战与启示？统计调查部门和统计调查工作者应该怎样应对才能满足时代提出的需求？对此，笔者拟结合多年基层工作经历进行初步探讨，意在抛砖引玉，以期更多的同仁共同关注、思考大数据时代对统计工作带来的变化和影响。 二、大数据时代的来临及意义 有资料显示，１９９８年全球网民平均每月使用流量是１ＭＢ，２００８年是１ＧＢ，２０１４年将是１０ＧＢ。全网流量累计达到１ＥＢ的时间在２００１年是一年，在２００４年是一个月，在２００７年是一周，而２０１３年仅需一天，即一天产生的信息量可刻满１．８８亿张ＤＶＤ光盘。淘宝网站单日数据产生量超过５０ＴＢ，存储量４０ＰＢ。百度公司每天要处理６０亿次搜索请求，几十ＰＢ数据。一个城市若安装几十万个交通和安防摄像头，每月产生的数据量将达几十ＰＢ。数据的规模越大，处理的难度也越大，但对其进行挖掘可能得到的价值更大，这就是大数据热的原因。根据中国互联网络信息中心统计，２０１２年底我国网民数为５．６４亿，手机网民为４．２亿。这些网民每天在网上将产生海量的数据，这些数据记载着他们的思想、行为乃至情感，蕴含着丰富的内涵和很多规律性信息，通过分析相关数据，可以了解大众需求、诉求和意见， 反映舆情民意。大数据的重要价值还在于对其有效的开发和使 用能对社会的发展起到巨大的推动作用。企业和政府的信息系统每天源源不断产生大量数据。根据全球第四大独立软件公司，美国赛门铁克公司的调研报告，全球企业的信息存储总量已达２．２ＺＢ，年增６７％。医院、学校和银行等也都会收集和存储大量信息。政府可以部署传感器等感知单元， 收集环境和社会管理所需的信息。２０１１年，英国《自然》杂志曾出版专刊指出，倘若能够有效地组织和使用大数据，人类将得到更多的机会发挥科学技术 对社会发展的巨大推动作用。 （备注：1024B=1KB 1024KB=1MB 1024MB=1GB 1024GB=1TB 1024TB=1PB 1024PB=1EB 1024EB=1ZB 1024ZB=1YB 1024YB=1BB ） 三、大数据时代统计工作面临的挑战 可以预见，大数据时代的到来，对统计调查部门生产出更高质量的统计产品提供了难得的机遇和更大的可能性，但与此同时，带来更多的则是挑战。这种挑战集中体现在随着大数据时代的到来，统计调查部门应该能够使用更少的投入生产出时效性更强、质量更高的产品。社会各界对统计调查部门新的服务需求和更高的工作要求也将随之形成。基于此，笔者认为在大数据背景下，统计调查工作正面临六大挑战。 一是统计工作方式的挑战。在大数据科技大浪潮的背景下，数字化的行政商业记录、网络在线文本、流媒体数据大大拓宽了统计机构收集数据信息的渠道，统计调查部门的业务工作方式也势必发生改变。在数据收集方面， 会更多的需要从互联网、物联网的数据中进行挖掘收集。如物联网的发展将使工业生产、运输物流、最终消费、服务等各种交易生成直接可用的数据。又如，现行的居民家庭日记帐是通过统一的报表和计量方式将调查对象的收入消费行为转化为可用的数据，在大数据时代将有可能实现通过对超市商场收银系统、ＥＴＣ电子收费系统、ＧＰＳ定位测量、银行转账、微信等数据进行挖掘从而收集到需要的数据，不再需要调查对象长期认真的配合。这种数据收集方式可以有效避免人为误差，篡改数据的可能性越来越小，数据质量将更有保 大数据时代统计调查工作的挑战与思考 季晓晶 摘要：大数据(bi g d ata )泛指伴随社会化数据出现的大量在线文本、图片、流媒体数据。因其数据量巨大又可以从中挖掘出有价值的信息， 目前被世界经济论坛的相关报告认定为其价值堪比石油的新财富。随着互联网和移动互联网的发展，无处不在的信息感知和采集终端,将行政管理、生产经营、商务活动等众多领域源源不断产生的海量即时电子化数据，通过“云计算”技术构建了一个与物质世界相平行的数字世界，所以很多专家认为人类已经跨入了大数据时代。作为数据生产的权威机关，这样一个时代的到来给统计调查工作带来了什么样的挑战与启示？ 统计调查部门和统计调查工作者应该怎样应对才能满足时代提出的需求？对此，笔者结合多年基层工作经历进行了初步探讨。 关键词：大数据；统计调查工作；思考 问题研究 １７
大数据时代统计学重构分析
大数据时代统计学重构分析 重构随着信息科学技术的高速度发展,当代获取和储存数据信息的能力不断增强而成本不断下降,这为大数据的应用提供了必要的技术环境和可能.应用大数据技术的优势愈来愈明显,它的应用能够帮助人类获取真正有价值的数据信息.近年来,专家学者有关大数据技术问题进行了大量的研究工作[1],很多领域也都受到了大数据分析的影响.这个时代将大数据称为未来的石油,它必将对这个时代和未来的社会经济以及科学技术的发展产生深远的意义和影响.目前对于大数据概念,主要是从数据来源和数据的处理工具与处理难度方面考虑,但国内外专家学者各有各的观点,并没有给出一致的精确定义.麦肯锡全球数据分析研究所指出大数据是数据集的大小超越了典型数据库工具集合、存储、管理和分析能力的数据集,大数据被Gartner定义为极端信息管理和处理一个或多个维度的传统信息技术问题[23].目前得到专家们认可的一种观点,即:“超大规模”是GB级数据,“海量”是TB级数据,而“大数据”是PB及其以上级别数据[2]. 一些研究学者把大数据特征进行概括,称其具有数据规模巨大、类型多样、可利用价值密度低和处理速度快等特征,同时特别强调大数据区别于其他概念的最重要特征是快速动态变化的数据和形成流式数据.大数据技术发展所面临的问题是数据存储、数据处理和数据分析、数据显示和数据安全等.大数据的数据量大、多样性、复杂性及实时性等特点,使得数据存储环境有了很大变化[45],而大部分传统的统计方法只适合分析单个计算机存储的数据,这些问题无疑增加了
数据处理和整合的困难.数据分析是大数据处理的核心过程,同时它也给传统统计学带来了巨大的挑战[6].产生大数据的数据源通常情况下具有高速度性和实时性,所以要求数据处理和分析系统也要有快速度和实时性特点,而传统统计分析方法通常不具备快速和实时等特点.基于大数据的特点,传统的数据统计理论已经不能适应大数据分析与研究的范畴,传统统计学面临着巨大的机遇与挑战,然而为了适应大数据这一新的研究对象,传统统计学必须进行改进,以继续和更好的服务于人类.目前国内外将大数据和统计学相结合的研究文献并不多.本文对大数据时代这一特定环境背景,统计学的抽样理论和总体理论的存在价值、统计方法的重构及统计结果的评价标准的重建等问题进行分析与研究. 1传统意义下的统计学 广泛的统计学包括三个类型的统计方法:①处理大量随机现象的统计方法,比如概率论与数理统计方法.②处理非随机非概率的描述统计方法,如指数编制、社会调查等方法.③处理和特定学科相关联的特殊方法,如经济统计方法、环境科学统计方法等[7].受收集、处理数据的工具和能力的限制,人们几乎不可能收集到全部的数据信息,因此传统的统计学理论和方法基本上都是在样本上进行的.或者即使能够得到所有数据,但从实际角度出发,因所需成本过大,也会放弃搜集全部数据.然而,选择最佳的抽样方法和统计分析方法,也只能最大程度还原总体一个特定方面或某些方面的特征.事实上我们所察觉到的数据特征也只是总体大量特征中的一小部分,更多的其他特征尚待发掘.
统计专业就业情况调查报告
统计专业就业情况调查报告 统计专业培养具有良好的教学或数学与经济学素养，掌握统计学的基本理论和方法，具有较好的科学素养，能熟练地运用计算机分析数据，能在企事业单位和经济、金融和管理部门从事统计调查、统计信息管理、数量分析、市场研究、质量控制以及高新技术产品开发、研究、应用和管理工作，或在科研教育部门从事研究和教学工作的高级专门人才。 本专业主要到企业、事业单位和经济、管理部门从事统计调查、统计信息管理、数量分析等开发、应用和管理工作，或在科研、教育部门从事研究和教学工作。具体来讲，主要有升学（攻读博士学位）；出国留学；金融和保险部门；投资、证券及社会保障机构；市场调研、咨询及信息产业部门；国家统计部门；各类公司等就业途径。 统计学专业研究生要发展，还是考虑往财税、金融等领域突破，考CPA、精算师等，到银行、会计事务所、保险公司等机构工作。因为单纯的统计是没什么工作好做的，需要和其他的工作（专业）相结合。 近几年来该专业毕业生的就业状况很不好，就业率仅30—40%。而且就业范围比较单一，收入也不高。加之国家扩大专业的招生量，每年毕业的学生也在逐渐增大，就业的趋势越来越严峻。本专业是研究现象总体数量关系的方法论科学，这种现象包括社会现象和自然现象，因而，就业范围很单一，或者到国家政府的各级统计局工作，或者到各高校的统计系做教师。虽然统计专业在社会主义条件下发展很迅速，包括的内容也很繁杂，但统计学专业的毕业生的就业需求却不太理想，人才需求情况是“供大于求”，统计学专业毕业的学生主要从事人口数量、土地数量、财富、国民生产总值、军事等方面的统计工作。 目前国家由于人才的增长率较高，已经打破了以往的“统一分配”，而改为“双向选择、自主择业。”统计学专业也是一样，这种比较灵活的就业政策，给了大学生选择的机会，可以根据自己的条件和志趣，自主地择业。但这也有一个弊端，就是有人要失业。因而也无形中增加了择业的竞争压力。统计学专业毕业的学生就业形势很严峻，社会需求量接近于饱和状态。 普遍来看，统计专业就业面不宽，毕竟是二级科目，但是找工作在很多领域都可以用到，比如可以在会计行业或者在资料管理方面，比如在公司里负责有关
大数据,统计学
大数据时代需要重视统计学 我们现在要开始重视大数据，要重视统计学，因为在数据足够大了之后，我们突然发现一切社会现象到最后都有统计规律，它不像物理学那样可以准确的去描述因果的关系，它从本质上来说就是一个统计的规律。统计学学好了，你再去学别的都战无不胜，因为一切社会现象到最后都是一个统计规律。 为什么要强调统计学呢，因为我们的认知能力中最差的是统计思维。人的大脑有一些功能优良得超过我们的想象，比如我们的语言能力。著名的语言学家乔姆斯基曾说，其实语言不是你学来的，语言是你天生就会的，因为语言太复杂了，要是从出生再学语言根本学不会，等你出生的时候，你的大脑里头已经预装了一套操作系统，语言的操作系统。所以语言我们是天生就会的。 还有，比如我们察言观色的能力，也是天生就会的。但有，一些是我们不会的。一位得诺贝尔经济学的心理学家写过一本书，《思考快与慢》。里面就讲到，我们有很多思维是靠直觉的快思维，这是我们几万年、几十万年、几百万年的自然演化，然后给我们留下来的，就是第六感觉。当你觉得可能有危险的时候，你就会跑掉。但是呢，我们另外一套操作系统是用来做逻辑推理以及进行统计分析的，装得很烂，所以我们天生缺的是逻辑推理能力和统计思维能力。 所以，在大数据的时代，我们最需要补的，其实是我们认知能力中最差的统计思维。如果有在学校的学生，我建议统计学这门课要好好地上。 “大数据”何以成为热门词汇？ 为什么突然之间，大数据变成了一个最热门的词汇？
首先是由于IT革命。IT革命之后，我们有了很多处理数据的能力，对计算机数据的处理能力、存储的能力和计算的能力不断的提高。人类储存信息量的增长速度比世界经济增长的速度要快4倍，而且这还是在金融危机爆发之前的世界经济增长的速度。而计算机数据处理能力的增长速度，比世界经济增长的速度要快9倍。 其次，能够被数据化的东西越来越多。最早的时候是数字可以被数据化，所以我们有了阿拉伯的计数，后来又出现了二进位，再后来我们发现文字也可以处理成数据，然后我们发现又图像也可以处理成数据。我不知道欧美同学会《时代大讲堂》位置在哪里，我就赶紧上网查一查地图，方位也可以被数据化；你用微信、微博，跟朋友在网上交流，说明你的社会关系也会被数据化。 所以这就是为什么现在要谈大数据，因为可处理的东西太多了。而当你能够被数据化的东西越来越多。当你能够拿到的数据越来越多时，就跟原来不一样了。原来的统计学得有一个抽样，因为你不可能拿到整体，因为整体太多了，而且无法去计算。而现在，当存储能力无限扩大，处理数据的计算能力不断的进步，致使现在我们所处理的往往不是一个样本数据，而是一个整体的数据。所以这个时候，有很多原来想都不能想的事情，现在你可以去做。 大数据时代的三个规律 规律一：知其然而不必知其所以然外行打败内行 我先讲一个案例就是葡萄酒。葡萄酒怎么品酒？过去是靠品酒方面的专家。他会先闻一闻，什么味道、什么香味，然后看看是不是挂杯，最后告诉你，这个酒大
(完整版)大数据时代对统计学的影响分析
大数据时代对统计学的影响分析 大数据和统计学两者在本质上是相互联系、相互促进，没有数据也不可能完成统计，所以二者缺一不可。在大数据时代，统计学必须与时俱进，跟上时代发展的脚步，勇敢地接受大数据带来的的挑战和变革，才会走得更长远。而大数据也要珍惜统计学，两者是无法离开的，只有在共同学习进步下，才能够实现双赢，成为主宰。 关键词：大数据时代；统计学；影响分析 引言 对于大数据(Big data)，可以理解为新模式中具备决策性、洞察力、发现力的一门技术。它主要概括数据的自然增长力和多样化的信息资产。 统计学是大数据里面的一门重要的学科。因为它和大数据有着千丝万缕的关系，所以它被人们广泛使用和学习。它是通过整理分析得出来的科学的数据。具有精准性、客观性即概括性。完成统计学的方法有很多种，如调查法、立案法、实验法等主要广泛应用于社会、科学等方面。 一、大数据和统计学的关系 (一)两者的关系 在当今信息时代，用数字代表的信息越来越多，科技迅速发展，互联网时代高速运转，在许多公司用来统计数据的时候，都用的电子表格，进行整理分析。在把它们汇总起来，就成了统计。数据是统计的本质，统计是数据的概括及意义。数据就像零零碎碎的字母，统计就是英语单词，通过整理分析，把字母拼成一个具有意义的单词，这就是数据和统计的意义。只有相互依存，你中有我我中有你。 （二）大数据和统计学的区别 信息功能不同。大数据的意义是某种事物的代表，有些东西要是用它原本的名称代替可能不太放便，这样一个简便的代号即简便又容易记忆。在工作中，工作人员根据超市销售的数据进行整理分析，在汇总起来就是统计，最终他们看得都是统计整理得出的数，分析的也是统计后的数据。因此，统计学是用样本单位来分析和推断数据总体的特征。由数据控制，我们只能根据获得的数据来推断总体数量。在信息时代，越来越多的东西可以用数据表示，几乎全部的信息资料都
经济统计学专业就业方向与就业前景分析
经济统计学专业就业方向与就业前景分析 经济统计学专业就业方向与就业前景分析 经济统计学就业方向可以面向金融，统计，经济，会计这四个大方向。而经济统计学毕业生中大部分人成为了会计，其次是数学教师，然后是银行等金融机构。金融统计学最好的就业方向就是进入 事业单位，但这些单位往往很少招本科的学生，一般都是要求硕士 以上学历。因而，对于本科生来说，经济统计学由于所学范围宽广，知识涉及学科较多，学得广而不精，所以在就业的时候就存在一个 转向的问题。但数据处理是统计学的优势所在，是会计，经济等专 业都没有的优势，所以不必为就业的问题担心。 经济统计学专业能在企事业单位和经济、金融和管理部门从事统计调查、统计信息管理、数量分析、市场研究、质量控制以及高新 技术产品开发、研究、应用和管理工作，或在科研教育部门从事研 究和教学工作的高级专门人才。统计学不仅要注重与其它学科的结合，统计学自身在统计原理、统计技术、统计方法等领域也要谋求 创新和突破。 一直以来，政府统计、部门统计在统计学生的就业中占有较高的比重。然而，随着社会主义市场的完善，随着中国全球化贸易的发展，民间统计越来越热。民间统计是政府统计之外的涉及市场调研、统计分析、预测和决策等内容的`一系列统计活动，包括各类统计调 查公司、统计信息咨询中心、统计师事务所、统计研究所，以及把 统计方法运用于企业决策和管理的企业管理咨询公司等，是介于市 场和企业、居民之间的一个桥梁，主要为企业和居民提供市场微观 信息。民间统计机构，由于其服务的多样性、形式的灵活性，目前 在我国获得大幅度的发展，已经逐渐为广大统计学生提供广阔的就 业机会。随着民间统计机构的持续发展，民间统计机构必将成为统 计学生就业的主要渠道之一。
大数据时代统计学发展的若干问题
大数据时代统计学发展的若干问题 作者：马双鸽，刘蒙阕，周峙利，方匡南，朱建平，谢邦昌 本文是发表在《统计研究》的论文基础上整理的，获国家社会科学基金项目“大数据的高维变量选择方法及其应用研究”( 批准号13CTJ001) 和国家自然科学基金面上项目“广 义线性模型的组变量选择及其在信用评分中的应用”(批准号71471152) 的资助。 一、引言 随着计算机技术，尤其是互联网和多媒体技术的普及与飞速发展，人类社会被呈爆炸性增长的信息所包围。据国际商业机器公司（IBM）资料显示[1]，目前数据的生成每日以千万亿字节来计算，全球近90%的数据是在过去两年产生的。大数据时代已经到来。 基于自身态度和学术背景的差异，目前，来自不同领域、学科的学者对大数据的理解并没有一个统一的定义。依照美国咨询公司麦肯锡（McKinsey）[2]的定义，大数据是指那些规模超出了典型的数据库软件工具的能力来进行捕获、存储、管理和分析的数据集。与传统数据相比，大数据的大不仅仅是体量上的扩充，数据的结构、形式、粒度、组织等各方面都更加复杂。凭借存储成本更低、运行效率更高的现代信息
技术，大数据可以认为是一切可记录的数字化信号集合。从数据特征来看，Grobelink. M（2012）提出了著名的“3V”定义，即多样性( Variety) 、规模性( Volume)、高速性 ( Velocity)[3]。在此基础上，国际数据公司（IDC）认为大数据还具有价值密度低的特点（Value），而国际商业机器公司（IBM）则提出大数据的真实性（Veracity）。[1] 近年来，IBM、Oracle、Microsoft、Google、Amazon、Facebook等跨国公司大力推动了大数据处理技术的发展，大数据在自然科学、金融、医疗、移动通信等领域涌现出了大量应用成果[3]。伴随着大数据的广泛应用，越来越多的学者开始关注和讨论大数据问题，形成了一些颇具影响力、有代表性的观点。其中最典型的要属舍恩伯格和库克耶（2013）提出的大数据时代三个重要的思维转变：更多（不是随机样本，而是全体数据）、更杂（不是精确性，而是混杂性）、更好（不是因果关系，而是相关关系）[4]。上述观点在业界、学术界引起很多共鸣，同时也存在很多质疑[5,6]。此观点对于大数据时代统计学的发展方向具有一定的指导性作用，然而却很少有文章在探讨统计学科如何发展的背景下系统地 对其进行反思。因此，本文首先回顾了统计学发展历史，剖析了统计学的发展总是以应用为驱动，并在此基础上讨论了大数据背景下统计学的发展定位，进一步分析统计学与计算机之间的关系，并针对舍氏“三个重要的思维转变”提出自己
统计学专业就业前景与就业方向
统计学专业就业前景与就业方向 一、统计学专业就业前景 统计学专业主要培养具有良好的教学或数学与经济学素养，掌握统计学的基本理论和方法，具有较好的科学素养，能熟练地运用计算机分析数据，能在企事业单位和经济、金融和管理部门从事统计调查、统计信息管理、数量分析、市场研究、质量控制以及高新技术产品开发、研究、应用和管理工作，或在科研教育部门从事研究和教学工作的高级专门人才。 现在，中国的经济将和世界融合，随着社会经济的发展，要求统计提供更多的统计方法，社会科学本身不断地向细分化与定量化发展，也要求统计能提供更有效的调查整理、分析资料的方法。这样一来，社会对统计人才的要求就更多了，这种社会需求，促使统计学专业的教育发展已迫在眉捷。而且，由于国际化的产生，中国的统计学专业也要和国际接轨，以便于更好地为宏观和微观主体服务。就以上而言，统计学专业的 发展趋势将会有三种。 第一、本专业要改进和完善国民经济的换算体系，逐步与联合国SNA接轨。随着数 学的发展，本专业将越来越广泛地应用数学方法。本专业的新分支或以数理统计为基 础的边缘学科将形成，新分支如抽样理论，非参数统计，多变量分析和时间序列分析等；边缘学科如经济计量学，工程统计学，天文统计学等等。今后尤其要借助电子计算机，促使本专业的教学逐步完善。 第二、本专业将进一步推进中国官方统计与国际接轨教育，首先是统计标准体系的 接轨，其次是统计调查方法的国际化，再次是调查表设计的国际化，统计指标计算方法的国际化，再次是统计信息发布的国际化，最后是严格遵循为调查者保密的原则。 第三、本专业要着力于改进有关统计指标体系的教学。包括清理现行统计指标体系， 规范统计指标的名称、定义、口径及计算方法，使之尽量与国际通用标准一致。计算 一些派生指标，以反映我国经济，特别是服务业的现状。进一步加强“三资”统计，了解外资进入我国的情况，为宏观决策提供准确、可靠的依据。 中国经济发展的对外合作度明显增大，风险也随之增加，各个贸易、外资独资、合 资伙伴出现得越多，风险就会越大，因而，统计学专业的教学，将加大力培养人才，尽快建立健全我国国民经济运作的安全预警监测系统，以保障国家的安全。 二、统计学专业就业方向 本专业是研究现象总体数量关系的方法论科学，这种现象包括社会现象和自然现象，因
应用统计学专业大数据方向人才培养方案
应用统计学专业（大数据方向）人才培养方案 学科门类：理学 二级类：统计学类 专业代码：071202 英文名称：Applied Statistics（Big data） 一、专业培养目标 本专业培养德、智、体、美全面发展，掌握数学、统计学和经济学等相关学科的基本理论和知识，具备运用统计方法和大数据处理技术，利用计算机处理和分析数据的能力，能在企事业、经济、金融、保险等部门从事数据采集、预处理、数据挖掘、大数据应用分析及开发、数据可视化等工作的高素质应用型人才。 二、专业培养规格 1、知识结构 （1）掌握计算机的基础知识。 （2）掌握中外文资料查询、文献检索及运用现代信息技术获取相关信息的基本方法。 （3）熟练掌握一门外语，能顺利阅读本专业的外文资料和撰写外文摘要。 （4）具有社会学、文学、哲学和历史学等社会科学基本知识。 （5）掌握经济学、管理学的基本理论知识。 （6）掌握政治、形式与政策、思想道德修养与法律基础等基本知识。 （7）具有坚实的数学理论基础。 （8）了解与统计学相关的自然学科的基本知识，具有坚实的统计学和经济学理论基础。 （9）掌握统计学的基本思想和方法，熟悉统计政策和法规； （10）理解大数据技术领域的基本理论和基本知识。 （11）掌握大数据科学与技术的基本思维方法和研究方法，了解大数据技术的应用前景、以及相关行业最新进展与发展动态。 （12）具有分布式数据库原理与应用、大数据技术框架、数据分析与方法、数据挖掘技术、数据可视化技术、并行与分布式计算原理、大数据编程技术等专
业知识。 2、能力结构 （1）具有一定的语言文字表达能力，掌握资料查询，文献检索及运用现代信息技术获得相关信息的能力，能够跟踪统计学领域最新技术发展趋势。 （2）具备自主学习、对终身学习有正确的认识，具有不断学习和适应发展的能力。 （3）具有运用统计方法进行数据采集、处理、分析、推断和预测的能力。 （4）能熟练使用统计软件并具备一定的编程能力,并且能正确利用统计思想和方法分析判断软件的计算结果。 （5）具备应用统计方法解决企事业、经济、金融、保险等领域实际问题的能力。 （6）了解相关的技术标准，具有数据处理、分析、呈现等应用技能，具备大数据项目的组织与管理能力。 （7）具有大数据行业领域相关软件产品的应用、大数据系统分析、设计、部署以及维护和管理能力。 （8）具备一定的创新意识和从事大数据领域科学研究的初步能力，有获取最新科学技术知识和信息的基本能力。 （9）具有一定的独立工作能力、人际交往能力和团队合作能力。 3、素质结构 （1）掌握马列主义、毛泽东思想、邓小平理论和“三个代表”重要思想的基本原理，树立辩证唯物主义、历史唯物主义和科学发展观的基本观点。 （2）具有良好的道德品质、社会公德、职业道德和良好的文化素养。 （3）具有爱岗敬业、艰苦奋斗、团结合作的优秀品质。 （4）具有健全的人格、健康的体魄、良好的心理素质和积极乐观的人生态度，养成健全的职业人格和对统计的热爱态度以及良好的体育锻炼习惯, 达到国家规定的大学生体育合格标准和军事训练标准。 三、专业培养规格实现矩阵
大数据时代的统计学
大数据时代的统计学 摘要：本文主要围绕“大数据”展开话题，结合“统计学”专业，论述了什么是大数据，什么是统计学，在对概念的了解基础上掌握大数据的发展历程以及统计学的发展历程。从中找出大数据与统计学的联系，然后进一步了解在大数据时代下统计学所处的地位以及大数据时代下统计学的变化和发展。在前人的研究基础上，我们进一步的发现问题并探讨问题，运用统计学方法去解决大数据时代下的一些问题，并提出自己的看法。 关键词：大数据；统计学；数据挖掘；数据分析 引言 本文写作的目的在于阐述大数据的定义、历史发展及趋势、运用领域等有关大数据的问题，以及阐述统计学的定义、发展趋势、运用领域等有关统计方面的问题。在此基础上探析大数据时代下的统计学发生的变化，带来的影响，以及所导致的统计学的发展趋势。 有关大数据的文献很多，涉及的领域也相当广泛，如互联网、天文学、大气科学、基因组学、大规模电子商务等等，都离不开计算机作为载体，它们都成为了大数据的来源。本文写作主要基于运用统计学知识去处理大数据所涉及问题，而运用统计方法分析问题所涉及的范围也相当广泛。对于大数据的到来，对于统计学来说是福音，因为它为大数据时代处理大数据问题带来了有效的解决方法。 本文所引用文献主要来自于2011年到2015年的国内外有关大数据的期刊文献，从不同角度描述了大数据对当今时代的影响，尤其是对本文的另一位主角--统计学的影响。而对于一个统计学专业出身的人，对于大数据时代下统计学的发展有喜有忧，大数据时代的到来在一定程度上促进了统计学的发展，同样的也带来了巨大的挑战。这些都需要我们一步步的解决并完善。 正文 1 大数据的来源与发展历程 “大数据”这个术语最早期的引用可追溯到apache org的开源项目Nutch。当时，大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。随着谷歌MapReduce和Google File System （GFS）的发布，大数据不再仅用来描述大量的数据，还
统计学就业方向及前景分析
统计学就业方向及前景分析 2016统计学就业方向及前景分析 一、专业介绍 简单地说，进行统计学研究的目的就是寻求各种现象变动的规律性，预测未来。统计学主要分为一般统计和经济统计两类专业方向。一般统计主要是对统计学的基本理论和方法进行研究;经济统计则是 提供科学地调查、搜集经济信息，以及描述、分析经济数据并对社 会经济运行过程进行预测、监督的一门科学。统计学可以帮助生产 者认识市场、认识自身，以求得生存和发展，也能帮助各级管理部 门依据现行经济规律进行宏观决策、调控、监测，以实现社会经济 良性运行。另外，你还可以运用统计学方法，进行医药卫生统计、 生物统计、工业统计等等，总之，统计学已越来越深入地渗透到我 们生活的各个方面，成为各行各业分析和解决问题的重要工具和手段。 二、培养目标 培养能在国家各级管理机构，各类企业事业单位从事计划、统计、经济信息的收集、整理、分析、市场调研预测等实际工作的专门管 理人才以及在高校和研究单位从事教学和研究工作的德才兼备的高 级专门人才。 1、研究方向 01统计理论与方法(学术型) 02经济统计学(学术型) 03投资决策统计分析(学术型) 04统计方法及其在卫生领域的应用(学术型) 05经济应用统计(应用型)
06投资决策统计分析(应用型) 2、入学考试科目 ①101思想政治理论②201英语一或202俄语或203日语③303 数学三④806宏、微观经济学 统计学专业全国较强的招生单位有： 中国人民大学、厦门大学、东北财经大学、上海财经大学、暨南大学、中南财经大学、天津财经大学、西安交通大学、浙江大学、 西南财经大学、北京大学 四、就业方向 一切与经济分析相关的工作。 主要到企业、事业单位和经济、管理部门从事统计调查、统计信息管理、数量分析等开发、应用和管理工作，或在科研、教育部门 从事研究和教学工作。 五、就业前景 1、社会发展对统计学的需求 面向21世纪的信息社会，出现社会经济的多元化，金融交易的 多样化，国际市场间资本的迅猛移动，以及电子商务的出现，所有 这些变化都要求统计学发展新的面目。统计学与经济学，管理学， 计算机科学互相渗透，互相结合，这种渗透结合是统计学的发展方 向之一;统计学也将朝着”大统计”的方向继续发展，中国传统的社 会经济统计学与相对新兴的数理经济学将是统计学的`左右手，并肩 发展。不言而喻，统计学发展了，其就业前景也将更加广阔。 2、民间统计学提供广阔的就业机会 政府统计、部门统计、民间统计是我国统计工作领域的三大巨头。一直以来，政府统计、部门统计在统计学生的就业中占有较高的比重。然而，随着社会主义市场的完善，随着中国全球化贸易的发展，民间统计越来越热。民间统计是政府统计之外的涉及市场调研、统
大数据对统计学的挑战和机遇
大数据对统计学的挑战和机遇 从学科角度而言，大数据对海量数据进行存储、整合、处理和分析，可视为一种新的数据分析方法，这种基于数据关系的内在本质决定了大数据与统计学之间的必然关系，大数据对统计学的发展既提出了挑战又提供了机遇。大数据对统计学的挑战体现在：大样本标准的调整、样本选取标准和形式的重新确定、统计软件有待升级和开发及实质性统计方法的大数据化。大数据对统计学的机遇体现在：统计质量的提高、统计成本的下降、统计学作用领域的扩大、统计学科体系的延伸及统计学家地位的提升。 大数据统计学挑战机遇 一、大数据与统计学的比较 统计学在大数据的研究中存在一定的应用，表现在将“大数据”变成“小数据”，对海量数据的搜索、聚类和分类依赖于统计学的一般方法，因而大数据的研究继承了统计学科的一些特点。但大数据尚未被统计学吸纳和应用，这主要是由于大数据与统计学存在两个很关键的差别。 第一，样本统计和全样本统计的差别。统计学依赖于样本统计（普查除外），样本是按照一定的概率从总体中抽取并作为总体代表的集合体，而随机抽样是有成本的，如时间
成本、资金成本、社会关系等。在样本规模增加有限的情况下，总体数量越大样本估计的误差就越大，这是样本统计不可避免的缺陷。 第二，预测分析和非预测分析的差别。统计学旨在分析变量之间的相关关系，即两个或两个以上变量之间存在的某种规律性，故数据搜集是发生在变量确定之后，数据的分析价值是可预测的。如若要研究利率对消费行为的影响，则利率大小和消费支出的数据会有目的地被搜集和分析。一旦分析目的完成，为该目的而搜集的数据的价值也就完全实现。 二、大数据对统计学的挑战 大数据与统计学的关系及其本身的优势，意味着未来统计学的大数据化是不可避免的趋势，现有的统计学与大数据之间还存在着一些不相容的地方，为积极应对这一趋势，就必须对现有的统计学理论和方法作出相应的调整甚至是某 些方面的完全革新。 统计学依赖于样本统计，主要研究客观事物数量关系和数量特征。大数据时代产生了海量的即时的电子化数据，其样本量大，甚至可以覆盖全部总体，所以包含更多的信息量。例如，传统的经济统计一般细化到行业层面或产品层面，但电子商务的发展和条形码的普及让记录具体到每一次交易 行为。网上电子化交易信息，企业电子化经营记录，部门电子化行政记录，为统计调查提供了海量数据，对统计学样本
大数据时代对统计学的挑战_邱东
第31卷第1期2014年1月统计研究 Statistical Ｒesearch Vol．31，No.1Jan．2014 衡等传统计算机技术与现代网络技术融合起来，把多个计算实体整合成一个具有强大计算能力的系 统，并借助SaaS 、PaaS 、IaaS 、MSP 等商业模式把它分布到终端用户手中。云计算的核心理念就是不断提 高“云”处理能力来减少用户终端的处理负担，使用户终端简化成一个单纯的输入输出设备，并能按需 享受强大的“云”计算处理能力。可见，统计技术与云计算技术的融合是一种优势互补，只有这样统计 技术才能在大数据时代一展身手、有所作为，才能真 正把统计思想在数据分析中得到体现，实现统计分析研究的目的。 数据创造统计，流量创新分析。由于各个应用领域的不断变化，特别是数据来源与类型的不断变化，使得统计学还难以成为一门真正成熟的科学。因此，在数据分析的世界里，不断提高驾驭数据的能力是统计学发展的终身动力。 大数据时代对统计学的挑战 * 邱东 内容提要：本文首先探讨了面对大数据潮流应持有的科学态度，然后从大数据能否淹没整个世界、信息与噪声 能够泾渭分明吗、 统计学与数据科学究竟是什么关系、大数据潮流对统计学究竟产生了什么样的影响等四个方面论述了大数据对统计学的挑战。 关键词：大数据；信息；噪声；数据科学；统计学 中图分类号：C829.2 文献标识码：A 文章编号：1002－4565（2014）01－0016－07 The Challenge of Statistics in the Age of Big Data Qiu Dong Abstract ：This paper discusses the trend to big data which is due from scholars to scientific attitude ，and then discusses the challenges of big data from four aspects as following ：Can big data cover the whole world ？Can Information and noise be quite distinct from each other ？What ’s relationship between statistics and data sciences ？What kind of impact generated on the trend of big data ？ Key words ：Big Data ；Information ；Noise ；Statistics ；Data Sciences *本文为第十七次全国统计科学讨论会特邀论文。 一、除了机遇还有挑战 世界潮流，浩浩荡荡，不可阻挡，国人讲究识时务者为俊杰，信息时代，数据爆炸。大数据大势当 前，究竟采取什么样的态度才是真正的 “识时务”？大数据时代并不会自动生成，总是需要不断地提出和解决大数据发展所遇到的问题和矛盾，才会有切实的进步。事物发展的不同阶段有不同的“时 务”，需要不同的应对。2009年，大数据成为互联网信息技术行业的流行词汇。而早在1980年，著名未来学家A．托夫勒 出版《第三次浪潮》，其中已将大数据赞颂为“第三 次浪潮的华彩乐章”。此间30余年，能不能看作大数据发展的萌芽期？多数人对数据爆炸还懵懵懂 懂，世界需要赛博世界（Cyber world ）的开拓者，需要大数据潮流的预示者，需要导师，需要先声夺人。 一旦人们接受大数据汹涌而来的现实，就需要既讲机遇，也讲挑战。我们固然仍需要启蒙，需要科 普， 需要科学理论和方法论的“二传手”，但不需要跟风，不需要屏蔽了部分信息的“偏息图”，不需要抓住一点不及其余的“唯数据论”，不需要“应运而生”的投机者。我们更需要切实有学术增加值的数