大数据平台-数据建模总结-技术方案
目录
1 仓库底层模型重构 ............................................................................................................................ １
1.1.1.1 数据仓库建模基本理论.......................................................................... １
1.1.1.2 大数据平台下数据仓库设计思路 ........................................................... ６
1.1.1.3 整合层数据处理思路.......................................................................... ２７
1.1.1.4 整合层主题模型设计关注点............................................................... ２８
1.1.1.5 整合层主题模型算法选择 .................................................................. ３０
1.1.2 核心模型改造方案......................................................................................................... ３１
1.1.
2.1 新核心模型重构设计思路 .................................................................. ３１
1.1.
2.2 新核心模型设计................................................................................. ３２
1.1.
2.3 老核心模型中历史数据迁移............................................................... ３４
1.1.
2.4 新老核心模型同步运行...................................................................... ３５
1.1.
2.5 下游应用切换到新核心模型............................................................... ３５
1.1.
2.6 老核心模型归档下线.......................................................................... ３５
1.1.3 共性加工层重构方案..................................................................................................... ３５
1.1.3.1 方案概述............................................................................................ ３５
1.1.3.2 分层设计方案..................................................................................... ３６
1.1.3.3 数据保留规则..................................................................................... ３６
1 仓库底层模型重构
针对新核心系统的数据表，重新进行整合层的主题域划分及模型设计，逐渐废除现有的新核心向老核心映射后的模型实体。
新设计的模型实体，可优先入模新核心的源系统，不要求外围系统的也按此模型入模（重保高时效应用依赖的外围表除外）。
但新设计的数据模型需考虑卡中心各外围系统，保持模型的稳定性，以及需考虑各源系统的数据到达时间，合理进行模型整合及拆分，保障下游应用的时效。后续外围系统的模型新增及调整，均可以此模型作为参照。
整合成新的仓库模型，在设计上需与传统数仓模型有一定区分，能满足大数据平台的特性，从存储、使用、性能、稳定等角度综合考虑。
由于后续仓库拟不存储敏感信息，需酌情在底层新增敏感信息的弱化信息处理（如手机号是否有效，长度等）。
重构共性加工层的模型，梳理出来的重要指标维度，需在共性加工层进行实现。将各集市及下游的共性指标维度（尤其是基础性指标）进行下沉，以及考虑到处理时效等，减少加工链路。
新核心新的业务特性，或者下游应用使用的一些重点主题，需合理考虑模型或指标维度的新增。
重构后的数据模型，必须能涵盖现有生产的所有下游应用，保障业务的延续性。
底层数据模型的重构，需充分考虑生产上新老两套模型的并行方案，以支持后续两套模型的平稳过渡。
重构后的数据模型，包括整合层及共性层，整体批次时效不得晚于现有生产时效。
数据仓库建模
1.1.1.1 数据仓库建模基本理论
一、数仓建模的目标
访问性能：能够快速查询所需的数据，减少数据I/O。
数据成本：减少不必要的数据冗余，实现计算结果数据复用，降低大数据系统中的存储成
本和计算成本。
使用效率：改善用户应用体验，提高使用数据的效率。
数据质量：改善数据统计口径的不一致性，减少数据计算错误的可能性，提供高质量的、一致的数据访问平台。
所以，大数据的数仓建模需要通过建模的方法更好的组织、存储数据，以便在性能、成本、效率和数据质量之间找到最佳平衡点。
二、四种建模方法
1、ER实体模型
在信息系统中，将事务抽象为“实体”（Entity）、“属性”（Property）、“关系”（Relationship）来表示数据关联和事物描述，这种对数据的抽象建模通常被称为ER实体关系模型。
实体：通常为参与到过程中的主体，客观存在的，比如商品、仓库、货位、汽车，此实体非数据库表的实体表。
属性：对主体的描述、修饰即为属性，比如商品的属性有商品名称、颜色、尺寸、重量、产地等。
关系：现实的物理事件是依附于实体的，比如商品入库事件，依附实体商品、货位，就会有“库存”的属性产生；用户购买商品，依附实体用户、商品，就会有“购买数量”、“金额”的属性产品。
实体之间建立关系时，存在对照关系：
1:1：即1对1的关系
1:n：即1对多的关系
n:m：即多对多的关系
在日常建模中，“实体”用矩形表示，“关系”用菱形，“属性”用椭圆形。ER实体关系模型也称为E-R关系图。
应用场景：
1、ER模型是数据库设计的理论基础，当前几乎所有的OLTP系统设计都采用ER模型建模的方式。
2、Bill Inom提出的数仓理论，推荐采用ER关系模型进行建模。
3、BI架构提出分层架构，数仓底层ods、dwd也多采用ER关系模型进行设计。
2、维度建模
维度建模源自数据集市，主要面向分析场景。Ralph Kimball推崇数据集市的集合为数据仓库，同时也提出了对数据集市的维度建模，将数据仓库中的表划分为事实表、维度表两种类型。
事实表：
在ER模型中抽象出了有实体、关系、属性三种类别，在现实世界中，每一个操作型事件，基本都是发生在实体之间的，伴随着这种操作事件的发生，会产生可度量的值，而这个过程就产生了一个事实表，存储了每一个可度量的事件。
维度表：
维度，顾名思义，看待事物的角度。比如从颜色、尺寸的角度来比较手机的外观，从cpu、内存等角度比较手机性能。
维度表一般为单一主键，在ER模型中，实体为客观存在的事务，会带有自己的描述性属性，属性一般为文本性、描述性的，这些描述被称为维度。
比如商品，单一主键：商品ID，属性包括产地、颜色、材质、尺寸、单价等，但并非属性一定是文本，比如单价、尺寸，均为数值型描述性的，日常主要的维度抽象包括：时间维度表、地理区域维度表等。
维度建模通常又分为星型模型和雪花模型。
星型模型：
雪花模型：
星型模型和雪花模型的主要区别在于对维度表的拆分，对于雪花模型，维度表的设计更加规范，一般符合3NF；而星型模型，一般采用降维的操作，利用冗余来避免模型过于复杂，提高易用性和分析效率。
雪花、星型模型对比：
1、冗余：雪花模型符合业务逻辑设计，采用3NF设计，有效降低数据冗余；星型模型的维度表设计不符合3NF，反规范化，维度表之间不会直接相关，牺牲部分存储空间。
2、性能：雪花模型由于存在维度间的关联，采用3NF降低冗余，通常在使用过程中，需要连接更多的维度表，导致性能偏低；星型模型反三范式，采用降维的操作将维度整合，以存储空间为代价有效降低维度表连接数，性能较雪花模型高。
3、ETL：雪花模型符合业务ER模型设计原则，在ETL过程中相对简单，但是由于附属模型的限制，ETL任务并行化较低；星型模型在设计维度表时反范式设计，所以在ETL过程中整合业务数据到维度表有一定难度，但由于避免附属维度，可并行化处理。
大数据和传统关系型数据库的计算框架不一样，例如对比mapreduce和oracle，在mapreduce里面，每多一个表的关联，就多一个job。mapreduce的每个任务进来，要申请资源，分配容器，各节点通信等。有可能YARN调度时长大于任务运行时间，例如调度需要5秒才能申请到资源，而表之间的join只需要2秒。hive优化里面，要尽可能减少job任务数，也就是减少表之间的关联，可以用适当的冗余来避免低效的查询方式，这是和oracle等其他关系型数据库不同的地方。
（点此了解：MapReduce作业运行机制）
3、Data Vault模型
Data Vault是在ER模型的基础上衍生而来，模型设计的初衷是有效的组织基础数据层，使之易扩展，灵活应对业务变化，同时强调历史性、可追溯性和原子性，不要求对数据进行过度的一致性处理，并非针对分析场景所设计。
Data Vault模型是一种中心辐射式模型，其设计重点围绕着业务键的集成模式。这些业务键是存储在多个系统中的、针对各种信息的键，用于定位和唯一标识记录或数据。
Data Vault模型包含三种基本结构：
1）中心表-Hub：唯一业务键的列表，唯一标识企业实际业务，企业的业务主体集合。
2）链接表-Link：表示中心表之间的关系，通过链接表串联整个企业的业务关联关系。
3）卫星表-Satellite：历史的描述性数据，数据仓库中数据的真正载体。
Data Vault是对ER模型更进一步的规范化，由于对数据的拆解更偏向于基础数据组织，在处理分析类场景时相对复杂，适合数仓底层构建，目前实际应用场景较少。
4、Anchor
Anchor是对Data Vault模型做了更进一步的规范化处理，初衷是为了设计高度可扩展的模型，核心思想是所有的扩张只添加而不修改，于是设计出的模型基本变成了K-V结构的模型，模型范式达到了6NF。
由于过度规范化，使用中牵涉到太多的join操作，目前没有实际案例，仅作了解。
四种基本建模方法对比：
当前主流建模方法为：ER模型、维度建模。
1）ER模型
ER模型应用到构建数仓时更偏重数据整合，站在企业整体考虑，将各个系统的数据按相似性一致性进行合并处理，为数据分析、决策服务，但并不便于直接用来支持分析。
问题：
a）需要全面梳理企业所有的业务和数据流；
b）实施周期长；
c）对建模人员要求高。
2）维度模型
维度建模是面向分析场景而生，针对分析场景构建数仓模型，重点关注快速、灵活的解决
分析需求，同时能够提供大规模数据的快速响应性能。针对性强，主要应用于数据仓库构建和OLAP引擎底层数据模型。
模型选择和设计的原则：
a）数仓模型的选择是灵活的，不局限于某一种模型方法；
b）数仓模型的设计也是灵活的，以实际需求场景为导向；
c）模型设计要兼顾灵活性，可扩展，而对终端用户透明性；
d）模型设计要考虑技术可靠性和实现成本。
总结
数据仓库建模中维度建模和3NF建模并不是OR的关系，它们更像是上下层的关系。
3NF基础模型更注重源数据怎么放，它是一个重在数据存放的数据仓库模型，基本特性为主题，标准化，集成、相对稳定、反应数据的历史变化。
维度模型更注重数据怎么用，它是一个面向数据分析型的数据仓库，基于事实表关联维度表进行多维分析。
传统数据仓库建设层级基本是
贴源层-> 3NF基础模型->维度模型层
1.1.1.2 大数据平台下数据仓库设计思路
1.1.1.
2.1 总体概述
1.1.1.
2.1.1 总体架构
在大数据背景下数据仓库模型包括基础层、共享层、应用层，其中基础层又包括ODS层和整合层，而ODS层又可以进一步根据需要分为增量贴源层和ODS历史层。
1.1.1.
2.1.2 基础层
基础层通常包括贴源层、ODS历史层、整合层。
贴源层
通过Hive外部表搭建，存储每日增全量数据无需保留历史。
ODS历史层
ODS历时层保留初始全量数据以及每日增量数据，通过数据日期搭建分区表。ODS历史层是大数据平台下数据仓库模型架构中的一个新增层，也是数据仓库中非常关键的一层，它简单粗放的保留了原始数据历史轨迹，为平台下游应用的多维度，多视角分析挖掘提供数据保证。ODS 历史层设计特点是冗余的，贴源的，可追溯的。在传统的数据仓库模型架构中由于存储的限制，ODS历史层没有落地。
整合层
整合层是整个数据仓库的核心层。数据经过ODS历时层之后再这里进行加工整合。我们通常所说的ER、DM、DV等建模方法在这里落地。整合层的设计因客户具体的数据情况而异。
基础层设计以数据为驱动。
1.1.1.
2.1.3 共享层
共享层根据应用需求存储共性加工数据，避免数据集市的烟囱式开发。共享层采用维度模型设计思想。共享层设计以应用为驱动。
1.1.1.
2.1.4 应用层
应用层通常按主题划分为财务，风险、客户、绩效等主题指标。应用层设计以业务需求为驱动。
1.1.1.
2.2 设计范围
数据仓库建设由下而上，从基础层开始，我们首先需要梳理平台涉及到的数据范围。
1.1.1.
2.3 设计目标
数据仓库基础层建设包括贴源层、ODS历史层、整合层的建设。其中贴源层、ODS历史层建设逻辑比较简单，在此不再多讲。下面着重描述整合层的建设。整合层的定位，整合层的设计目标主要包括：
中性的，共享的：整合层的设计不针对某个特别的应用而设计，能涵盖银行业的业务范围，且满足金融机构不断产生的业务发展需求。
灵活的，可扩展的：能存放最详尽的历史数据，业务发生变化时易于扩展，适应复杂的实际业务情况。
稳定的，经得起考验的：数据模型能够在很长时间内保持稳定性，回答不断产生、不断变化且无法预先定义的业务问题。当未来新增源系统入仓或是大量新增源系统表，主题模型依然保持稳定，不会对模型进行大幅度的重构操作。
规范的，易懂的：使用业务语言进行模型设计，易于让业务人员理解和使用，有助于IT和业务部门人员的沟通。
1.1.1.
2.4 总体设计原则
中信银行信用卡中心主题模型层逻辑数据模型设计将本着以博易公司 FS-LDM产品整合层模型为核心骨架，结合博易公司 FS-LDM在其他银行同业客户化的实施经验，后期参考中信银行信用卡中心大数据架构提升项目高阶模型现状和数据标准现状，同时充分考虑源系统的各种数据信息项以及信息调研的结果，搭建中信银行信用卡中心主题模型层高阶模型。
主题设计原则
博易公司 FS-LDM包含10大主题。
在进行具体的数据调研后，会根据具体的业务调研分析进行一一对应且保证业务含义相同。同时也会梳理每个主题涉及到数据标准情况并进行一一对应。
在高阶逻辑数据模型设计阶段可能不对现有主题进行裁减，在详细设计阶段将结合信息调研分析结果，决定逻辑数据模型主题是否物理化。
核心实体设计原则
以FS-LDM中的现有实体为基础，结合FS-LDM在其他银行同业客户化的实施经验，参考中信银行信用卡中心数据仓库高阶模型现有成果和数据标准成果，形成中信银行信用卡中心高阶设计模型中的实体。结合源系统信息调研分析的结果和最终应用的需求，再对高阶模型进行完善。
1.1.1.
2.5 整合层主题说明
1.1.1.
2.5.1 当事人（PARTY）
当事人PARTY：一个人或者一组人，指金融机构所服务的任意对象和感兴趣进行分析的各种对象。如：个人或公司客户、潜在客户、代理机构、雇员、分行、部门等。一个当事人（Party）可以同时是这当中的许多角色。它们之间存在许多关系，如银行机构与客户（管理机构、开户机构等），内部机构之间（上下级等），企业之间（集团客户、担保人等），企业与个人（雇佣、担保等），个人之间（父子、夫妻、联络人等），这些在模型中都可以体现。
1.1.1.
2.5.1.1 数据准入原则
符合当事人定义的数据都进入当事人主题，但只有满足如下准入原则的当事人才会进入当
事人主实体：
符合当事人定义。
具有唯一标识和有效鉴别信息的当事人。
基本信息较为完备的当事人。
除客户外与银行有紧密的业务或服务关系、且银行对其绩效或行为非常关注的当事人。例如：银行员工、商户。
内部机构作为当事人主题中一类特殊信息予以纳入。
不满足上述条件或满足下述例外情况之一者，则不入当事人主实体：
由于柜员或用户可能是一个自然人，也可能是为了业务操作需要而建立的虚拟用户，以及柜员或用户的属性信息具有角色性、专有性、信息不完整性等不同于当事人定义的特征属性，所以柜员或用户不入当事人主实体，而作为独立实体进行存放。
业务系统中无独立的唯一标识的当事人如无特殊原因不入主实体，而将该类当事人作为主实体当事人的重要关联人存放，例如：当事人的委托人、第二联系人、监护人、法人等。
1.1.1.
2.5.1.2 实体分类原则
参照FS-LDM模型架构，数据仓库逻辑模型中当事人层级分类如下：
第一层：分为个人当事人和机构当事人，个人当事人下存放所有个人的信息。
第二层：机构当事人分为单位客户、内部机构、商户，单位客户主要存放对公客户信息，内部机构下主要存放中信银行信用卡中心的内部组织机构信息，商户主要存放商户相关信息。
1.1.1.
2.5.1.3 ID生成规则
当事人信息来自于多个源系统，如果直接使用源系统当事人编号，则入仓时有可能造成编号重复；如果对每个源系统的当事人通过一定编码规则来区分不同系统间的不同当事人，则有可能造成仓库内以及仓库下游系统使用当事人编号时不便。
1.1.1.
2.5.1.4 数据整合原则
当事人主题的当事人信息来源于各个系统，而各个源系统间又存在着客户信息的交互，当不同源系统站在不同业务角度使用客户信息时，则造成了源系统对客户信息保存的侧重点不同。
当事人主题数据整合原则如下：
来源不同系统的不同当事人编号，分别单独入仓。例如，核心业务系统、对公信贷业务系
统。
使用其他系统原生数据作为本系统数据的源系统，在字段名称（业务含义）完全一致的情况下，字段取值一致的情况下，则以原生系统的数据为准进行入仓；
使用其他系统原生数据作为本系统数据的源系统，在原生数据基础上修改字段取值，并增加字段的情况下，该系统客户信息单独入仓。例如，理财产品销售系统通过联机交易向核心系统发起客户信息查询，并可以对除客户号以外的其它字段值进行修改，并在核心系统查询客户信息基础上添加客户客户风险等级、客户经理等字段保存在本系统的客户信息表中。
1.1.1.
2.5.1.5 历史处理原则
针对当事人主题中各当事人的不同特征，在数据仓库中会考虑对当事人的重要的可能会变化的属性保留其变化的历史轨迹，即对其进行数据的历史拉链处理，以达到使用者可以追溯到任意时点当事人的关键属性信息的目的。考虑进行历史拉链处理的内容主要涉及如下：当事人名称历史
当事人鉴别信息历史
当事人地址关系历史
当事人重要关联人历史
当事人统计信息历史
当事人评分历史
当事人评级历史
当事人关系历史
当事人状态历史
1.1.1.
2.5.1.6 例外处理原则
无例外处理。
1.1.1.
2.6 产品（PRODUCT）
产品是银行及其关联的当事人提供给市场、能单独销售并满足客户的某种需求，可以从中赚取各种实际或潜在收入的有形商品或无形服务。
产品可以通过产品特征加以描述，产品特征是金融机构提供的所有可以应用于产品的有效产品特征，它标识了金融机构在提供产品时的限制或附加条件。在银行业的例子有手续费、期限、允许的展期和提前通知的要求等。
为满足银行内部管理的需要和适应不断变化的业务需求，可以根据实际情况结合产品特性将产品分组，即“产品组”，用于提供信息进行分析比较。如个人定期存款是产品组，而个人人民币通知存款、个人外币通知存款是可销售的产品，都属于个人定期存款产品组。产品组可以有多个分组标准，也支持多个产品标准分类。
出于市场竞争的需要，或作为市场营销的结果，将一些产品打包、捆绑销售，称其为“产品包”。产品包的产品没有相似性，如抵押贷款与财产保险可以组成产品包。
产品与当事人、协议与渠道之间存在多种关系。
1.1.1.
2.6.1 数据准入原则
符合产品定义的数据将进入产品主题，但只有满足如下准入原则的产品才会进入产品主实体：
符合产品的定义。
多个系统对同类产品有描述，取最细粒度的系统的产品数据。
符合以上条件的数据，将进入产品主实体。
1.1.1.
2.6.2 实体分类原则
依据博易公司的FS-LDM对产品的分类方法逻辑模型中产品划分为：银行产品、保险产品、投资产品等等。
在银行产品下细分为：
1.1.1.
2.6.3 ID生成规则
产品的唯一标识通常是产品编号，有的根据实际情况加上银行号，源系统号等前缀。
1.1.1.
2.6.4 数据整合原则
源系统产品信息通常以不同形式分布在各源系统中，且不会根据产品目录进行数据的调整，根据数据准入原则将各源系统与产品有关的数据保存在不同的实体中，公共信息存放在产品主实体表中，其他属性信息在不同实体中进行保存。
进入产品的数据是最原始的底层的产品，依据ID生成原则给每个产品分配一个ID，以区分产品的唯一性，但对数据不做整合。
产品重要属性及与其它主题的关系都将保存历史信息，便于追踪其历史变化轨迹。根据这一原则，产品主题的主要历史信息如下：
产品状态历史
产品产品组关系历史
产品当事人关系历史
协议产品关系历史：为方便分析使用，一些账户可能会对应多个产品，或者产品的编码会发生变化。
产品渠道历史
1.1.1.
2.6.6 例外处理原则
无例外处理。
1.1.1.
2.7 协议（AGREEMENT）
协议（AGREEMENT）是当事人之间签立的契约关系，它的形式可以是多样化的，如账户、客户使用银行服务所签订的合同等，当金融机构与客户之间针对某种产品或服务的约束和条件达成契约时，一个协议（AGREEMENT）就会被开立，因此协议是客户和银行往来的重要载体。
协议主题的设计主要借鉴FS-LDM的设计框架，并将充分考虑中信银行信用卡中心业务系统的个性特点；数据仓库整合时会尽量保留各业务系统的协议信息原貌和历史变更记录，只有部分完全由基础数据衍生加工汇总的数据及冗余的数据会考虑进行舍弃。
协议主题的模型结构主要存储中信银行信用卡中心和客户签订的各种形式的协议内容，包含协议的签约信息、协议的主要属性历史变迁记录、协议主题与其它主题的关系变化历史，协议的明细记录和协议相关的限额、违约、风险评级记录。
1.1.1.
2.7.1 数据准入原则
符合协议定义的数据将进入协议主题，但只有满足如下准入原则的协议才会进入协议主实体：
符合协议定义的对象。
银行重点关注的业务对象内容。
参照FS-LDM模型架构，数据仓库逻辑模型中协议的分类方法如下：
协议主要分为金融协议、保险协议等其他协议：
金融协议：银行与当事人签订的协议，以及银行内部管理及投资协议。
保险协议：包括组织和个人的保险，包括财产险、伤亡险、人寿险等。（由于中信银行信用卡中心不存在独立的保险业务产品，所以在中信银行信用卡中心保险协议仅是逻辑分类）金融协议依据不同类型逐层细分，第一层：
账户借据类协议：该实体是指涉及金额、期限、利率等的具体协议细项的银行传统账户，一般为银行客户的账户，如对公存款账户、对公贷款账户、储蓄账户等，也可以是内部核算的内部账户和表外账户。账户借据类协议有两部分，一部分的账户是会计核算的主要构成单位，主要来自核心系统；另一部分的是来自外围系统，涉及到余额，份额信息的账户，为了统计方便通常虚拟为账户信息，存放在账户借据类协议中。
由于实际业务分析中经常存在针对各类账户信息进行的统计和分析，所以把账户借据类协议独立划分为一类。
银行账户主要涉及信息：
账户与当事人的关系：开户机构、所属机构、开户柜员、审批用户等
账户的状态：基本状态，挂失状态，冻结状态等
账户的计息方式、利率代码
账户的重要日期：开户日期、起息日期、到期日期等
账户的余额、限额：账户余额、圈存金额、透支额度
帐户的凭证、科目信息
银行账户下又可划分为：存款账户、贷款借据、信用卡账户、内部账户、同业存放账户、投资理财账户。
合同类协议：银行与当事人针对特定的服务或产品而签订的契约，以及银行出于融资、投资的目的而与第三方或银行自身内部机构之间签立的契约内容，合同类协议与账户借据类协议在数据存储上是排他的分类。
合同类协议下按照协议中涉及到的产品，可以有以下分类：
贷款协议：针对银行为客户提供的信贷产品而签立的契约内容，包含对公贷款合同，零售
贷款合同，授信合同，担保合同等；
同业往来协议：在基于资金清算资金融通等需求，银行与其他金融机构之间发生资金存放或金融资产买入卖出业务时签订的协议；
资金交易协议：银行在金融市场进行交易、投资及资金融通，以获得回报的业务时，签立的契约内容，包括银行代客资金交易协议及银行自营资金交易协议；
支付结算协议：银行为客户办理货币收付、资金划拨有关的收费业务时签定的契约内容，又可分国内对公结算、国内个人结算、国际对公结算、国际个人结算。下面主要包含票据、信用证、汇款相关的协议。
现金管理协议：客户在使用银行提供的现金管理产品时签订的协议。目前主要包括现金池管理及附属账户管理
组合产品协议：客户购买银行将若干基础产品捆绑组合形成的产品包时，签订的协议。目前包含存贷宝签约协议、新存贷宝签约协议、借贷合一签约协议及理财计划签约协议等。
委托代理协议：银行代表委托人处理协定事项，而签立的契约内容，下面包含代理销售协议（银保通签约协议，储蓄国债签约协议，实物黄金签约协议等）、代理收付款协议（代收水电费，代发工资）等；
其他中间业务协议：客户在购买或使用其他中间业务相关产品时签订的协议，如短信通签约协议。
1.1.1.
2.7.3 ID生成规则
协议的唯一标识由“协议编号”和“协议修饰符”两部分组成。其中“协议编号”沿用源系统使用的编号（通常为账号、合同号等）。EDW首先按照系统来源、业务规则含义等把协议进行分类，然后就每个协议分类加工不同的协议修饰符。
来源于核心系统的账号信息，由于会经常在其他业务系统中关联使用，且核心会保证账号的唯一，所以协议修饰符置空串。对于其他的源系统来说，如果协议的编号是该表主键时，“协议修饰符”选用“协议类型代码”；否则，需要补充源表其他主键字段作为“协议修饰符”的一部分。
1.1.1.
2.7.4 数据整合原则
协议的来源分布在各个源系统，而且各个源系统又存在着接口数据的交互，当各个源系统关注同一个协议时，必然由于自身特点导致对信息记录的侧重不同。整合多个系统中同一个协议信息的原则，首先是先考虑采集协议产生的最原始来源，再考虑协议信息的互补。在同一协议的多系统信息整合中，要充分考虑双方系统的关联匹配规则，如关联匹配规则不明确，建议不整合。
对公贷款合同及对公贷款借据的信息在核心业务系统与对公信贷系统中都存在，通常贷款账户信息以核心为准，合同和借据信息以信贷系统为准。
协议主题的各个分散于源系统的独立协议信息，由于自身属性相互独立，不涉及整合问题。协议主题中引用的“某某代码”字段在代码整合时会单独进行处理，如“协议状态代码”、“协议类型代码”等。
1.1.1.
2.7.5 历史处理原则
协议的所有主要属性都会保存历史信息，如状态、金额（余额）、风险、利率、重要日期、协议申请等会保存在单独的实体中，而其余属性会在主表中保存历史。
协议与协议、当事人、事件、财务、资产、产品、投资组合产品历史等主题也存在密切的关联关系，最终会体现在主题关联历史实体当中。
1.1.1.
2.7.6 例外处理原则
无例外处理。
1.1.1.
2.8 内部机构（INTERNAL ORGANIZATION）
内部机构INTERNAL ORGANIZATION：作为一种特殊的当事人，内部机构可以是金融机构的内部机构，也可能是任何一个法人机构的内部组织。内部机构的概念比通常意义更加宽泛，它可能是正式机构的某个组成部分（如分支机构、部门等），也可能是一些具有特定功能的团队。
本模型中内部机构（Internal Organization）是指金融机构的内部组织和业务单元，如总行、分行、支行、营业网点等。通过该主题的建立能够体现不同组织机构之间的层次隶属关系、机构自身的行政级别，同时还能够适应组织机构变动的灵活性以及交叉管理的需要。该主题和当事人、协议、事件等主题都有关联。
1.1.1.
2.8.1 数据准入原则
严格意义上机构是一种特殊的当事人，可以归属为当事人的子类。然而，从应用分析的角度出发，银行经常会基于机构的角度进行绩效考核等各种指标的分析，因此，将机构作为单独一个主题存放。在当事人主题中的当事人关系历史里建立当事人与机构间的对应关系。
符合内部机构定义的数据将进入内部机构主题，进入主实体的原则如下：
符合内部机构定义。
符合当事人的准入原则。
业务系统有独立的唯一标识内部机构。
凡是符合内部机构定义的源系统数据，都纳入逻辑数据模型设计范围，而记录内部机构基本属性信息（例如名称、状态、成立撤销时间、级别等）放入主实体。
1.1.1.
2.8.2 实体分类原则
内部机构实体下包括中信银行信用卡中心下属的所有内部机构，例如：总行、分行、支行、营业网点等，在模型设计上没有对内部机构实体再进行分类。
1.1.1.
2.8.3 ID生成规则
“机构编号”是内部机构的唯一标识字段。通常各源系统分别设计了适用于自身业务需要的机构体系并赋予其各种职能等属性。
出于仓库内部和仓库下游系统数据使用的便捷性考虑，以及通过信息调研了解ID不重复的情况下，直接使用源系统机构编号作为内部机构主实体ID。对于某些源系统机构编号为变长字段，则在内部机构生成规则中添加系统编号作为前缀。
1.1.1.
2.8.4 数据整合原则
通常主要存在以下三种情况：
某个源系统直接引用其他源系统的机构信息，该种情况下直接使用原生系统的机构信息入仓；
不同源系统机构信息分别入仓：
场景1：源系统分别设计了适用于自身业务需要的机构体系并赋予其各种职能等字段，该种情况在保证机构编号不重的前提下，对不同源系统的机构信息分别入仓。例如对公信贷业务系统、国际业务系统。
场景2：使用其他系统原生数据作为本系统数据的源系统，在原生数据基础上修改字段
取值，并增加字段的情况下，该系统内部机构信息单独入仓。例如票据系统使用对公信贷系统机构信息作为基础，新增字段和修改某些字段取值。
1.1.1.
2.8.5 历史处理原则
由于内部机构作为当事人主题中一类特殊信息被纳入当事人主实体中，所以从某种意义上而言，内部机构将在较大程度上共用当事人相关历史表。例如：
当事人关系历史
存放内部机构上下级从属关系机构，例如上级管理机构、上级账务中心等。
当事人地址关系历史
存放内部机构地址、联系的变化情况的历史信息。
当事人状态历史
存放内部机构状态变化情况的历史信息。
当事人名称历史
存放内部机构曾用名、简称、英文等名称变化情况的历史信息。
当事人重要联系人历史
存放内部机构负责人等变化情况的历史信息。
当事人鉴别信息历史
存放内部机构金融机构许可证号、组织机构代码等变化情况的历史信息。
1.1.1.
2.8.6 例外处理原则
无例外处理。
1.1.1.
2.9 事件（EVENT）
事件主题主要描述了银行与客户之间的交易活动，它记录了详细的行为和交易数据。可能涉及到账户、资金，也可能与这些无关。通过事件主题，可以帮助了解哪些客户使用哪些渠道或系统，做了哪种交易，交易的金额、事件、地点以及服务的员工。
事件主题的结构主要记录了银行各业务条线发生的时点交易历史，包含核心业务系统的账务处理历史，以及各业务条线的发生明细信息历史，也包含了业务发生所涉及的账户、交易当事人、交易机构、交易柜员等信息。
数据分析算法与模型一附答案
精品文档 数据分析算法与模型模拟题（一） 一、计算题（共4题，100分） 1、影响中国人口自然增长率的因素有很多，据分析主要因素可能有：（1）从宏观经济上看，经济整体增长是人口自然增长的基本源泉；（2）居民消费水平，它的高低可能会间接影响人口增长率。(3)文化程度，由于教育年限的高低，相应会转变人的传统观念，可能会间接影响人口自然增长率（4）人口分布，非农业与农业人口的比率也会对人口增长率有相应的影响。为了全面反映中国“人口自然增长率”的全貌，选择人口增长率作为被解释变量，以反映中国人口的增长；选择“国名收入”及“人均GDP”作为经济整体增长的代表；选择“居民消费价格指数增长率”作为居民消费水平的代表。暂不考虑文化程度及人口分布的影响。 从《中国统计年鉴》收集到以下数据（见表1）： 表1 中国人口增长率及相关数据 人口自然增长率国民总收入居民消费价格指数增长人均GDP 年份（元）率（（亿元） CPI（%。））% 1366 15037 1988 15.73 18.8 1519 1989 18 17001 15.04 1644 18718 1990 14.39 3.1 1893 21826 3.4 1991 12.98 2311 26937 11.6 6.4 1992 2998 35260 14.7 11.45 1993 4044 48108 1994 24.1 11.21 5046 17.1 10.55 59811 1995 5846 70142 1996 10.42 8.3 6420 10.06 1997 2.8 78061 -0.8 1998 9.14 83024 6796 8.18 7159 1999 88479 -1.4 7858 2000 0.4 7.58 98000 精品文档． 精品文档
大数据平台项目方案说明
大数据平台建设方案 （项目需求与技术方案） 一、项目背景 “十三五”期间，随着我国现代信息技术的蓬勃发展，信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌，信息化应用进入一个“新常态”。***（某政府部门）为积极应对“互联网+”和大数据时代的机遇和挑战，适应全省经济社会发展与改革要求，大数据平台应运而生。 大数据平台整合省社会经济发展资源，打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台，以信息化提升数据化管理与服务能力，及时准确掌握社会经济发展情况，做到“用数据说话、用数据管理、用数据决策、用数据创新”，牢牢把握社会经济发展主动权和话语权。 二、建设目标 大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析，实现企业信用社会化监督，建立规范化共建共享投资项目管理体系，推进政务数据共享和业务协同，为决策提供及时、准确、可靠的信息依据，提高政务工作的前瞻性和针对性，加大宏观调控力度，促进经济持续健康发
展。 1、制定统一信息资源管理规范，拓宽数据获取渠道，整合业务信息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化数据库，为平台打下坚实稳固的数据基础。 2、梳理各相关系统数据资源的关联性，编制数据资源目录，建立信息资源交换管理标准体系，在业务可行性的基础上，实现数据信息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。 3、在大数据分析监测基础上，为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。 三、建设原则 大数据平台以信息资源整合为重点，以大数据应用为核心，坚持“统筹规划、分步实施，整合资源、协同共享，突出重点、注重实效，深化应用、创新驱动”的原则，全面提升信息化建设水平，促进全省经济持续健康发展。
大数据平台构思方案
大数据平台构思方案 （项目需求与技术方案） 一、项目背景 “十三五”期间，随着我国现代信息技术的蓬勃发展，信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌，信息化应用进入一个“新常态”。***（某政府部门）为积极应对“互联网+”和大数据时代的机遇和挑战，适应全省经济社会发展与改革要求，大数据平台应运而生。 大数据平台整合省社会经济发展资源，打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台，以信息化提升数据化管理与服务能力，及时准确掌握社会经济发展情况，做到“用数据说话、用数据管理、用数据决策、用数据创新”，牢牢把握社会经济发展主动权和话语权。 二、建设目标 大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析，实现企业信用社会化监督，建立规范化共建共享投资项目管理体系，推进政务数据共享和业务协同，为决策提供及时、准确、可靠的信息依据，提高政务工作的前瞻性和针对性，加大宏观调控力度，促进经济持续健康发
展。 1、制定统一信息资源管理规范，拓宽数据获取渠道，整合业务信息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化数据库，为平台打下坚实稳固的数据基础。 2、梳理各相关系统数据资源的关联性，编制数据资源目录，建立信息资源交换管理标准体系，在业务可行性的基础上，实现数据信息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。 3、在大数据分析监测基础上，为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。 三、建设原则 大数据平台以信息资源整合为重点，以大数据应用为核心，坚持“统筹规划、分步实施，整合资源、协同共享，突出重点、注重实效，深化应用、创新驱动”的原则，全面提升信息化建设水平，促进全省经济持续健康发展。
数据分析建模简介
数据分析建模简介 观察和实验是科学家探究自然的主要方法，但如果你有数据，那么如何让这些数据开口说话呢？数据用现代人的话说即信息，信息的挖掘与分析也是建模的一个重要方法。 1．科学史上最有名的数据分析例子 开普勒三定律 数据来源：第谷?布拉赫（1546-1601,丹麦人），观察力极强的天文学家，一辈子（20年）观察记录了750颗行星资料，位置误差不超过0.67°。 观测数据可以视为实验模型。 数据处理：开普勒（1571-1630，德国人），身体瘦弱、近视又散光，不适合观天，但有一个非常聪明的数学头脑、坚韧的性格（甚至有些固执）和坚强的信念（宇宙是一个和谐的整体），花了16年（1596-1612）研究第谷的观测数据，得到了开普勒三定律。 开普勒三定律则为唯象模型。 2．数据分析法 2.1 思想 采用数理统计方法（如回归分析、聚类分析等）或插值方法或曲线拟合方法，对已知离散数据建模。 适用范围：系统的结构性质不大清楚，无法从理论分析中得到系统的规律，也不便于类比，但有若干能表征系统规律、描述系统状态的数据可利用。 2.2 数据分析法 2.2.1 基础知识 （1）数据也称观测值，是实验、测量、观察、调查等的结果，常以数量的形式给出； （2）数据分析（data analysis）是指分析数据的技术和理论； （3）数据分析的目的是把隐没在一大批看来杂乱无章的数据中的信息集中、萃取和提炼出来，以找出所研究对象的内在规律；
（4）作用：在实用中，它可帮助人们作判断，以采取适当行动。 （5）实际问题所涉及的数据分为： ①受到随机性影响（随机现象）的数据； ②不受随机性影响（确定现象）的数据； ③难以确定性质的数据（如灰色数据）。 （6）数理统计学是一门以收集和分析随机数据为内容的学科，目的是对数据所来自的总体作出判断，总体有一定的概率模型，推断的结论也往往一概率的形式表达（如产品检验合格率）。 （7）探索性数据分析是在尽量少的先验假定下处理数据，以表格、摘要、图示等直观的手段，探索数据的结构及检测对于某种指定模型是否有重大偏离。它可以作为进一步分析的基础，也可以对数据作出非正式的解释。 实验者常常据此扩充或修改其实验方案（作图法也该法的重要方法，如饼图、直方图、条形图、走势图或插值法、曲线（面）拟合法等）。 2.2.2 典型的数据分析工作步骤 第一步：探索性数据分析 目的：通过作图、造表、用各种形式的方程拟合、计算某些特征量等手段探索规律性的可能形式，即往什么方向和用何种方式去寻找和揭示隐含在数据中的规律性。 第二步：模型选定分析 目的：在探索性分析的基础上，提出一类或几类可能的模型（如进一步确定拟合多项式（方程）的次数和各项的系数）。 第三步：推断分析 目的：通常用数理统计或其它方法对所选定的模型或估计的可靠程度或精确程度作出推断（如统计学中的假设检验、参数估计、统计推断）。3．建模中的概率统计方法 现实世界存在确定性现象和随机现象，研究随机现象主要由随机数学来承担，随机数学包括十几个分支，但主要有概率论、数理统计、试验设计、贝叶
卡口大数据平台技术方案 v
卡口大数据平台技术方案
目录
第1章总体技术架构 卡口大数据利用先进的深度学习与模式识别技术、实时搜索引擎技术、分布式存储技术解决公安传统刑侦手段在车辆稽查过程中遇到的技术瓶颈。 A、数据导入 数据整合网关汇聚接收卡警平台实时转发输出的过车数据，同时汇聚接收微卡口摄像机输出的过车数据。对于微卡口摄像机输出的过车数据，数据整合网关在接收到数据的同时对数据进行存储。 数据整合网关将接收到得过车图片实时转发给车辆特征识别服务。车辆特征识别服务对接收到的过车图片进行二次识别分析，提取出车辆品牌、型号、特殊标示物等多维度特征。 数据整合网关将接收到的过车数据、二次分析数据通过分布式消息总线导入到卡口大数据中。 B、数据存储与分析 卡口大数据提供Hadoop基础平台对非结构化数据进行统一的存储管理，提供分布式数据库对结构化数据进行统一的存储管理与离线分析；提供实时流处理平台对过车数据进行实时处理与分析，最后为分析研判、布控预警、业务处理等应用提供API接口。
第2章车辆特征识别2.1服务功能 2.2服务性能
第3章稽查业务功能 3.1车辆布控功能 支持多样化的车辆布控方式，通过提交、初审批、终审的流程完成车辆布控，布控成功后在发现符合布控条件的车辆时将进行实时警报提示，便于快速进行涉案车辆的处理。3.1.1车牌精确布控 支持通过设定完整车牌信息、车型信息、布控时限、布控时段、预警方式、接收单位等信息完成布控单； 3.1.2车牌模糊布控 支持通过设定车牌包含字符信息、车型信息、布控时限、布控时段、预警方式、接收单位等信息完成布控单； 3.1.3车型布控 支持通过设定车型信息、布控时限、布控时段、预警方式、接收单位等信息完成布控单； 3.1.4车辆类别布控 支持通过设定车辆类别信息、布控时限、布控时段、预警方式、接收单位等信息完成布控单； 3.1.5布控实时预警 满足警务人员在线实时查看布控信息的需求，在出现符合布控条件的车辆时，支持弹出警报； 3.1.6布控审批 满足对使用者提交的布控单进行审批的功能，根据布控单的审批阶段及时在对应人员的账号下显示。
某大型企业大数据平台整体解决方案
某大型企业数据平台整体解决方案
目录 1项目概述 (15) 1.1建设背景 (15) 1.1.1集团已有基础 (15) 1.1.2痛点及需提升的能力 (15) 1.1.3大数据趋势 (16) 1.2建设目标 (16) 1.2.1总体目标 (16) 1.2.2分阶段建设目标 (17) 1.3与相关系统的关系 (18) 1.3.1数据分析综合服务平台 (18) 1.3.2量收系统 (19) 1.3.3金融大数据平台 (20) 1.3.4各生产系统 (20) 1.3.5CRM (20) 1.4公司介绍和优势特点 (20) 1.4.1IDEADATA (20) 1.4.2TRANSWARP (22) 1.4.3我们的优势 (24) 2业务需求分析 (27) 2.1总体需求 (27)
2.2.1数据采集 (29) 2.2.2数据交换 (29) 2.2.3数据存储与管理 (29) 2.2.4数据加工清洗 (30) 2.2.5数据查询计算 (31) 2.3数据管控 (32) 2.4数据分析与挖掘 (32) 2.5数据展现 (33) 2.6量收系统功能迁移 (34) 3系统架构设计 (35) 3.1总体设计目标 (35) 3.2总体设计原则 (35) 3.3案例分析建议 (37) 3.3.1中国联通大数据平台 (37) 3.3.2恒丰银行大数据平台 (49) 3.3.3华通CDN运营商海量日志采集分析系统 (63) 3.3.4案例总结 (69) 3.4系统总体架构设计 (70) 3.4.1总体技术框架 (70) 3.4.2系统总体逻辑结构 (74)
3.4.4系统接口设计 (83) 3.4.5系统网络结构 (88) 4系统功能设计 (91) 4.1概述 (91) 4.2平台管理功能 (92) 4.2.1多应用管理 (92) 4.2.2多租户管理 (96) 4.2.3统一运维监控 (97) 4.2.4作业调度管理 (117) 4.3数据管理 (119) 4.3.1数据管理框架 (119) 4.3.2数据采集 (122) 4.3.3数据交换 (125) 4.3.4数据存储与管理 (127) 4.3.5数据加工清洗 (149) 4.3.6数据计算 (150) 4.3.7数据查询 (170) 4.4数据管控 (193) 4.4.1主数据管理 (193) 4.4.2元数据管理技术 (195)
集团大数据平台整体方案业务需求分析
集团大数据平台整体方案业务需求分析 1.1总体需求 大数据平台应支持集团总部、省和地市三级使用方式。使用单位还包括下属单位和控股公司等。大数据平台要求使用Hadoop系统应实现主流数据仓库的功能，同时支持与现有系统Oracle数据库及Teradata数据仓库的无缝连接。 大数据平台需支持多应用管理，即支持对应用的服务级别管理（SLA）。能够实现应用的访问资源控制，支持资源隔离。同时支持多租户功能，例如多租户管理、租户的操作员管理、租户的分等分级分组管理、租户的度量管理、租户的角色管理、租户应用授权、租户数据隔离、租户的资源隔离等功能。 大数据平台应具有统一运维监控方面，可以图形化的实现安全管理、用户管理、监控运维、服务调度、应用部署、资源管理、作业编排、服务接口等。 大数据平台应同时支持作业调度管理，即实现统一的作业调度与编排管理功能，支持使用工作流的可视化的方式对工作任务进行统一编排和调度。同时支持作业的资源管理、流程管理、任务管理、数据管理、应用管理、租户管理、多
ETL 调度任务的部署和并行处理等功能。 集团大数据平台的建设内容包含： Str/UnStr Cloud TOS （SLA ）SOA R 、SQL Parser TDH Hadoop JDBC 、ODBC Map Reduce 、Spark 基础 平台架构计算 逻辑平台UI 主数据交互（ERP MDM ）营销数据（ACRM 交互）综分平台融合 六大重点应用 量收业务分析（逻辑）迁移 量收接口迁移（对外接口） 四大核心功能量收数据迁移外围数 据量收（存量）业务 系统总部、省、地三级 多终端应用 图3-1大数据平台建设内容 重点建设内容包括： 1) 基础平台建设 2) 量收迁移 3) 六大重点应用 4) 与CRM 、综分、MDM 等系统的融合 5) 基于大数据平台的数据应用。 1.2 数据管理 集团大数据平台的数据管理，包含数据采集、数据交换、数据存储与管理（包含结构化数据管理、半/非结构化数据管理、数据存储等）、数据清洗加工、数据计算和查询等方面
高校科研大数据平台解决方案
教学科研大数据平台 解决方案
目录 1.概述 (3) 1.1.背景 (3) 1.2.建设目标 (3) 1.3.建设的步骤和方法 (3) 2.教学科研大数据平台概要 (4) 2.1.架构设计 (4) 2.2.教学科研大数据平台优势 (6) 2.2.1.应用优势 (6) 2.2.2.未来发展优势 (8) 3.教学科研大数据平台设计 (8) 3.1.大数据资源池 (9) 3.1.1.cProc云计算 (9) 3.1.1.1.cProc云计算概述 (9) 3.1.1.2.数据立方 (10) 3.1.1.3.混合存储策略 (15) 3.1.1.4.云计算核心技术 (15) 3.1.1.4.1.数据处理集群的可靠性与负载均衡技术 (15) 3.1.1.4.2.计算与存储集群的可靠性与负载均衡 (19) 3.1.1.4.3.计算与存储集群的负载均衡处理 (21) 3.1.1.4.4.分布式文件系统的可靠性设计 (23) 3.1.1.4.5.分布式数据立方可靠性设计 (23) 3.1.1.4.6.分布式并行计算可靠性设计 (25) 3.1.1.4.7.查询统计计算可靠性鱼负载均衡设计 (25) 3.1.1.4.8.数据分析与数据挖掘 (27) 3.1.1.4.9.cProc云计算优势 (35) 3.1.2.cStor云存储 (36) 3.1.2.1.cStor云存储介绍 (36) 3.1.2.2.cStor云存储架构 (38) 3.1.2.3.Stor云存储关键技术 (43) 3.1.2.4.数据安全诊断技术 (44) 3.1.2.5.cStor云存储优势 (45) 3.2.大数据教学基础平台 (46) 3.2.1.Hadoop架构 (46) 3.2.2.Hadoop关键技术 (47) 3.2.3.Hadoop优势 (51) 3.2.4.Hadoop教学 (51)
业绩数据分析模型(终审稿)
业绩数据分析模型 TPMK standardization office【 TPMK5AB- TPMK08- TPMK2C- TPMK18】
营销总经理的业绩数据分析模型－－营销总经理的工作模型（一） 前言 营销总经理这个职位压力大而且没有安全 感——天气变化、竞品动态、本品产品质量、 公司的战略方向、费用投入、经销商的突然变 化、行业动荡、上游采购成本等等诸多因素影 响业绩。营销行业没有常胜将军，但是这个行业以成败论英雄。 营销总经理这个职位事情多而且杂乱琐碎：营销总经理要遥控管理庞大的营销团队，服务于全国几千万家经销商和终端。工作千头万绪，哪怕每天干25个小时，工作还是俄罗斯方块一样堆积。 压力和杂务干扰之下，就容易迷失，做营销总经理需要热情、能力、经验、更需要固化的可复制的工作模型，帮助自己脱身庶务，联系市场实际，提升管理绩效。 营销总经理工作模型一：数据分析模型 一、营销总经理数据分析流程概述 数据分析好像“业绩体检报告”，告诉营销总经理哪里有问题。营销总经理要每天按照固定的数据分析模型对当日发货量、累计业绩进度、发货客户数、
发货品项数、产品结构、区域结构等关键指标进行全方位多维次的实时监控。随时关注整体业绩达成的数量和质量。 如果公司整体业绩分析没问题就下延看区域业绩有没问题，没问题就结束分析。如果公司整体业绩有问题；就要思考有没有特殊原因——比如：天气下雨造成三天发货量下滑，天晴后业绩会恢复。公司上半月集中力量乡镇市场压货，所以低价产品业绩上升高价产品业绩下滑是计划内正常现象。如果没有特殊原因，确实属于业绩异常，就要立刻从这个指标着手深度分析：通常是从产品、区域、客户三条主线来研究。发现问题产品（哪个产品需要重点管理）、发现问题区域（哪个区域需要重点巡查）、发现问题客户（哪个重点零售ka系统重点经销商的业绩不正常）。除非问题非常严重，一般营销总经理的数据分析下延到直接下级（大区或者省区层面）即可，然后要求问题区域的大区经理做出解释，拿出整改方案。大区省区经理再做区域内数据分析，寻找问题产品、问题片区和问题经销商。 数据分析得出结论就找到了管理重点，接下来营销总经理要采取针对性有的放失的管理动作——比如立刻去巡检重点问题区域、要求问题区域限期改善、更改当月的促销投入或者产品价格、设立新的工作任务（比如乡镇铺货）等等，整个分析流程图示如下：
(完整word版)农村大数据平台解决方案
农村大数据平台解决方案
时间：2018年9月
1大数据服务基础平台 (1) 2农村大数据资源中心 (2) 2.1涉农信息基础大数据 (2) 2.2农业产业技术数据 (2) 2.3农村生活信息服务数据 (3) 2.4政务应用数据 (3) 3大数据共享平台 (3) 4大数据分析平台 (3) 4.1区域经济分析 (4) 4.2生产智能化大数据平台 (4) 4.3农产品质量安全追溯大数据应用 (5) 4.4农产品产销信息监测预警大数据分析 (5) 5智慧农业云平台 (6) 6大数据精准扶贫 (6) 7农村网络舆情监测平台 (7)
农村大数据平台解决方案 根据《关于实施乡村振兴战略的意见》（中发〔2018〕1号）、《农业部办公厅关于印发〈农业农村大数据试点方案〉的通知》（农办市〔2016〕30号）、《农业部关于印发〈”十三五”全国农业农村信息化发展规划〉的通知》（农市发〔2016〕5号）、《农业部关于推进农业农村大数据发展的实施意见》（农市发〔2015〕6号）和《国务院关于印发促进大数据发展行动纲要的通知》（国发〔2015〕50号）等有关部署文件要求，公司经过大量的调研和论证，集中技术力量研发的一整套针对我国农村农业现状的大数据平台产品体系，包含农村大数据基础服务平台、农村大数据资源中心、大数据共享平台、大数据分析平台、智慧农业云平台、大数据精准扶贫、农村网络舆情监测平台等产品。 1大数据服务基础平台 作为农村大数据平台的核心与基础，集成了大数据平台的多个底层组件，提供分布式存储（HDFS）、分布式计算、协调服务管理、数据仓库SQL服务、NoSQL数据库服务,分布式内存计算，ETL 调度与操作，实时流处理、分布式内存、索引搜索、数据库联邦查询、MPP数据库服务，图数据库和时序数据库等功能和服务。同时支持大数据的分布式机器学习算法比如多重估值算法。 平台基于镇平县农业大数据研究的个性化需求，形成一系列相关公开发布数据的采集机制，将数据采集的相关程序设计并编写完善，部署此套机制在平台上周期运转；为管理人员与数据工程师提供数据的浏览，对数据进行查询、展现和基础统计分析等初步应用，实现农业大数据分析人员的交流平台。 1
数据分析和数据建模
数据分析和数据建模 大数据应用有几个方面，一个是效率提升，帮助企业提升数据处理效率，降低数据存储成本。另外一个是对业务作出指导，例如精准营销，反欺诈，风险管理以及业务提升。过去企业都是通过线下渠道接触客户，客户数据不全，只能利用财务数据进行业务运营分析，缺少围绕客户的个人数据，数据分析应用的领域集中在企业内部经营和财务分析。 大数据应用有几个方面，一个是效率提升，帮助企业提升数据处理效率，降低数据存储成本。另外一个是对业务作出指导，例如精准营销，反欺诈，风险管理以及业务提升。过去企业都是通过线下渠道接触客户，客户数据不全，只能利用财务数据进行业务运营分析，缺少围绕客户的个人数据，数据分析应用的领域集中在企业内部经营和财务分析。 数字时代到来之后，企业经营的各个阶段都可以被记录下来，产品销售的各个环节也被记录下来，客户的消费行为和网上行为都被采集下来。企业拥有了多维度的数据，包括产品销售数据、客户消费数据、客户行为数据、企业运营数据等。拥有数据之后，数据分析成为可能，企业成立了数据分析团队整理数据和建立模型，找到商品和客户之间的关联关系，商品之间关联关系，另外也找到了收入和客户之间的关联关系。典型的数据分析案例如沃尔玛啤酒和尿布、蛋挞和手电筒，Target的判断16岁少女怀孕都是这种关联关系的体现。
关联分析是统计学应用最早的领域，早在1846年伦敦第二次霍乱期间，约翰医生利用霍乱地图找到了霍乱的传播途径，平息了伦敦霍乱，打败了霍乱源于空气污染说的精英，拯救了几万人的生命。伦敦霍乱平息过程中，约翰医生利用了频数分布分析，建立了霍乱地图，从死亡案例分布的密集程度上归纳出病人分布同水井的关系，从而推断出污染的水源是霍乱的主要传播途径，建议移除水井手柄，降低了霍乱发生的概率。 另外一个典型案例是第二次世界大战期间，统计分析学家改造轰炸机。英美联盟从1943年开始对德国的工业城市进行轰炸，但在1943年年底，轰炸机的损失率达到了英美联盟不能承受的程度。轰炸军司令部请来了统计学家，希望利用数据分析来改造轰炸机的结构，降低阵亡率，提高士兵生还率。统计学家利用大尺寸的飞机模型，详细记录了返航轰炸机的损伤情况。统计学家在飞机模型上将轰炸机受到攻击的部位用黑笔标注出来，两个月后，这些标注布满了机身，有的地方标注明显多于其他地方，例如机身和侧翼。有的地方的标注明显少于其他地方，例如驾驶室和发动机。统计学家让军火商来看这个模型，军火商认为应该加固受到更多攻击的地方，但是统计学家建议对标注少的地方进行加固，标注少的原因不是这些地方不容易被击中，而是被击中的这些地方的飞机，很多都没有返航。这些标注少的地方被击中是飞机坠毁的一个主要原因。军火商按照统计学家的建议进行了飞机加固，大大提高了轰炸机返航的比率。以二战著名的B-17轰炸机为例，其阵亡率由26%降到了7%，帮助美军节约了几亿美金，大大提高了士兵的生还率。 一数据分析中的角色和职责 数据分析团队应该在科技部门内部还在业务部门内部一直存在争议。在业务部门内部，对数据场景比较了解，容易找到数据变现的场景，数据分析对业务提升帮助较大，容易出成绩。但是弊端是仅仅对自己部门的业务数据了解，分析只是局限独立的业务单元之内，在数据获取的效率上，数据维度和数据视角方面缺乏全局观，数据的商业视野不大，对公司整体业务的推动发展有限。业务部门的数据分析团队缺少数据技术能力，无法利用最新的大数据计算和分析技术，来实现数
集团大数据平台整体方案项目概述
集团大数据平台整体方案项目概述 1.1建设背景 1.1.1集团已有基础 经过十几年的信息化建设，集团已经积累了覆盖邮务、速递物流、金融三大板块的海量生产和经营数据，这些数据分布在集团各类应用系统和数据库中，支撑着集团业务的发展。 集团初步搭建了由名址系统、量收系统、速递平台系统、数据分析平台组成的初步的数据仓库，为数据分析挖掘工作打下了一定的技术基础。 组建了专业的组织架构促进企业数据管理与应用的规范化与制度化。 集团已成立数据中心，集团数据中心和各省的数据分析团队已经进行了多个专题的数据分析与成果应用的尝试。 1.1.2痛点及需提升的能力 集团拥有丰富的客户资源，海量的数据积累。在大数据时代，要充分挖掘数据价值，跟上时代的步伐。 板块间数据存在壁垒，共享不足，无法实现集团企业数
据的充分有效利用。 数据存在冗余、分散、安全性差、一致性差等问题，应建立有效的数据管控体系，打破信息孤岛、实现企业信息数据共享、提升数据价值。 非/半结构化数据利用不足，需利用大数据技术加强应用。 1.1.3大数据趋势 随着移动互联网、云计算、物联网和大数据技术的广泛应用，现代社会已经迈入全新的大数据时代。掌握大数据资产，进行智能化决策，已成为企业胜出的关键。 越来越多的企业开始重视大数据战略布局，重新定义自己的核心竞争力，从数据中揭示规律，了解过去、知悉现在、洞察未来，数据驱动企业运行与决策的科学性，构建智慧企业，打造核心竞争力。 数据的爆炸式增长以及价值的扩大化，将对企业未来的发展产生深远的影响，数据将成为企业的核心资产。如何应对大数据，挖掘大数据的价值，让大数据为企业的发展保驾护航，将是未来信息技术发展道路上关注的重点。
高校大数据专业教学科研平台建设方案详细
高校大数据专业教学科研平台建设方案 一、项目建设的意义及目的 芝诺数据自主研发的高校大数据教学科研平台以校企联合培养模式为手段，通过校企合作联合培养机制，让企业、行业深度参与人才培养过程，逐步实现校企共同制定培养目标、共同建设课程体系和教学内容、共同实施培养过程、共同把控培养质量，全面提升学生的应用实践能力。该平台以应用型人才培养为目标定位，在以解决现实问题为目的的前提下，使培养的学生有更宽广和跨学科的知识视野，注重知识的实用性，有创新精神和综合运用知识的能力。注重培养学生具有在创新中应用、在应用中创新的能力，让学生真正学会大数据行业各个岗位真正的职业技能。 二、功能模块和建设思路 芝诺大数据教学科研平台构建总体分为三大部分，一是平台硬件，二是教学与实验支撑系统（包括：芝诺数据综合分析ZDM平台、芝诺数据教学实训平台），三是产品服务体系。 具体如下：
教学与实验支撑系统由芝诺数据综合分析ZDM平台和芝诺数据教学实训平台构成，教学与实验支撑系统部署在大数据教学科研一体机中。 二、项目建设的目标及内容 1、项目建设目标 1）平台的建设能让高校大数据专业与实际应用相结合，提高学生的学习、实践和创新创业能力，能够培养实用性人才所需的专业能力，提升教学效果与就业率，为“大数据时代”的创新人才培养做出贡献。
2）平台的建设将支撑大数据去冗降噪、大数据融合、大数据可视化等关键技术研究，能够服务于学校的教学和科研，有助于大数据方向发展和自主创新，有利于创新团队培育和高水平研究成果积累，有利于提升教师的教学和科研水平，推动教学和科研团队建设。 3）平台的建设搭建可以发挥学校的行业优势，体现学校办学特色，推进与国内外高校、科研机构和企业间的产学研合作，开展项目合作研究和人才培养，促进科研成果转化，促进产学研协同创新。 4）平台的建设有利于促进学科交叉与融合。 2、项目建设内容 1）模块一：平台相关硬件建设 本模块主要包含：大数据教学科研一体机 技术参数：
业绩数据分析模型
营销总经理的业绩数据分析模型－－营销总经理的工作模型（一） 前言 营销总经理这个职位压力大而且没有安全感—— 天气变化、竞品动态、本品产品质量、公司的战略方向、 费用投入、经销商的突然变化、行业动荡、上游采购成 本等等诸多因素影响业绩。营销行业没有常胜将军，但 是这个行业以成败论英雄。 营销总经理这个职位事情多而且杂乱琐碎：营销总 经理要遥控管理庞大的营销团队，服务于全国几千万家 经销商和终端。工作千头万绪，哪怕每天干25个小时， 工作还是俄罗斯方块一样堆积。 压力和杂务干扰之下，就容易迷失，做营销总经理需要热情、能力、经验、更需要固化的可复制的工作模型，帮助自己脱身庶务，联系市场实际，提升管理绩效。 营销总经理工作模型一：数据分析模型 一、营销总经理数据分析流程概述 数据分析好像“业绩体检报告”，告诉营销总经理哪里有问题。营销总经理要每天按照固定的数据分析模型对当日发货量、累计业绩进度、发货客户数、发货品项数、产品结构、区域结构等关键指标进行全方位多维次的实时监控。随时关注整体业绩达成的数量和质量。 如果公司整体业绩分析没问题就下延看区域业绩有没问题，没问题就结束分析。如果公司整体业绩有问题；就要思考有没有特殊原因——比如：天气下雨造成三天发货量下滑，天晴后业绩会恢复。公司上半月集中力量乡镇市场压货，所以低价产品业绩上升高价产品业绩下滑是计划内正常现象。如果没有特殊原因，确实属于业绩异常，就要立刻从这个指标着手深度分析：通常是从产品、区域、客户三条主线来研究。发现问题产品（哪个产品需要重点管理）、发现问题区域（哪个区域需要重点巡查）、发现问题客户（哪个重点零售ka系统重点经销商的业绩不正常）。除非问题非常严重，一般营销总经理的数据分析下延到直接下级（大区或者省区层面）即可，然后要求问题区域的大区经理做出解释，拿出整改方案。大区省区经理再做区域内数据分析，寻找问题产品、问题片区和问题经销商。 数据分析得出结论就找到了管理重点，接下来营销总经理要采取针对性有的放失的管理动作——比如立刻去巡检重点问题区域、要求问题区域限期改善、更改当月的促销投入或者产品价格、设立新的工作任务（比如乡镇铺货）等等，整个分析流程图示如下：
大数据平台项目需求与技术解决方案
目录 一、项目背景 (2) 二、建设目标 (2) 三、建设原则 (3) 四、建设方案 (4) 1、数据采集方案。 (4) 2、数据分析方案。 (5) 3、业务整合方案。 (5) 五、建设内容 (6) 1、宏观经济监测预测及可视化平台 (6) 2、企业信用监测预警服务平台 (8) 3、投资项目信息管理平台 (9) 4、政务数据共享交换平台 (11) 六、技术支持与平台性能 (12) 1、系统架构 (12) 2、技术支持 (14) 3、平台性能 (16)
一、项目背景 “十三五”期间，随着我国现代信息技术的蓬勃发展，信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌，信息化应用进入一个“新常态”。***（某政府部门）为积极应对“互联网+”和大数据时代的机遇和挑战，适应全省经济社会发展与改革要求，大数据平台应运而生。 大数据平台整合省社会经济发展资源，打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台，以信息化提升数据化管理与服务能力，及时准确掌握社会经济发展情况，做到“用数据说话、用数据管理、用数据决策、用数据创新”，牢牢把握社会经济发展主动权和话语权。 二、建设目标 大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析，实现企业信用社会化监督，建立规范化共建共享投资项目管理体系，推进政务数据共享和业务协同，为决策提供及时、准确、可靠的信息依据，提高政务工作的前瞻性和针对性，加大宏观调控力度，促进经济持续健康发展。 1、制定统一信息资源管理规范，拓宽数据获取渠道，整合业务
空间数据分析模型
第7 章空间数据分析模型 7.1 空间数据 按照空间数据的维数划分，空间数据有四种基本类型：点数据、线数据、面数据和体数据。 点是零维的。从理论上讲，点数据可以是以单独地物目标的抽象表达，也可以是地理单元的抽象表达。这类点数据种类很多，如水深点、高程点、道路交叉点、一座城市、一个区域。 线数据是一维的。某些地物可能具有一定宽度，例如道路或河流，但其路线和相对长度是主要特征，也可以把它抽象为线。其他的 线数据，有不可见的行政区划界，水陆分界的岸线，或物质运输或思想传播的路线等。 面数据是二维的，指的是某种类型的地理实体或现象的区域范围。国家、气候类型和植被特征等，均属于面数据之列。 真实的地物通常是三维的，体数据更能表现出地理实体的特征。一般而言，体数据被想象为从某一基准展开的向上下延伸的数，如 相对于海水面的陆地或水域。在理论上，体数据可以是相当抽象的，如地理上的密度系指单位面积上某种现象的许多单元分布。 在实际工作中常常根据研究的需要，将同一数据置于不同类别中。例如，北京市可以看作一个点（区别于天津），或者看作一个面 （特殊行政区，区别于相邻地区），或者看作包括了人口的“体”。 7.2 空间数据分析 空间数据分析涉及到空间数据的各个方面，与此有关的内容至少包括四个领域。 1）空间数据处理。空间数据处理的概念常出现在地理信息系统中，通常指的是空间分析。就涉及的内容而言，空间数据处理更多的偏重于空间位置及其关系的分析和管理。 2）空间数据分析。空间数据分析是描述性和探索性的，通过对大量的复杂数据的处理来实现。在各种空间分析中，空间数据分析是 重要的组成部分。空间数据分析更多的偏重于具有空间信息的属性数据的分析。 3）空间统计分析。使用统计方法解释空间数据，分析数据在统计上是否是“典型”的，或“期望”的。与统计学类似，空间统计分析与空间数据分析的内容往往是交叉的。 4）空间模型。空间模型涉及到模型构建和空间预测。在人文地理中，模型用来预测不同地方的人流和物流，以便进行区位的优化。在自然地理学中，模型可能是模拟自然过程的空间分异与随时间的变化过程。空间数据分析和空间统计分析是建立空间模型的基础。 7.3 空间数据分析的一些基本问题 空间数据不仅有其空间的定位特性，而且具有空间关系的连接属性。这些属性主要表现为空间自相关特点和与之相伴随的可变区域 单位问题、尺度和边界效应。传统的统计学方法在对数据进行处理时有一些基本的假设，大多都要求“样本是随机的”，但空间数据可能不一定能满足有关假设，因此，空间数据的分析就有其特殊性（David,2003 ）。
数据分析算法与模型(一)(附答案)
数据分析算法与模型模拟题（一） 一、计算题（共4题，100分） 1、影响中国人口自然增长率的因素有很多，据分析主要因素可能有：（1）从宏观经济上看，经济整体增长是人口自然增长的基本源泉；（2）居民消费水平，它的高低可能会间接影响人口增长率。(3)文化程度，由于教育年限的高低，相应会转变人的传统观念，可能会间接影响人口自然增长率（4）人口分布，非农业与农业人口的比率也会对人口增长率有相应的影响。为了全面反映中国“人口自然增长率”的全貌，选择人口增长率作为被解释变量，以反映中国人口的增长；选择“国名收入”及“人均GDP”作为经济整体增长的代表；选择“居民消费价格指数增长率”作为居民消费水平的代表。暂不考虑文化程度及人口分布的影响。 从《中国统计年鉴》收集到以下数据（见表1）： 表1 中国人口增长率及相关数据 年份人口自然增长率 （%。） 国民总收入 （亿元） 居民消费价格指数增长 率（CPI）% 人均GDP （元） 1988 15.73 15037 18.8 1366 1989 15.04 17001 18 1519 1990 14.39 18718 3.1 1644 1991 12.98 21826 3.4 1893 1992 11.6 26937 6.4 2311 1993 11.45 35260 14.7 2998 1994 11.21 48108 24.1 4044 1995 10.55 59811 17.1 5046 1996 10.42 70142 8.3 5846 1997 10.06 78061 2.8 6420 1998 9.14 83024 -0.8 6796 1999 8.18 88479 -1.4 7159 2000 7.58 98000 0.4 7858 2001 6.95 108068 0.7 8622 2002 6.45 119096 -0.8 9398 2003 6.01 135174 1.2 10542 2004 5.87 159587 3.9 12336 2005 5.89 184089 1.8 14040
大数据平台建设实施方案
大数据平台建设方案
————————————————————————————————作者：————————————————————————————————日期：
大数据平台建设方案 （项目需求与技术方案） 一、项目背景 “十三五”期间，随着我国现代信息技术的蓬勃发展，信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌，信息化应用进入一个“新常态”。***（某政府部门）为积极应对“互联网+”和大数据时代的机遇和挑战，适应全省经济社会发展与改革要求，大数据平台应运而生。 大数据平台整合省社会经济发展资源，打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台，以信息化提升数据化管理与服务能力，及时准确掌握社会经济发展情况，做到“用数据说话、用数据管理、用数据决策、用数据创新”，牢牢把握社会经济发展主动权和话语权。 二、建设目标 大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析，实现企业信用社会化监督，建立规范化共建共享投资项目管理体系，推进政务数据共享和业务协同，为决策提供及时、准确、可靠的信息依据，提高政务工作的前瞻性和针对性，加大宏观调控力度，促进经济持续健康发
展。 1、制定统一信息资源管理规范，拓宽数据获取渠道，整合业务信息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化数据库，为平台打下坚实稳固的数据基础。 2、梳理各相关系统数据资源的关联性，编制数据资源目录，建立信息资源交换管理标准体系，在业务可行性的基础上，实现数据信息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。 3、在大数据分析监测基础上，为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。 三、建设原则 大数据平台以信息资源整合为重点，以大数据应用为核心，坚持“统筹规划、分步实施，整合资源、协同共享，突出重点、注重实效，深化应用、创新驱动”的原则，全面提升信息化建设水平，促进全省经济持续健康发展。
10大经典数据分析模型
模型分析法就是依据各种成熟的、经过实践论证的管理模型对 问题进行分析的方法。 在长时间的企业管理理论研究和实践过程中，将企业经营管理中一些经典的相关关系以一个固定模型的方式描述出来，揭示企业系统内部很多本质性的关系，供企业用来分析自己的经营管理状况，针对企业管理出现的不同问题，能采用最行之有效的模型分析 往往可以事半功倍。 1、波特五种竞争力分析模型 波特的五种竞争力分析模型被广泛应用于很多行业的战略制定。波特认为在任何行业中，无论是国内还是国际，无论是提供产品还是提供服务，竞争的规则都包括在五种竞争力量内。 这五种竞争力就是 1.企业间的竞争 2.潜在新竞争者的进入 3.潜在替代品的开发 4.供应商的议价能力 5.购买者的议价能力 这五种竞争力量决定了企业的盈利能力和水平。 竞争对手
企业间的竞争是五种力量中最主要的一种。只有那些比竞争对手的战略更具优势的战略才可能获得成功。为此，公司必须在市场、价格、质量、产量、功能、服务、研发等方面建立自己的核心竞争优势。 影响行业内企业竞争的因素有：产业增加、固定（存储）成本/附加价值周期性生产过剩、产品差异、商标专有、转换成本、集中与平衡、信息复杂性、竞争者的多样性、公司的风险、退出壁垒等。 新进入者 企业必须对新的市场进入者保持足够的警惕，他们的存在将使企业做出相应的反应，而这样又不可避免地需要公司投入相应的资源。 影响潜在新竞争者进入的因素有：经济规模、专卖产品的差别、商标专有、资本需求、分销渠道、绝对成本优势、政府政策、行业内企业的预期反击等。 购买者 当用户分布集中、规模较大或大批量购货时，他们的议价能力将成为影响产业竞争强度的一个主要因素。 决定购买者力量的因素又：买方的集中程度相对于企业的集中程度、买方的数量、买方转换成本相对企业转换成本、买方信息、后向整合能力、替代品、克服危机的能力、价格/购买总量、产品差异、品牌专有、质量/性能影响、买方利润、决策者的激励。 替代产品 在很多产业，企业会与其他产业生产替代品的公司开展直接或间接的斗争。替代品的存在为产品的价格设置了上限，当产品价格超过这一上限时，用户将转向其他替代产品。 决定替代威胁的因素有：替代品的相对价格表现、转换成本、客户对替代品的使用倾向。 供应商 供应商的议价力量会影响产业的竞争程度，尤其是当供应商垄断程度比较高、原材料替代品比较少，或者改用其他原材料的转换成本比较高时更是如此。 决定供应商力量的因素有：投入的差异、产业中供方和企业的转换成本、替代品投入的现状、供方的集中程度、批量大小对供方的重要性、与产业总购买量的相关成本、投入对成本和特色的影响、产业中企业前向整合相对于后向整合的威胁等。 2、SWOT分析模型