泰迪杯论文最终版

第三届泰迪杯全国大学生数据挖掘竞赛

第三届“泰迪杯” 全国大学生数据挖掘竞赛 优 秀 作 品 作品名称：基于电商平台家电设备的消费者评论数据挖掘分析荣获奖项：一等奖 作品单位：华南师范大学 作品成员：赵晓荣叶呈成黄佳锋 指导老师：薛云

基于深度学习的电热水器评论数据挖掘分析 摘要：近年来，随着互联网的广泛应用和电子商务的迅速发展，网络文本及用户评论分析意义日益凸显，因此网络文本挖掘及网络文本情感分析技术应运而生，通过对文本或者用户评论的情感分析，企业能够进行更有效的管理等。本文针对电商平台的电热水器的评论数据，利用基于半监督递归自编码（RAE）的深度学习模型，进行评论的情感分析。为了保证评论数据挖掘分析的质量和全面性，我们重新从京东和苏宁易购平台爬取了评论数据集，对数据进行预处理——评论“去空、去重”、中文分词、停用词过滤等，再利用半监督RAE深度学习模型对这些评论进行情感分析。之后，本文主要进行两个方面的数据挖掘分析工作：一方面是根据不同品牌电热水器的评论数据情感分析结果，提炼出各个品牌产品的差异化卖点；另一方面是根据不同电商平台的评论数据情感分析结果，进行不同电商平台的服务质量比较，进而可以使电商平台根据自身优势吸引消费者。 关键词：深度学习，情感分析，RAE，差异化卖点

Data Mining on Comments of Electric water heater Based on Deep Learning Abstract: Recently, with the wide application of Internet and the rapid development of electronic commerce, network text and user review analysis is of great significance, text mining and sentiment analysis of network text arise at the historic moment, and the emotional analysis of the text or user comments is more effective in enterprise management and so on. Electric business platform, this paper apply a deep learning method based on semi-supervised recursive encoding (RAE) on analysis of the emotion of comments which users delivered about electric water heater. In order to ensure the quality of the data mining analysis, we crawled the relevant comments data sets from Jingdong and Suning platform. Then we preprocessed comments data on wiping "empty and heavy" out, Chinese word segmentation, filtering stop words, word frequency statistics, etc. Next we analyze sentiment on these comments using a method based on semi-supervised RAE. Later, this paper analyzed mainly comments in two aspects of data mining work: on the one hand, according to sentiment analysis result of the comments of different brand electric water heater, extracting differentiation of various brand products selling point; On the other hand, according to the comments of different electric business platform data sentiment analysis results, and compare different electric business platform of service quality, and electric business platform can take measures to attract consumers according to their own advantages . Key words:deep learning; sentiment analysis; RAE; differentiation of selling point

C题智慧政务中的文本挖掘应用

第八届“泰迪杯”数据挖掘挑战赛—— C 题：“智慧政务”中的文本挖掘应用 一、问题背景 近年来，随着微信、微博、市长信箱、阳光热线等网络问政平台逐步成为政府了解民意、汇聚民智、凝聚民气的重要渠道，各类社情民意相关的文本数据量不断攀升，给以往主要依靠人工来进行留言划分和热点整理的相关部门的工作带来了极大挑战。同时，随着大数据、云计算、人工智能等技术的发展，建立基于自然语言处理技术的智慧政务系统已经是社会治理创新发展的新趋势，对提升政府的管理水平和施政效率具有极大的推动作用。 附件给出了收集自互联网公开来源的群众问政留言记录，及相关部门对部分群众留言的答复意见。请利用自然语言处理和文本挖掘的方法解决下面的问题。 二、解决问题 1、群众留言分类 在处理网络问政平台的群众留言时，工作人员首先按照一定的划分体系（参考附件1提供的内容分类三级标签体系）对留言进行分类，以便后续将群众留言分派至相应的职能部门处理。目前，大部分电子政务系统还是依靠人工根据经验处理，存在工作量大、效率低，且差错率高等问题。请根据附件2给出的数据，建立关于留言内容的一级标签分类模型。 通常使用 F-Score 对分类方法进行评价： 1121n i i i i i PR F n P R ==+∑， 其中i P 为第i 类的查准率，i R 为第i 类的查全率。 2、热点问题挖掘 某一时段内群众集中反映的某一问题可称为热点问题，如“XXX 小区多位业主多次反映入夏以来小区楼下烧烤店深夜经营导致噪音和油烟扰民”。及时发现热点问题，有助于相关部门进行有针对性地处理，提升服务效率。请根据附件3将某一时段内反映特定地点或特定人群问题的留言进行归类，定义合理的热度评价指标，并给出评价结果，按表1的格式给出排名前5的热点问题，并保存为文件“热点问题表.xls ”。按表2的格式给出相应热点问题对应的留言信息，并保存为“热点问题留言明细表.xls ”。 表1-热点问题表

数据挖掘论文模板

竞赛作品资料包括以下两部分，请分别压缩后在“会员中心”统一提交： 1、论文正文要求用word2003格式整理，压缩成“论文正文.zip” 2、源数据（组委会提供的源数据外）、过程数据、程序及模型文件，压缩成“附件资料.zip” 所选题目： 综合评定成绩： 评委评语： 评委签名：

论文报告标题摘要：简要描述论文摘要 关键词：提取论文关键词

The thesis title Abstract: A brief description of the abstract Key words: The keyword extraction

目录 1.研究目标 (5) 2.分析方法与过程 (5) 2.1.总体流程 (5) 2.2.具体步骤 (5) 2.3.结果分析 (6) 3.结论 (6) 4.参考文献 (6)

1.挖掘目标 请简要描述本次数据挖掘建模要达到的目标。 例如：本次建模目标是利用电力系统中积累下来的海量真实数据，采用数据挖掘技术，分析各类电力数据直接的相互关系、发现事件之间的内部关联，构建反映用户窃漏电规律的评价指标体系、专家样本库和窃漏电评价模型，实现对新采集用户计量数据的窃漏电自动评价。从而可以为防止某些用户在用电上作假和偷电提供有效的实时监察。 2.分析方法与过程 2.1. 总体流程 用一个总体流程图描述建模方法及过程，并对各部分进行简要说明。 例如: 本用例主要包括如下步骤： 步骤一：… 步骤二：… 步骤三：… 2.2. 具体步骤 结合总体流程图，对每一步骤做详细说明。 例如： 对本例自适应防窃漏电诊断建模法进行详细说明。

第七届泰迪杯数据挖掘挑战赛——C题运输车辆安全驾驶

第七届“泰迪杯”数据挖掘挑战赛—— C题：运输车辆安全驾驶行为的分析 一、问题背景 车联网是指借助装载在车辆上的电子标签通过无线射频等识别技术，实现在信息网络平台上对所有车辆的属性信息和静、动态信息进行提取和有效利用，并根据不同的功能需求对所有车辆的运行状态进行有效的监管和提供综合服务的系统。当前道路运输行业等相关部门利用车联网等系统数据，开展道路运输过程安全管理的数据分析，以提高运输安全管理水平和运输效率。 某运输企业所辖各车辆均存在常规运输路线与驾驶人员。在驾驶员每次运输过程中，车辆均可自动采集当前驾驶行为下的行车状态信息并上传至车联网系统。驾驶行为可能随气象、路况等因素的变化而变化，进一步影响行车安全、运输效率与节能水平。 请根据该运输企业所采集的数据（见附件1、附件2），分析车辆行驶过程中的驾驶行为对行车安全、运输效率与节能情况的影响，运用数据挖掘的方法，建立有效的数学模型进行评价。 二、研究问题 (1) 利用附件1所给数据，提取并分析车辆的运输路线以及其在运输过程中的速度、加速度等行车状态。提交附表中10辆车每辆车每条线路在经纬度坐标系下的运输线路图及对应的行车里程、平均行车速度、急加速急减速情况。 (2) 利用附件1所给数据，挖掘每辆运输车辆的不良驾驶行为，建立行车安全的评价模型，并给出评价结果。 (3) 综合考虑运输车辆的安全、效率和节能，并结合自然气象条件与道路状况等情况，为运输车辆管理部门建立行车安全的综合评价指标体系与综合评价模型。 附表 三、数据说明 1. 附件1给出450辆运输车辆的行车轨迹采集数据，由于采集设备精度，实际采集数据可能存在某些异常。 附件1的数据说明

泰迪杯C题

C 题 网络招聘信息的分析网络招聘信息的分析与挖掘与挖掘 一、一、背景背景 随着计算机网络技术的迅速发展，网络招聘信息平台现已成为招聘者发布和应聘者获取信息的主要渠道。网络招聘信息一方面能够直接反映了用人单位对人才基本条件、能力和素质的要求，为应聘者提供求职参考；另一方面也能够反映出社会和各行业对人才的需求现状，或未来一段时间的人才需求趋向；同时也能够为高等院校及时了解社会对人才的需求变化情况， 分析预测未来的人才市场的热点，有针对性的调整人才培养方案和设置安排相关课程提供重要的参考信息，促进高校培养出更多适用的优秀人才以满足社会的需求。 因此，对网络招聘信息进行分析研究，了解社会和相关行业的需求特点与趋势，为广大求职者提供正确的就业指导都有着非常重要的意义。 二、二、数据描述数据描述 1. 附件1 ~ 附件3给出了某招聘网站发布的招聘信息的实际数据，时间跨度为 3个月。 2. 虽然不同的招聘网站都有各自的页面发布方式，但其招聘信息都包含结构化数据和非结构化数据两部分。结构化数据通常是以表格形式给出的常规信息（见附件 1），如公司的基本情况、职位名称、行业领域、供职地点、发布时间、薪酬待遇、学历要求、工作性质等。非结构化数据通常是以文本的形式给出的说明信息，包含招聘单位的基本情况（见附件 2）和岗位职责与任职要求（见附件3）等，这也是招聘信息的重要内容。 三、三、要解决的问题要解决的问题 1. 根据招聘职位的工作性质和内涵，试分析目前所需要的人才中可以分为哪些职业类型和 2．根据招聘单位的行业、职位、地域等特点，分析目前的人才需求情况，哪些是热门行业、 3. 随着数据分析/数据挖掘行业的兴起，涌现出了一些新的职位，如数据分析师、大数据分析师、数据产品经理、数据挖掘算法工程师等，试分析与预测相关职位的需求情况。 4. 深入分析IT 人才市场的供求现状及未来的发展趋势，包括地域和职位、人才的专业和学历层次等方面的情况。 5. 根据你们的研究结果，结合你们所学的专业给所在学校人才培养方案的修订写一份建议

C题智能阅读模型的构建

第六届“泰迪杯”数据挖掘挑战赛—— C题：智能阅读模型的构建 一、赛题背景 近年来，自然语言处理（NLP）作为人工智能的一个重要领域得到了飞速发展，并且相关技术及其应用的需求日益广泛。在国家政策的推动下，目前市面上有众多的创业公司，对NLP的人才需求相当大。 目前，作为人工智能中自然语言处理的代表产品之一，“智能交互技术”已经逐渐渗透到我们周围的很多产品中。但是很多所谓的智能产品，仅仅可以识别一些特定命令，例如，当输入为“打开QQ”，就能够启动QQ，但输入改为“看一下QQ”，就会毫无反应，更不用说一般的语言交流了。而对于普通大众来说，他们希望机器更加“智能”，能够通过自然语言就可以跟机器交流，让机器为我们服务，最大程度上减少额外学习负担，所以未来自然语言处理的一个发展方向就是如何让用户“更自然”、“更低成本”地实现人与机器的交流。 本赛题聚焦于智能交互在电子书阅读的应用。 日常生活中人们要阅读大量的txt文本，其内容可能是小说、教程、文集、词典等。很多情况下我们只是需要从文本中查找某一些片段来解决我们的问题。比如，通过查找法律文献中的一些段落来解决我们的法律疑惑，这时并不需要精读整个法律文献；对于小说，有时候我们也只是想知道其中一些特殊细节，并不想花时间去通读整个小说；因此我们希望智能阅读技术能够在这方面提供一些帮助。下面是两个典型的智能阅读的使用场景： 场景一： TXT：汽车的说明书 问题：1、怎样打开远光灯？ 2、后排要不要系安全带？ 需求：定位到txt中能帮我们回答问题的所在行，或者给出明确的答案 场景二： TXT：《射雕英雄传》小说全文 问题：1、“江南七怪”分别是谁？ 2、九阴真经的作者是谁？

第三届泰迪杯全国大学生数据挖掘竞赛试题

第三届泰迪杯全国大学生数据挖掘竞赛试题 说明：1、参赛选手可从下述试题中任选一题作答，并在论文报告中标明 2、论文等级会综合考虑论文质量和难度系数 试题一基于电商平台家电设备的消费者需求及产品数据挖掘分析（难度系数：1.0）试题来源： 背景： 随着互联网与移动互联网的快速发展，截止2014年6月，我国的网民规模达6.32亿，互联网普及率为46.9%，2015年中国网民的渗透率将接近50%。2014年天猫双十一的交易额达571亿，网上购物将成为人民生活的一部分。网民在电商平台上浏览和购物，产生了海量的数据，如何利用好这些碎片化、非结构化的数据，将直接影响到企业产品在电商平台上的发展，也是大数据在实际企业经营中的应用。对于用户在电商平台上留下的评论数据，运用文本分析方法，了解用户的需求、抱怨，购买原因以及产品的优点、缺点，对于改善家电设备产品及用户体验有着重要的意义。 据观研天下行业分析：近年来我国家电设备销量增长迅速，以电热水器为例，2011年电热水器市场销量比2010年增长2.29%，销售额增长5.23%；2013年热水器零售量达到2842万台，零售额达到459亿元，2014年热水器整体规模向上，但增速较2013年有所回落，零售量达到2985万台，零售额达到504亿元。 需求： 1、分析用户对于热水器/净水器产品的个性化需求； 2、分析现有电商热水器/净水器的产品劣势（用户抱怨点）及产品优势（用户赞点）； 3、分析各品牌的产品间的差异，进行差异化卖点提炼； 4、分析用户购买的原因； 5、对用户的购买行为进行分析挖掘（搜索关键字、购买时关注点、购买步骤、使用、 评价）（此部分可选择来做）。 提示： 1、在电商平台进行评论数据抓取（可用火车头采集器进行评论爬虫）； 2、对评论数据进行预处理（处理掉水军及随意发表的评论数据）； 3、可分品类进行细化分析（热水器：电热热水器、燃气热水器；净水器：净水机、 纯水机）； 4、对评论数据进行文本分析（好评、差评、中文分词、词频统计、情感分析、语义 网络）； 5、可利用百度指数、淘宝指数等互联网工具对热水器和净水器的消费人群及搜索关 注点进行分析； 6、建议在国内外相关文献的基础上尽量选择新技术手段进行挖掘，比如基于深度学 习理论模型完成情感分析，参见文献：《基于深度学习的微博情感分析》、《基于深 度学习的文本情感分类研究》等。

A题基于数据挖掘的上市公司高送转预测

第八届“泰迪杯”数据挖掘挑战赛—— A题：基于数据挖掘的上市公司高送转预测 近年来，我国证券市场的高速发展催生了一批题材股，根据重大事件的不同分类，可以分为资产重组板块、粤港澳板块、新能源板块等等。在这些题材中间，高送转这一题材无疑是中小投资者强烈追捧的对象。因为实施高送转后股价将做除权处理，投资者可以通过填权行情从二级市场的股票增值中获利。很多股票在公布派送预案的第二天直接涨停，而等除权后再买入可能会面临很大的回撤风险。如果我们能准确预测下一年可能实施高送转的上市公司并提前买入，这对我们投资的安全性具有很大的现实意义。 经过研究，影响上市公司实施高送转的因子主要有两类：一是基本因子，包括股价、总股本、上市年限等；二是成长因子，包括每股未分配利润、每股资本公积、每股现金流、每股收益等。除此之外，还有“未来6个月是否存在解禁”、“是否存在定增方案”等因子需要挖掘。 问题1针对附件给出的因子数据，根据经济学意义以及数理统计方法，筛选出对上市公司实施高送转方案有较大影响的因子。 问题2利用问题1中确定的因子，建立模型来预测哪些上市公司可能会实施高送转，并对附件提供的数据，用所建立的模型来预测第8年上市公司实施高送转的情况。 名词解释 送股：上市公司分红的一种形式，把上市公司的盈余公积金或未分配利润转化为股份，以股票的形式派发给投资者，把资金以股票的形式留存在公司。由于是利润分配，因此股民需要缴税。 转股：上市公司分红的一种形式，把上市公司的资本公积金转化成股票，再向投资者派发。转股和送股一样是把资金以股票的形式留存在公司，由于资本公积金是公司投入资本本身所带来的资金增值，并不是公司经营带来的利润，所以转股并不属于公司的利润分配。通过转股实现分红只需借贷公司的会计科目，不需要缴税，且操作简单，成本低廉，为上市公司所青睐。 除权：根据上市公司总市值（总股本× 每股单价），送股、转股都不影响公司总市值，但公司的总股本增加了，使得每股股票所代表的企业实际价值（每股净资产）有所减少，因此需要在发生该事实后从股票市场价格中剔除这部分因素，该行为称为除权。 填权：在某一股票除权后的一段时间里，如果多数人对该股看好，该股票的交易市价将高于除权的基准价，这种行情称为填权行情。 高送转：指送红股或者转增股票的比例较大。 附件 附件数据为上市公司数据，包含年数据、日数据、基础数据三张表。 1

【泰迪杯】通用论坛正文提取

所选题目： C 综合评定成绩：评委评语： 评委签名：

通用论坛正文提取 摘要： 在如今的大数据时代，伴随着互联网和移动互联网的高速发展，在线产生的数据总量不断攀升，其所蕴含的大量信息已成为各行各业的一个重要的数据分析来源。其中论坛类网页数量和涉及的信息越来越多，充分挖掘这类信息对社会舆论和情感分析、企业决策和政策制定等具有重要的现实意义。而各论坛网页风格不一，如何从海量的差异论坛网页中提取有价值的信息是目前互联网数据处理一个急需解决的问题。 本次数据挖掘目标旨在根据论坛网页的特性，提出一种全新的通用论坛正文提取方法。整个过程主要分为5个步骤： 第一步：数据的清洗。附件中有些url存在错误，体现为三类：网页找不到、本帖被删除了以及404的错误码，针对这些网页不做正文提取的处理。 第二步：无用标签的清洗。html网页存在部分非正文的区域，它们大多都是一些js脚本、css样式以及html注释信息，这些标签里面的内容没有价值，事先清除这些标签可以缩小正文区域的搜索范围。 第三步：关键词定位和噪声过滤。关键词指的是时间文本。首先利用BeautifulSoup工具查找出满足时间格式的文本，并将这些时间文本划分为目标时间和正文时间。正文时间出现在主题帖或回复帖的正文内容中，不能帮助定位目标区域，因此将其视为噪声，做相应的过滤处理。将过滤后的时间文本作为目标时间，生成关键词向量。 第四步：目标内容区域定位。首先，以DOM树解析各个论坛网页，分析DOM解析树中包含关键词的节点的路径特征，寻找各路径特征的最大公共子序列，定位所有关键词节点的最近公共父亲节点。其次，在下递归寻找目标区域，有且仅包含一个时间关键词的为目标区域，不包含时间关键词的为非目标区域。 第五步：目标内容提取。目标内容包括作者，主题、正文和发表时间。发表时间选取上述的关键词；主题信息通过定位