The invention provides a data processing method and device applied to industrial big data analysis. The method includes: grabbing socio-economic data, enterprise data and industrial economic data in the preset grabbing range, transforming the above-mentioned data into structured data; filtering and processing structured data, removing redundant data and loading it into the database; and adding preset supplementary data to the database. In the database, the corresponding initial values of T three-level indicators of the areas to be evaluated are selected; the initial values of each three-level indicators are transformed into utility values; the utility values of all three-level indicators are added together to obtain the comprehensive scores of the areas to be evaluated; and the initial values of all three-level indicators and all three-level indicators of the areas to be evaluated are based on the initial values of all three-level indicators of the areas to be evaluated. The utility value of the indicators, the comprehensive scores of the areas to be evaluated and the historical data in the database generate data analysis reports. The data range of the invention is more comprehensive, the data analysis is more scientific, and the data analysis method is more diversified.
【技术实现步骤摘要】
应用于产业大数据分析的数据处理方法和装置
本专利技术涉及数据分析和数据处理领域，具体涉及一种应用于产业大数据分析的数据处理方法和装置。
技术介绍
随着国家关于产业相关政策的出台，如何通过产业规划来推动区域经济快速发展成为政府相关部门重点关注的问题。在产业规划的过程中产生大量的楼宇经济、产业项目、经济运行等区域产业相关数据，科学的对上述产业数据进行分析对完善区域规划评估体系、促进区域产业新旧动能转换、提高国民经济生产具有重要意义。但是现有产业数据的分析具有以下缺点：一方面数据获取渠道受限，参考数据主要基于相关部门提供的报表、汇报材料，缺乏大体量的企业信息和经济指标信息；另一方面对数据的分析缺少挖掘，只是通过简单的图标进行展示，形式单一，不成体系，不能准确的反应地区的经济情况以及发展趋势。
技术实现思路
本专利技术提供了一种应用于产业大数据分析的数据处理方法和装置，解决了现有技术中数据分析形式单一、缺少数据挖掘、数据分析不准确的问题。为了解决上述技术问题，本专利技术提供了一种应用于产业大数据分析的数据处理方法，该方法包括：在预设的抓取范围内抓取社会经济数据、企业数据和产业...
【技术保护点】
1.一种应用于产业大数据分析的数据处理方法，其特征在于，包括以下步骤：在预设的抓取范围内抓取社会经济数据、企业数据和产业经济数据，对所述社会经济数据、企业数据和产业经济数据进行处理生成结构化数据；将所述结构化数据进行筛选和处理，去除冗余的数据；将去除冗余数据的所述结构化数据加载到预设的数据库中；调取预设的补充数据加入到所述数据库中；从所述数据库中选取出待评价地区的t个三级指标分别对应的初始值，其中，所述三级指标用于描述所述待评价地区的社会经济数据、企业数据和产业经济数据的具体数值；通过预设的无量纲标准化处理模型，将每一个所述三级指标的初始值转化为三级指标的效用值，得到t个所...
【技术特征摘要】
1.一种应用于产业大数据分析的数据处理方法，其特征在于，包括以下步骤：在预设的抓取范围内抓取社会经济数据、企业数据和产业经济数据，对所述社会经济数据、企业数据和产业经济数据进行处理生成结构化数据；将所述结构化数据进行筛选和处理，去除冗余的数据；将去除冗余数据的所述结构化数据加载到预设的数据库中；调取预设的补充数据加入到所述数据库中；从所述数据库中选取出待评价地区的t个三级指标分别对应的初始值，其中，所述三级指标用于描述所述待评价地区的社会经济数据、企业数据和产业经济数据的具体数值；通过预设的无量纲标准化处理模型，将每一个所述三级指标的初始值转化为三级指标的效用值，得到t个所述三级指标的效用值；将所有三级指标的效用值相加，得到所述待评价地区的综合得分；根据所述待评价地区的所有所述三级指标的初始值、所有所述三级指标的效用值、所述待评价地区的综合得分以及所述数据库中的历史数据生成数据分析报告。2.根据权利要求1所述的应用于产业大数据分析的数据处理方法，其特征在于，所述社会经济数据包括：描述自然资源与条件、人口与劳动、社会发展、城市建设、人民生活和经济发展指标的数据；所述企业数据包括：描述企业上市信息、企业背景、生产经营信息、财务状况、企业运营、经营风险、创新能力、业务生产、新闻信息工商注册信息、知识产权信息和舆情信息的数据；所述产业经济数据包括：描述价格数据、指数数据、世界经济数据、全国经济数据、地区经济数据、行业经济数据以及经济分析报告的数据。3.根据权利要求1所述的应用于产业大数据分析的数据处理方法，其特征在于，将去除冗余数据的所述结构化数据加载到预设的数据库中进一步为，采用Sqoop工具将去除冗余数据的所述结构化数据加载到预设的数据库中。4.根据权利要求1所述的应用于产业大数据分析的数据处理方法，其特征在于，t个所述三级指标按照其属性组合为p个二级指标，p<t，p个所述二级指标按照其属性组合为q个一级指标，所述方法还包括以下步骤：将每一个所述二级指标所包含的所有三级指标的效用值相加，得到p个二级指标的分数值；将每一个所述一级指标所包含的所有二级指标的分数值相加，得到q个一级指标的分数值；根据所述待评价地区的所有所述三级指标的初始值、所有所述三级指标的效用值、所有所述二级指标的分数值、所有所述一级指标的分数值、所述待评价地区的综合得分以及所述数据库中的历史数据生成数据分析报告。5.根据权利要求4所述的应用于产业大数据分析的数据处理方法，其特征在于，所述三级指标至少包括以下内容：描述新登记企业数、新登记企业增长率、新增个体、农合数量、个体、农合同比增长率、拟上市及新三板挂牌量、各市当年高校毕业生人数、每万人发明专利拥有量、科技成果登记数、技术合同成交额、规模以上工业企业新产品销售收入、新增企业产生税收增量、私营企业和个体新增就业人口数、私营企业和个体就业人口增长率、投融资的事件数、投融资的总规模、风险投资募集额、规模以上工业企业研发经费投入强度、规模以上工业企业有研发活动占比、人均GDP、研究与开发经费内部支出占GDP比重、全社会研究与开发经费支出占GDP的比重、政府科技支出占政府财政总支出的比例和对企业各项税收优惠额占政府财政总支出的比例的数据；其中，所述新登记企业数、新登记企业增长率、新增个体、农合数量、个体、农合同比增长率以及拟上市及新三板挂牌量构成第一二级指标；所述各市当年高校毕业生人数构成第二二级指标；所述每万人发明专利拥有量、科技成果登记数以及技术合同成交额构成第三二级...
【专利技术属性】
技术研发人员：张同义，孙丹丹，韦晓，周永利，马述杰，田佳云，胡玉玲，
申请(专利权)人：泰华智慧产业集团股份有限公司，
类型：发明
国别省市：山东,37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。