【技术实现步骤摘要】
本专利技术涉及数据处理，具体是一种数据分类处理方法。
技术介绍
1、信息技术与经济社会的融合使得数据以前所未有的速度不断增长并形成了海量数据，数据逐渐成为与土地、物质和能源同等重要的基础性战略资源，日益对经济运行、社会生产生活和国家治理产生重要影响；而海量的数据所构成的数据集合，必须通过分类处理分析，挖掘数据的有利信息并加以有效利用，将数据的深层价值体现出来，才能形成有规律、可预测的信息服务能力；有了大数据分析才能让规模巨大的数据有条有理，正确分类，产生有价值的分析报告，从而应用到各领域中，促进其发展。
2、中国专利公开了一种大数据分类处理方法（授权公告号cn107590179a），该专利技术在获得目标资讯组之后，对目标资讯组中每一目标资讯进行数据清洗，得到针对每一目标资讯的纯文本资讯；对每一纯文本资讯进行关键词提取，将提取到的关键词作为分类标签；根据分类标签，对目标资讯组中包含的目标资讯进行分类，得到分类结果，提高了数据分类的准确度，但是其不能对提取的数据进行分析，进而导致需要使用者单独对数据进行分析判断。
技术实现思路
1、本专利技术的目的在于提供一种数据分类处理方法，以解决上述
技术介绍
中提出的问题。
2、为实现上述目的，本专利技术提供如下技术方案：
3、一种数据分类处理方法， 包括以下步骤：
4、s1、大数据平台构建：构建大数据平台并确定数据源；其中，数据源包括内部数据源、外部数据源和第三方数据源；
5、s2、数据采
6、s3、数据挖掘：从大量预处理的数据中挖掘出隐藏于其中有用的信息，并对挖掘的数据进行更新；
7、s4、数据预测模型建立：从时间维度、产品纬度和客户维度进行特征提取，并建立数据预测模型，并对数据预测模型进行评估，分析预测误差，选出最优模型；
8、s5、数据可视化展示：通过最优模型对数据进行分类处理，并分析出规律和结论，再通过文字表达和图形表达的方式将数据可视化，并通过大数据平台展现给用户，以实现直接对大量的数据信息进行快速判断、分析和理解。
9、作为本专利技术再进一步的方案：所述数据预处理包括以下步骤：
10、s21、数据抽取:从不同的数据源中读取数据，对数据源中出现一些字段的含义不明确，且各个数据源的数据语义不能完全保持一致时；抽取含义明确的数据并在抽取过程中对同一语义的数据进行重新定义，得到抽取后的数据；
11、s22、数据清洁:检查抽取后的数据中字段或字段组的存储格式，以及字段中数据的有效值；并去除源数据中不规范的数据，得到干净的源数据；
12、s23、数据转换:对干净的源数据进行转换，得到战略决策的信息数据；
13、s24、数据装载：在所需数据转换完成后，将其装载到数据库中。
14、作为本专利技术再进一步的方案：在所述s23步骤中，数据转换的方法包括数据类型转换法、数据格式转换法、数据重构法和数据综合法。
15、作为本专利技术再进一步的方案：在所述s4步骤中，数据挖掘的方法包括数据聚类挖掘法、数据分类挖掘法、数据关联规则挖掘法和数据偏差挖掘法。
16、作为本专利技术再进一步的方案：在所述s4步骤中，数据预测模型建立的方法包括回归分析法、时间序列分析法、机器学习法。
17、作为本专利技术再进一步的方案：在所述s4步骤中，数据预测模型评估的指标包括精度、召回率、roc曲线下面积和kappa系数。
18、作为本专利技术再进一步的方案：在所述s5步骤中，图形表达的方式包括简单统计学图形和数据类型图形；其中，统计学图形包括折线图、柱状图、饼状图和气泡图；数据类型图形包括地理信息图、平行坐标图、树结构图、鱼骨图和桑葚图。
19、作为本专利技术再进一步的方案：在所述s5步骤中，大数据平台的展现模块包括用户登录模块、数据查询模块、数据更新模块、历史统计分析模块和数据管理模块；所述数据更新模块用于实时更新数据库中的数据，不断扩充数据占有量；所述数据查询模块用于将存储的数据分类别展现在平台的查询页面上。
20、与现有技术相比，本专利技术的有益效果：
21、本专利技术通过大数据平台构建、数据采集和预处理、数据挖掘、数据预测模型建立以及数据可视化展示；从而在数据源中提取出战略决策的信息数据；通过最优模型对数据进行分类处理，并分析出规律和结论，再通过文字表达和图形表达的方式将数据可视化，以实现直接对大量的数据信息进行快速判断、分析和预测。
本文档来自技高网...【技术保护点】
1.一种数据分类处理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种数据分类处理方法，其特征在于，所述数据预处理包括以下步骤：
3.根据权利要求2所述的一种数据分类处理方法，其特征在于，在所述S23步骤中，数据转换的方法包括数据类型转换法、数据格式转换法、数据重构法和数据综合法。
4.根据权利要求1所述的一种数据分类处理方法，其特征在于，在所述S4步骤中，数据挖掘的方法包括数据聚类挖掘法、数据分类挖掘法、数据关联规则挖掘法和数据偏差挖掘法。
5.根据权利要求1所述的一种数据分类处理方法，其特征在于，在所述S4步骤中，数据预测模型建立的方法包括回归分析法、时间序列分析法、机器学习法。
6.根据权利要求1所述的一种数据分类处理方法，其特征在于，在所述S4步骤中，数据预测模型评估的指标包括精度、召回率、ROC曲线下面积和Kappa系数。
7.根据权利要求1所述的一种数据分类处理方法，其特征在于，在所述S5步骤中，图形表达的方式包括简单统计学图形和数据类型图形；其中，统计学图形包括折线图、柱状图、饼状图
8.根据权利要求1所述的一种数据分类处理方法，其特征在于，在所述S5步骤中，大数据平台的展现模块包括用户登录模块、数据查询模块、数据更新模块、历史统计分析模块和数据管理模块；所述数据更新模块用于实时更新数据库中的数据，不断扩充数据占有量；所述数据查询模块用于将存储的数据分类别展现在平台的查询页面上。
...【技术特征摘要】
1.一种数据分类处理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种数据分类处理方法，其特征在于，所述数据预处理包括以下步骤：
3.根据权利要求2所述的一种数据分类处理方法，其特征在于，在所述s23步骤中，数据转换的方法包括数据类型转换法、数据格式转换法、数据重构法和数据综合法。
4.根据权利要求1所述的一种数据分类处理方法，其特征在于，在所述s4步骤中，数据挖掘的方法包括数据聚类挖掘法、数据分类挖掘法、数据关联规则挖掘法和数据偏差挖掘法。
5.根据权利要求1所述的一种数据分类处理方法，其特征在于，在所述s4步骤中，数据预测模型建立的方法包括回归分析法、时间序列分析法、机器学习法。
6.根据权利要求1所述的一种...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。