一种基于大数据平台的数据处理方法及装置制造方法及图纸

本发明专利技术公开了一种基于大数据平台的数据处理方法，包括如下步骤：S1、基于各目标数据采集模块实现目标数据的采集；S2、采用基于Hadoop的粗糙集快速属性约简算法实现目标数据的预处理；S3、采用基于类间区分度的属性约简算法实现目标数据的特征数据的提取；S4、基于LSSVM根据所述特征数据实现目标数据的分类；S5、基于目标数据的分类结果调用对应的分析模板，根据分析模板调用对应的分析模型实现目标数据的分析；S6、将完成预处理的目标数据及其对应的分析结果填入预制的模板内，生成对应的分析报告。本发明专利技术提高了大规模数据的分析效率，从而可以将纷繁多样的海量数据转换成具有信息和商业价值的可用数据。

A data processing method and device based on big data platform

【技术实现步骤摘要】
一种基于大数据平台的数据处理方法及装置
本专利技术涉及大数据分析领域，具体涉及一种基于大数据平台的数据处理方法及装置。
技术介绍
大数据、云计算、“互联网+”已成为创新发展的新趋势，在大数据条件下，企业的每个系统就会产生成千上万的数据，虽然现在有很多传统的日志或者其他专业工具能够帮助企业分析这些数据，但传统的产品工具对数据的处理目前仅仅停留在各自割裂的、独立的、简易的图表与简单列示查询的方式，这些数据还没有很好的呈现为可视化的关联，关键数据的提取与关联均需依靠人工进行逐条甄别，费时费力的同时，容易出错。鉴于此，迫切需要设计一种基于大数据平台的数据处理方法及装置。
技术实现思路
为解决上述问题，本专利技术提供了一种基于大数据平台的数据处理方法及装置，提高了大规模数据的分析效率，从而可以将纷繁多样的海量数据转换成具有信息和商业价值的可用数据。为实现上述目的，本专利技术采取的技术方案为：一种基于大数据平台的数据处理方法，包括如下步骤：S1、基于各目标数据采集模块实现目标数据的采集；S2、采用基于Hadoop的粗糙集快速属性约简算法实现目标数据的预处理；S3、采用基于类间区分度的属性约简算法实现目标数据的特征数据的提取；S4、基于LSSVM根据所述特征数据实现目标数据的分类；S5、基于目标数据的分类结果调用对应的分析模板，根据分析模板调用对应的分析模型实现目标数据的分析；S6、将完成预处理的目标数据及其对应的分析结果填入预制的模板内，生成对应的分析报告。进一步地，还包括：根据数据的格式完成数据的预分类的步骤，具体的，首先，将数据分为文本格式和图片格式，然后基于DSOD算法实现图片格式数据中目标的识别，然后根据目标识别结果完成文本格式数据和图片格式数据的对应归组分类，比如，该组文本格式数据与其中某几副图片对应，则分为一组，在后续的数据处理中，图片格式数据处于锁定状态，直至步骤S6中，解除锁定，填入对应的模板内。进一步地，所述目标数据采集模块基于不同的数据采集算法进行目标数据的采集，从而可以实现目标数据的预分类。进一步地，所述分析模板内设有每种类比数据对应的分析步骤以及每个步骤对应的分析算法、分析模型，基于MATLAB实现。进一步地，所述分析模型采用InceptionV3深度神经网络模型。进一步地，所述分析报告中，完成预处理的目标数据采用超链接的方式填写，通过点击该超链接可以直接进入对应的数据库储存模块进行完成预处理的目标数据的查看，该超链接的名称为数据来源+时间。本专利技术还提供了一种基于大数据平台的数据处理装置，包括：目标数据采集模块，用于基于不同的数据采集算法实现目标数据的采集；目标数据预处理模块，采用基于Hadoop的粗糙集快速属性约简算法实现目标数据的预处理；数据特征提取模块，采用基于类间区分度的属性约简算法实现目标数据的特征数据的提取；数据分类模块，基于LSSVM根据所述特征数据实现目标数据的分类；数据分析模块，用于基于目标数据的分类结果调用对应的分析模板，根据分析模板调用对应的分析模型实现目标数据的分析；分析报告制作模块，用于将完成预处理的目标数据及其对应的分析结果填入预制的模板内，生成对应的分析报告。进一步地，还包括：数据预分类模块，用于根据数据的格式完成数据的预分类，分类时，首先，将数据分为文本格式和图片格式，然后基于DSOD算法实现图片格式数据中目标的识别，然后根据目标识别结果完成文本格式数据和图片格式数据的对应归组分类，比如，该组文本格式数据与其中某几副图片对应，则分为一组，在后续的数据处理中，图片格式数据处于锁定状态，直至步骤S6中，解除锁定，填入对应的模板内。进一步地，还包括：数据定位模块，基于特征数据为对应的完成预处理的目标数据在数据库中找到合适的位置，并为其找到相似数据点，建立其与相似数据点之间的关系本专利技术具有以下有益效果：1）基于目标数据采集模块进行数据的针对性挖掘，然后基于Hadoop的粗糙集快速属性约简算法进行数据的预处理，基于类间区分度的属性约简算法实现目标数据的特征数据的提取，大大提高了大规模数据的分析效率，从而可以将纷繁多样的海量数据转换成具有信息和商业价值的可用数据；2）基于LSSVM实现了目标数据的自动分类，同时基于不同的分析模板实用不同的InceptionV3深度神经网络模型实现了数据的自动分析，大大方便了工作人员的使用。3）不同的数据采用不同的分析模板，每个分析模板内载有对应的分析算法和分析模型，从而大大提高了分析结果的精确度。4）以及分析报告的方式实现分析结果的反馈，同时以超链接的方式进行目标数据的填写，大大方面了工作人员对分析结果的查看。5）通过数据定位模块实现了数据的自动分类储存，在减轻工作人员工作量的同时，方便了后续数据的调用。附图说明图1为本专利技术实施例1中的一种基于大数据平台的数据处理方法的流程图。图2为本专利技术实施例2中的一种基于大数据平台的数据处理方法的流程图。图3为本专利技术实施例3中的一种基于大数据平台的数据处理方法的流程图。图4为本专利技术实施例4中的一种基于大数据平台的数据处理装置的系统框图。具体实施方式为了使本专利技术的目的及优点更加清楚明白，以下结合实施例对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。实施例1如图1所示，本专利技术实施例提供了一种基于大数据平台的数据处理方法，包括如下步骤：S1、基于各目标数据采集模块根据不同的数据采集算法实现目标数据的采集；S2、采用基于Hadoop的粗糙集快速属性约简算法实现目标数据的预处理；S3、采用基于类间区分度的属性约简算法实现目标数据的特征数据的提取；S4、基于LSSVM根据所述特征数据实现目标数据的分类；S5、基于目标数据的分类结果调用对应的分析模板，根据分析模板调用对应的分析模型实现目标数据的分析；S6、将完成预处理的目标数据及其对应的分析结果填入预制的模板内，生成对应的分析报告。所述分析报告中，完成预处理的目标数据采用超链接的方式填写，通过点击该超链接可以直接进入对应的数据库储存模块进行完成预处理的目标数据的查看，该超链接的名称为数据来源+时间。本实施例中，所述分析模板内设有每种类比数据对应的分析步骤以及每个步骤对应的分析算法、分析模型，基于MATLAB实现；所述分析模型采用InceptionV3深度神经网络模型。实施例2如图2所示，本专利技术实施例提供了一种基于大数据平台的数据处理方法，包括如下步骤：S1、基于各目标数据采集模块根据不同的数据采集算法实现目标数据的采集；S2、根据数据的格式完成文本格式数据和图片格式数据的对应归组分类，具体的，首先，将数据分为文本格式和图片格式本文档来自技高网...

【技术保护点】
1.一种基于大数据平台的数据处理方法，其特征在于，包括如下步骤：/nS1、基于各目标数据采集模块实现目标数据的采集；/nS2、采用基于Hadoop的粗糙集快速属性约简算法实现目标数据的预处理；/nS3、采用基于类间区分度的属性约简算法实现目标数据的特征数据的提取；/nS4、基于LSSVM根据所述特征数据实现目标数据的分类；/nS5、基于目标数据的分类结果调用对应的分析模板，根据分析模板调用对应的分析模型实现目标数据的分析；/nS6、将完成预处理的目标数据及其对应的分析结果填入预制的模板内，生成对应的分析报告。/n

【技术特征摘要】
1.一种基于大数据平台的数据处理方法，其特征在于，包括如下步骤：
S1、基于各目标数据采集模块实现目标数据的采集；
S2、采用基于Hadoop的粗糙集快速属性约简算法实现目标数据的预处理；
S3、采用基于类间区分度的属性约简算法实现目标数据的特征数据的提取；
S4、基于LSSVM根据所述特征数据实现目标数据的分类；
S5、基于目标数据的分类结果调用对应的分析模板，根据分析模板调用对应的分析模型实现目标数据的分析；
S6、将完成预处理的目标数据及其对应的分析结果填入预制的模板内，生成对应的分析报告。


2.如权利要求1所述的一种基于大数据平台的数据处理方法，其特征在于，还包括：根据数据的格式完成数据的预分类的步骤，具体的，首先，将数据分为文本格式和图片格式，然后基于DSOD算法实现图片格式数据中目标的识别，然后根据目标识别结果完成文本格式数据和图片格式数据的对应归组分类。


3.如权利要求1所述的一种基于大数据平台的数据处理方法，其特征在于，所述目标数据采集模块基于不同的数据采集算法进行目标数据的采集。


4.如权利要求1所述的一种基于大数据平台的数据处理方法，其特征在于，所述分析模板内设有每种类比数据对应的分析步骤以及每个步骤对应的分析算法、分析模型，基于MATLAB实现。


5.如权利要求1所述的一种基于大数据平台的数据处理方法，其特征在于，所述分析模型采用InceptionV3深度神经网络模型。


6.如权利要求1所述的一种基于大数据...

【专利技术属性】
技术研发人员：刘瑞，
申请(专利权)人：延安大学，
类型：发明
国别省市：陕西;61