【技术实现步骤摘要】
基于满足K度稀疏约束的深度学习模型的数据处理方法
本专利技术属于数据处理
,尤其涉及一种基于满足K度稀疏约束的深度学习模型的数据处理方法。
技术介绍
目前:随着网络技术的快速发展,数据的容量和多样性快速增加,而处理数据的算法复杂度却难以改善,如何高效处理大数据已经成为一个紧迫的难题。在现有的依赖个人经验和手工操作来描述数据、标注数据、选择特征、提取特征、处理数据的方法,已经很难满足大数据快速增长的需求。随着人工智能技术的快速发展,特别是深度学习算法的研究突破,为解决大数据处理问题指明了一个值得探索的方向。Hinton等人在2006年提出了用于深度置信网的逐层初始化训练方法,这是深度学习方法的研究起点,该方法打破了持续了几十年的深度神经网络训练困难且效果不好的局面。此后,深度学习算法替代了传统算法,在图像识别、语音识别、自然语言理解等领域得到广泛的应用。深度学习是通过模拟人脑分层次的抽象,将底层数据逐层映射而获得更抽象的特征,由于它可以从大数据中自动提取特征,并通过海量的样本训练获得很好的处理效果,从而得到了广泛的关注。实际上,大数据的快速增长和深度学习的研究突破是相辅相成的,一方面大数据的快速增长需要一种高效处理海量数据的方法,另一方面深度学习模型的训练需要海量的样本数据。总之,大数据可以使深度学习的性能达到极致。地球化学是研究地球的化学组成、化学作用和化学演化的科学,它是地质学与化学、物理学相结合而产生和发展起来的边缘学科。但是目前暂无将深度学习与地球化学数据的分析结合的方案,无法实现对地球化学数据处 ...
【技术保护点】
1.一种基于满足K度稀疏约束的深度学习模型的数据处理方法,其特征在于,所述基于满足K度稀疏约束的深度学习模型的数据处理方法具体包括以下步骤:/n步骤一,通过地球化学数据获取模块利用地球化学数据获取程序从数据库中提取地球化学数据;/n所述通过地球化学数据获取模块利用地球化学数据获取程序从数据库中提取地球化学数据,包括:/n(1)当检测到操作事务生成的完成标识时,根据所述操作事务对应的操作因子,生成所述操作数据;/n(2)将所述操作数据添加到所述数据库中,并生成用于区分所述操作事务的操作编号;/n(3)当接收到对所述操作数据的提取请求时,根据所述提取请求携带的提取数据量信息,从数据库中确定目标提取数据;/n(4)提取所述目标提取数据,以及所述目标提取数据在所述数据库中的操作编号,得到数据提取表;/n步骤二,通过深度学习模型构建模块利用深度学习模型构建程序构建深度学习模型;通过模型训练模块利用模型训练程序进行深度学习模型的训练,得到深度学习神经网络;/n所述通过模型训练模块利用模型训练程序进行深度学习模型的训练,得到深度学习神经网络,包括以下步骤:/n1)根据所述地球化学数据,采用构建完成的 ...
【技术特征摘要】
1.一种基于满足K度稀疏约束的深度学习模型的数据处理方法,其特征在于,所述基于满足K度稀疏约束的深度学习模型的数据处理方法具体包括以下步骤:
步骤一,通过地球化学数据获取模块利用地球化学数据获取程序从数据库中提取地球化学数据;
所述通过地球化学数据获取模块利用地球化学数据获取程序从数据库中提取地球化学数据,包括:
(1)当检测到操作事务生成的完成标识时,根据所述操作事务对应的操作因子,生成所述操作数据;
(2)将所述操作数据添加到所述数据库中,并生成用于区分所述操作事务的操作编号;
(3)当接收到对所述操作数据的提取请求时,根据所述提取请求携带的提取数据量信息,从数据库中确定目标提取数据;
(4)提取所述目标提取数据,以及所述目标提取数据在所述数据库中的操作编号,得到数据提取表;
步骤二,通过深度学习模型构建模块利用深度学习模型构建程序构建深度学习模型;通过模型训练模块利用模型训练程序进行深度学习模型的训练,得到深度学习神经网络;
所述通过模型训练模块利用模型训练程序进行深度学习模型的训练,得到深度学习神经网络,包括以下步骤:
1)根据所述地球化学数据,采用构建完成的所述深度学习模型和预设的特征提取算法,提取对应的目标特征;
2)根据由提取得到的所述目标特征构成的目标特征集,对所述隐含层进行局部训练;
3)根据预先从所述地球化学数据中选出的目标地球化学数据,对已完成所述局部训练的所述深度学习模型进行所述全连接层的分类训练,以完成所述深度学习模型的训练,得到深度学习神经网络;
步骤三,通过中央控制模块利用主控机控制数据输入模块利用数据输入模块将获取的地球化学数据输入训练后的深度学习神经网络;
步骤四,通过模型更新模块利用模型更新程序进行深度学习模型的更新;通过特征值获取模块利用特征值获取程序对训练用户对应的训练特征值进行提取;
步骤五,通过特征值输入模块利用特征值输入程序进行特征值输入;通过最佳模型获取模块利用最佳模型获取程序获取最佳深度学习模型;
步骤六,通过数据分析模块利用数据分析程序进行地球化学数据的分析;数据分类处理模利用获取的最佳深度学习模型基于数据分析结果进行地球化学数据的分类处理;
步骤七,通过输出模块利用输出程序输出数据分析结果以及数据分类处理结果。
2.如权利要求1所述基于满足K度稀疏约束的深度学习模型的数据处理方法,其特征在于,步骤(3)中,所述从数据库中确定目标提取数据,具体为:
读取账户数据库中各项子数据的数据量,并判断各所述数据量中是否存在与所述提取数据量信息一致的目标数据量;若存在与所述提取数据量信息一致的目标数据量,则将与所述目标数据量对应的子数据确定为目标提取数据;若不存在与所述提取数据量信息一致的目标数据量,则根据生成各项所述子数据的时间先后顺序,确定目标提取数据。
3.如权利要求2所述基于满足K度稀疏约束的深度学习模型的数据处理方法,其特征在于,所述根据生成各项所述子数据的时间先后顺序,确定目标提取数据,包括:
步骤A,根据所述时间先后顺序,读取位于所述时间先后顺序第一位的首位子数据;
步骤B,判断所述首位子数据的数据量是否大于所述提取数据量;
步骤C,若所述首位子数据的数据量大于所述提取数据量,则将所述首位子数据确定为目标提取数据;
步骤D,若所述首位子数据的数据量不大于所述提取数据量,则根据在所述时间先后顺序中位于所述首位子数据后位的其他子数据,确定目标提取数据。
4.如权利要求1所述基于满足K度稀疏约束的深度学习模型的数据处理方法,其特征在于,步骤二中,所述通过深度学习模型构建...
【专利技术属性】
技术研发人员:陈国强,薛晓刚,迟唤昭,毕明丽,张成,李彩虹,
申请(专利权)人:长春工程学院,
类型:发明
国别省市:吉林;22
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。