数据处理方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:31768054 阅读:29 留言:0更新日期:2022-01-05 16:53
本申请涉及一种数据处理方法方法、装置、计算机设备、存储介质和计算机程序产品,该方法包括:获取初始向量空间,根据预设的约束条件对初始向量空间进行小波分析,得到多个父小波和多个母小波,基于多个父小波和多个母小波确定的多个近似子空间,确定目标父小波;通过目标父小波对初始向量空间进行下采样,得到目标数据集;根据目标父小波、与目标父小波对应的目标母小波以及目标数据集,确定中间向量空间;根据中间向量空间对初始向量空间进行更新,重复进行上述对初始向量空间进行处理的步骤,得到目标向量空间。本申请提供的数据处理方法,能够减少了目标对象结构分析过程中的数据分析过程,提高对目标对象结构的分析效率。提高对目标对象结构的分析效率。提高对目标对象结构的分析效率。

【技术实现步骤摘要】
数据处理方法、装置、计算机设备和存储介质


[0001]本申请涉及大数据分析

,特别是涉及一种数据处理方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]不同的物质通过不同的特征进行区分,这些特征可以通过例如物质的材料、工艺、结构等进行描述,针对不同的物质,确定不同物质的特征对研究以及分析该物质至关重要,所以获得用于描述物质的特征显得尤为重要。
[0003]目前,常用的提取物质特征的方法为主成分分析法(PCA),在流体力学中通常将其表示为适当的正交分解。具体的主成分分析法为给定一个集合(通常为时间序列)的数据,PCA产生一个数据驱动的正交基,其元素是最优排序的能量含量。但是,通过主成分分析法对物质的特性进行分析,其需要分析的数据较多,其中不乏很多冗余的数据,造成了对物质特性分析的效率很低。

技术实现思路

[0004]本申请提供一种数据处理方法、装置、计算机设备、存储介质和计算机程序产品,能够快速的将与分析目标对象结构相关性强的数据筛选出来,以为后续进行目标对象结构的分析提供可靠的数据支持,提高对目标对象结构分析的效率。
[0005]第一方面,本申请提供了一种数据处理方法,该方法包括:S1、获取初始向量空间,初始向量空间中包括多组用于分析目标对象结构的数据;S2、根据预设的约束条件对初始向量空间进行小波分析,得到多个父小波和多个母小波,多个父小波和多个母小波相互标准正交;S3、基于多个父小波和多个母小波确定的多个近似子空间,确定目标父小波;目标父小波构建的近似子空间的重构误差最小;S4、通过目标父小波对初始向量空间进行下采样,得到目标数据集;S5、根据目标父小波、与目标父小波对应的目标母小波以及目标数据集,确定中间向量空间;S6、根据中间向量空间更新初始向量空间,重复进行预设次数的步骤S2

S5,得到目标向量空间。
[0006]第二方面,本申请还提供了一种数据处理装置,该装置包括:获取模块,用于获取初始向量空间,初始向量空间中包括多组用于分析目标对象结构的数据;分析模块,用于根据预设的约束条件对初始向量空间进行小波分析,得到多个父小波和多个母小波,多个父小波和多个母小波相互标准正交;第一确定模块,用于基于多个父小波和多个母小波确定的多个近似子空间,确定目标父小波;目标父小波构建的近似子空间的重构误差最小。
[0007]采样模块,用于通过目标父小波对初始向量空间进行下采样,得到目标数据集;第二确定模块,用于根据目标父小波、与目标父小波对应的目标母小波以及目标数据集,确定中间向量空间;循环计算模块,用于根据所述中间向量空间更新所述初始向量空间,对更新后的所述初始向量空间重复进行预设次数的计算操作,得到目标向量空间,所述计算操作包括:根据预设的约束条件对所述初始向量空间进行小波分析,得到多个父小波和多个母小波,所述多个父小波和所述多个母小波相互标准正交;基于所述多个父小波和所述多个母小波确定的多个近似子空间,确定目标父小波;所述目标父小波构建的近似子空间的重构误差最小;通过所述目标父小波对所述初始向量空间进行下采样,得到目标数据集;以及,根据所述目标父小波、与所述目标父小波对应的目标母小波以及所述目标数据集,确定中间向量空间。
[0008]第三方面,本申请还提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行所述计算机程序时实现上述任一项的方法的步骤:第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任一项的方法的步骤。
[0009]第五方面,本申请还提供了一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现上述任一项的方法的步骤。
[0010]本申请提供了一种数据处理方法方法、装置、计算机设备、存储介质和计算机程序产品,该方法包括:获取初始向量空间,根据预设的约束条件对初始向量空间进行小波分析,得到多个父小波和多个母小波,基于多个父小波和多个母小波确定的多个近似子空间,确定目标父小波;通过目标父小波对初始向量空间进行下采样,得到目标数据集;根据目标父小波、与目标父小波对应的目标母小波以及目标数据集,确定中间向量空间;根据中间向量空间对初始向量空间进行更新,重复进行上述对初始向量空间进行处理的步骤,得到目标向量空间。本申请提供的数据处理方法,通过小波分析得到的多个父小波和多个母小波,基于父小波和母小波对初始向量空间进行重构,得到了多个与初始向量空间近似的近似子空间,近似子空间相对于初始向量空间中的数据少,然后从多个近似子空间中筛选出重构误差最小的近似子空间对初始向量空间进行更新,进一步根据该近似子空间对应的父小波对初始向量空间进行采样后从初始向量空间中筛选出目标数据集,用于填充重构误差最小的近似子空间得到中间向量空间。由于中间向量空间的重构误差最小,表示通过中间向量空间对目标对象的结构进行分析得到的结果和通过初始向量空间对目标对象的结构进行分析得到的结果相差不大,也就表示可以通过中间向量空间代替初始向量空间对目标对象的结构进行分析,且由于中间向量空间中的数据相对于初始向量空间中的数据要少很多,所以基于中间向量空间中的数据对目标对象的结构进行分析,能够减少对数据的分析过程,提高对目标对象的结构的分析效率。基于上述原因,本申请进一步还根据中间向量空间对初始向量空间进行更新,对中间向量空间进行进一步的筛选,得到数据更少的目标向量空间,将大尺度多维的初始向量空间进行了局部化的降维处理,得到了小尺度低维的向量空间,同时,能够保证通过目标向量空间中的数据对目标对象的结构进行分析能够达到原始向量空间对目标对象的结构进行分析的分析效果。总体上,减少了目标对象结构分析过程中的数据分析过程,提高了对目标对象结构的分析效率。
附图说明
[0011]图1为一个实施例中数据处理方法的应用环境图;图2为一个实施例中数据处理方法的流程示意图;图3为另一个实施例中数据处理步骤的流程示意图;图4为另一个实施例中数据处理方法的流程示意图;图5为另一个实施例中数据处理方法的流程示意图;图6为另一个实施例中数据处理方法的流程示意图;图7为另一个实施例中数据处理装置的结构框图;图8为另一个实施例中计算机设备的内部结构图。
具体实施方式
[0012]为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
[0013]本申请实施例提供的数据处理方法,可以应用于如图1所示的应用环境中。其中,多个不同的终端102通过网络与服务器104进行通信,数据存储系统可以存储服务器102需要处理的用于分析目标对象结构的多种数据。数据存储系统可以集成在服务器102上,也可以放在云上或其他网络服务器上。多个不同的终端102通过网络将采集到的用于分析目标对象结构的不同类型的数据传输给服务器104,服务器104将同一时间多个不同的终端102发送的数据组合为一组,进本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,其特征在于,所述方法包括:S1,获取初始向量空间,所述初始向量空间中包括多组用于分析目标对象结构的数据;S2,根据预设的约束条件对所述初始向量空间进行小波分析,得到多个父小波和多个母小波,所述多个父小波和所述多个母小波相互标准正交;S3,基于所述多个父小波和所述多个母小波确定的多个近似子空间,确定目标父小波;所述目标父小波构建的近似子空间的重构误差最小;S4,通过所述目标父小波对所述初始向量空间进行下采样,得到目标数据集;S5,根据所述目标父小波、与所述目标父小波对应的目标母小波以及所述目标数据集,确定中间向量空间;S6,根据所述中间向量空间更新所述初始向量空间,重复进行预设次数的步骤S2

S5,得到目标向量空间。2.根据权利要求1所述的方法,其特征在于,所述基于所述多个父小波和所述多个母小波确定的多个近似子空间,确定目标父小波,包括:确定所述多个近似子空间对应的父小波的方差;将所述父小波对应的方差和所述初始向量空间输入至预设的重构误差分析模型得到与所述父小波对应的所述近似子空间的重构误差;将所述多个近似子空间中的重构误差最小的近似子空间对应的父小波确定为所述目标父小波。3.根据权利要求1所述的方法,其特征在于,通过所述目标父小波对所述初始向量空间进行下采样,得到目标数据集,包括:将所述目标父小波与所述初始向量空间进行卷积计算,得到初始数据集;对所述初始数据进行删除奇数项保留偶数项的处理,得到所述目标数据集。4.根据权利要求1所述的方法,其特征在于,所述根据所述目标父小波、与所述目标父小波对应的目标母小波以及所述目标数据集,确定中间向量空间,包括:基于所述目标父小波构建所述目标母小波;根据所述目标父小波和所述目标母小波确定向量空间表达式;通过所述目标数据集对所述向量空间表达式进行填充得到所述中间向量空间。5.根据权利要求1所述的方法,其特征在于,所述方法还包括:通过折叠引理对所述目标向量空间进行验证;若对所述目标向量空间验证通过,则根据所述目标向量空间中的数据对所述目标对象的结构进行分析。6....

【专利技术属性】
技术研发人员:杨洋石延辉张海凤袁海廖毅洪乐洲杨阳吴梦凡吴桐张朝斌张博黄家豪李凯协赖皓黄锴廖名洋张卓杰姚言超夏杰李金安秦金锋许浩强王蒙叶志良袁振峰黄兆严伟蔡斌关就廖聪李莉赵晓杰孔玮琦王越章
申请(专利权)人:中国南方电网有限责任公司超高压输电公司广州局
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1