一种数据质量评估方法、装置、存储介质及电子装置制造方法及图纸

技术编号:33119565 阅读:16 留言:0更新日期:2022-04-17 00:16
本发明专利技术实施例提供了一种数据质量评估方法、装置、存储介质及电子装置,涉及数据处理技术的技术领域。其方法包括:获取目标数据的初始特征信息以及初始属性信息;对所述分辨度信息和所述置信度信息进行融合处理,以得到所述目标数据的质量判定信息;基于所述质量判定信息确定所述目标数据的数据质量。通过本发明专利技术,解决了数据质量评估精度低的问题,进而达到了提高数据质量评估精度的效果。提高数据质量评估精度的效果。提高数据质量评估精度的效果。

【技术实现步骤摘要】
一种数据质量评估方法、装置、存储介质及电子装置


[0001]本专利技术实施例涉及数据处理
,具体而言,涉及一种数据质量评估方法、装置、存储介质及电子装置。

技术介绍

[0002]目前,人工智能数据处理作为重要的辅助工具,已经被广泛应用到各个领域,而为保证人工智能的精确性,对数据的质量一定的要求。
[0003]现有的数据质量评估方案主要有两个方向:一种是基于人工特征提取,并通过浅层回归的方法实现数据质量评估的传统方法;一种是基于有监督的训练神经网络实现数据质量评估的深度学习方法。
[0004]传统的人工特征提取方法的精度受人为主观意向影响,效率低,准确度难以保证;有监督的深度学习方法需要大量训练数据,前期准备时间长,精度受人为标注准确度的影响;同时由于数据传感等硬件条件的限制,在数据质量评估方面需要尽可能的节省计算资源,从而使得更多的计算资源能应用到检测跟踪上,因而要求数据质量评估不能占用太多资源,这也影响了现有的数据质量评估的精度。
[0005]针对上述问题,当前并未提出有效的解决方案。

技术实现思路

[0006]本专利技术实施例提供了一种数据质量评估方法、装置、存储介质及电子装置,以至少解决相关技术中数据质量评估精度低的问题。
[0007]根据本专利技术的一个实施例,提供了一种数据质量评估方法,包括:获取目标数据的初始特征信息以及初始属性信息,其中,所述初始特征信息包括所述目标数据的分辨度信息,所述初始属性信息包括所述目标数据的置信度信息;对所述分辨度信息和所述置信度信息进行融合处理,以得到所述目标数据的质量判定信息;基于所述质量判定信息确定所述目标数据的数据质量。
[0008]在一个示例性实施例中,所述基于所述质量判定信息确定所述目标数据的数据质量包括:获取目标数据的均匀概率分布信息,其中,所述均匀概率分布信息用于指示所述目标数据的质量判定信息的随机分布;基于所述均匀概率分布信息和所述质量判定信息,确定所述目标数据的相对熵信息,其中,所述相对熵信息包括所述质量判定信息与所述均匀概率分布信息之间的相对熵;基于所述相对熵信息,确定所述目标数据的数据质量。
[0009]在一个示例性实施例中,所述基于所述相对熵信息,确定所述目标数据的数据质量包括:基于所述相对熵信息以及预设的映射公式,确定所述目标数据的映射距离,其中,
所述映射公式为:,式中,所述为所述映射距离,所述为所述相对熵信息;基于所述映射距离,确定所述目标数据的数据质量。
[0010]在一个示例性实施例中,所述对所述分辨度信息和所述置信度信息进行融合处理,以得到所述目标数据的质量判定信息包括:通过融合公式,对所述分辨度信息和所述置信度信息进行融合处理,以得到所述目标数据的质量判定信息,其中,所述融合公式包括:,式中,所述P用于指示所述质量判定信息,所述Ps用于指示所述置信度信息,所述Ss用于指示所述分辨度信息。
[0011]在一个示例性实施例中,所述获取目标数据的初始属性数据包括:获取所述目标数据的业务场景信息;基于所述业务场景信息,对初始属性模型进行训练,以得到目标属性模型;通过所述目标属性模型对所述目标数据进行属性分类处理,以获取所述初始属性数据。
[0012]在一个示例性实施例中,所述获取目标数据的初始特征数据包括:对初始特征模型进行初始化处理,以得到目标特征模型;通过所述目标特征模型对所述目标数据进行特征中和处理,以获取所述初始特征数据。
[0013]根据本专利技术的另一个实施例,提供了一种数据质量评估装置,包括:数据采集模块,用于获取目标数据的初始特征信息以及初始属性信息,其中,所述初始特征信息包括所述目标数据的分辨度信息,所述初始属性信息包括所述目标数据的置信度信息;信息融合模块,用于对所述分辨度信息和所述置信度信息进行融合处理,以得到所述目标数据的质量判定信息质量评估模块,用于基于所述质量判定信息确定所述目标数据的数据质量。
[0014]在一个示例性实施例中,所述质量评估模块包括:均匀信息采集单元,用于获取目标数据的均匀概率分布信息,其中,所述均匀概率分布信息用于指示所述目标数据的质量判定信息的随机分布;相对熵确定单元,用于基于所述均匀概率分布信息和所述质量判定信息,确定所述目标数据的相对熵信息;数据质量评估单元,用于基于所述相对熵信息,确定所述目标数据的数据质量。
[0015]根据本专利技术的又一个实施例,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
[0016]根据本专利技术的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述
存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
[0017]通过本专利技术,由于是通过业务场景信息得到初始属性数据,因而无需采集用于数据评估的相关数据集,减少了资源的占用量,节省了计算资源,使得数据评估的计算资源得到保障,提高了数据评估精度;同时,通过将置信度信息与分辨度信息进行融合,能够精确的确定目标数据的质量判定信息,减少了其它数据的干扰,并能够直观的判断目标数据的质量,因此,可以解决数据评估质量精度低的问题,达到提高数据质量评估精度的效果。
附图说明
[0018]图1是本专利技术实施例的一种数据质量评估方法的移动终端的硬件结构框图;图2是根据本专利技术实施例的一种数据质量评估方法的流程图;图3是根据本专利技术实施例的一种数据质量评估装置的结构框图;图4是根据本专利技术具体实施例的结构框图;图5是根据本专利技术具体实施例的流程框图;图6是根据本专利技术具体实施例的数据特征提取部分的流程框图;图7是根据本专利技术具体实施例的数据质量评估部分的流程框图。
具体实施方式
[0019]下文中将参考附图并结合实施例来详细说明本专利技术的实施例。
[0020]需要说明的是,本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
[0021]本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例,图1是本专利技术实施例的一种数据质量评估方法的移动终端的硬件结构框图。如图1所示,移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,其中,上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
[0022]存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本专利技术实施例中的一种数据质量评估方法对应的计算机程序,处理器102通过运行存本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据质量评估方法,其特征在于,包括:获取目标数据的初始特征信息以及初始属性信息,其中,所述初始特征信息包括所述目标数据的分辨度信息,所述初始属性信息包括所述目标数据的置信度信息;对所述分辨度信息和所述置信度信息进行融合处理,以得到所述目标数据的质量判定信息;基于所述质量判定信息确定所述目标数据的数据质量。2.根据权利要求1所述的方法,其特征在于,所述基于所述质量判定信息确定所述目标数据的数据质量包括:获取目标数据的均匀概率分布信息,其中,所述均匀概率分布信息用于指示所述目标数据的质量判定信息的随机分布;基于所述均匀概率分布信息和所述质量判定信息,确定所述目标数据的相对熵信息质量判定信息;基于所述相对熵信息,确定所述目标数据的数据质量。3.根据权利要求2所述的方法,其特征在于,所述基于所述相对熵信息,确定所述目标数据的数据质量包括:基于所述相对熵信息以及预设的映射公式,确定所述目标数据的映射距离,其中,所述映射公式为:,式中,所述为所述映射距离,所述为所述相对熵信息;基于所述映射距离,确定所述目标数据的数据质量。4.根据权利要求1所述的方法,其特征在于,所述对所述分辨度信息和所述置信度信息进行融合处理,以得到所述目标数据的质量信息包括:通过融合公式,对所述分辨度信息和所述置信度信息进行融合处理,以得到所述目标数据的质量判定信息,其中,所述融合公式包括:,式中,所述P用于指示所述质量判定信息,所述Ps用于指示所述置信度信息,所述Ss用于指示所述分辨度信息。5.根据权利要求1所述的方法,其特征在于,所述获取目标数据的初始属性数据包括:获取所述目标数据的业务场景信息;基于所述业务...

【专利技术属性】
技术研发人员:彭垚杨德城林亦宁
申请(专利权)人:北京闪马智建科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1