数据质量识别方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:28625822 阅读:36 留言:0更新日期:2021-05-28 16:22
本申请涉及一种数据质量识别方法、装置、计算机设备和存储介质。该方法包括:获取目标调查数据;目标调查数据包括至少两个数据平台采集得到的调查数据;每个数据平台的调查数据包括调查指标和调查指标对应的统计数据;根据目标调查数据,获取两两数据平台的各个调查指标的统计数据集合;对两两数据平台的各个调查指标的统计数据集合进行线性回归处理,得到两两数据平台的调查数据的多个质量评估参数;根据多个质量评估参数,确定对两两数据平台的调查数据的质量识别结果;根据对两两数据平台的调查数据的质量识别结果,确定对目标调查数据的目标质量识别结果。采用本方法,能够提高数据质量识别准确率,保证了大数据的数据挖掘结果的有效性。

【技术实现步骤摘要】
数据质量识别方法、装置、计算机设备和存储介质
本申请涉及数据处理
,特别是涉及一种数据质量识别方法、装置、计算机设备和存储介质。
技术介绍
随着大数据技术的发展,通常需要对采集得到的数据进行数据分析;但在进行数据分析之前,需要评估采集得到的数据的数据质量,以保证数据分析结果的可靠性。在问卷调查场景中,一般是通过人工主观评估调查数据的数据质量,但是在人工主观评估数据质量的过程中,容易出现错误,导致数据质量的识别准确率较低。
技术实现思路
基于此,有必要针对上述技术问题,提供一种能够提高数据质量的识别准确率的数据质量识别方法、装置、计算机设备和存储介质。一种数据质量识别方法,所述方法包括:获取目标调查数据;所述目标调查数据包括至少两个数据平台采集得到的调查数据;每个数据平台的调查数据为相应的数据平台针对同一份调查表对相同用户群体所采集得到,包括调查指标和所述调查指标对应的统计数据;根据所述目标调查数据,获取两两数据平台的各个调查指标的统计数据集合;对所述两两数据平台的各个调查指标的统本文档来自技高网...

【技术保护点】
1.一种数据质量识别方法,其特征在于,所述方法包括:/n获取目标调查数据;所述目标调查数据包括至少两个数据平台采集得到的调查数据;每个数据平台的调查数据为相应的数据平台针对同一份调查表对相同用户群体所采集得到,包括调查指标和所述调查指标对应的统计数据;/n根据所述目标调查数据,获取两两数据平台的各个调查指标的统计数据集合;/n对所述两两数据平台的各个调查指标的统计数据集合进行线性回归处理,得到所述两两数据平台的调查数据的多个质量评估参数;/n根据所述两两数据平台的调查数据的多个质量评估参数,确定对所述两两数据平台的调查数据的质量识别结果;/n根据对所述两两数据平台的调查数据的质量识别结果,确定...

【技术特征摘要】
1.一种数据质量识别方法,其特征在于,所述方法包括:
获取目标调查数据;所述目标调查数据包括至少两个数据平台采集得到的调查数据;每个数据平台的调查数据为相应的数据平台针对同一份调查表对相同用户群体所采集得到,包括调查指标和所述调查指标对应的统计数据;
根据所述目标调查数据,获取两两数据平台的各个调查指标的统计数据集合;
对所述两两数据平台的各个调查指标的统计数据集合进行线性回归处理,得到所述两两数据平台的调查数据的多个质量评估参数;
根据所述两两数据平台的调查数据的多个质量评估参数,确定对所述两两数据平台的调查数据的质量识别结果;
根据对所述两两数据平台的调查数据的质量识别结果,确定对所述目标调查数据的目标质量识别结果。


2.根据权利要求1所述的方法,其特征在于,在根据所述目标调查数据,获取两两数据平台的各个调查指标的统计数据集合之前,还包括:
对所述目标调查数据中的无效数据进行过滤,得到过滤后的目标调查数据;
所述根据所述目标调查数据,获取两两数据平台的各个调查指标的统计数据集合,包括:
根据所述过滤后的目标调查数据,获取两两数据平台的各个调查指标的统计数据集合。


3.根据权利要求1所述的方法,其特征在于,所述对所述两两数据平台的各个调查指标的统计数据集合进行线性回归处理,得到所述两两数据平台的调查数据的多个质量评估参数,包括:
对所述两两数据平台的各个调查指标的统计数据集合进行线性回归处理,得到所述两两数据平台之间的统计数据的映射关系式;
根据所述两两数据平台的各个调查指标的统计数据集合以及所述映射关系式,得到所述两两数据平台的调查数据的多个预设维度的回归拟合参数,并将所述多个预设维度的回归拟合参数作为所述两两数据平台的调查数据的多个质量评估参数。


4.根据权利要求1所述的方法,其特征在于,所述根据所述两两数据平台的调查数据的多个质量评估参数,确定对所述两两数据平台的调查数据的质量识别结果,包括:
若所述两两数据平台的调查数据的多个质量评估参数均满足对应的阈值,则确定所述两两数据平台的调查数据的质量识别结果为质量等级相同。


5.根据权利要求1所述的方法,其特...

【专利技术属性】
技术研发人员:黄利贤
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1