System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于空间分辨率的数据质量检测方法和系统技术方案_技高网

基于空间分辨率的数据质量检测方法和系统技术方案

技术编号:40259783 阅读:10 留言:0更新日期:2024-02-02 22:50
本发明专利技术提出了基于空间分辨率的数据质量检测方法及系统。所述数据质量检测方法包括:提取已采集的带有空间分辨率特性的数据信息;对所述数据信息进行预处理,获取所述数据信息中所包括的带有空间分辨率和时间分辨率的数据信息,并对所述数据信息进行格式处理,生成统一数据格式的待检测数据;在目标数据库中调取回归评价标准,利用所述回归评价标准对所述待检测数据进行数据质量检测,获得数据质量检测结果。所述系统包括与所述方法步骤对应的模块。

【技术实现步骤摘要】

本专利技术提出了基于空间分辨率的数据质量检测方法和系统,属于数据质量检测。


技术介绍

1、数据质量检测是指对数据进行评估和验证,以确保数据的准确性、完整性、一致性、时效性等方面符合预期标准和要求。现有技术中的数据质量检测技术常常使用单一的评价指标可导致数据质量的评价结果准确性较低的问题发生,并且,数据质量检测系统往往智能针对一种场景进行单独检测,导致数据质量检测系统的应用广泛性降低。

2、另外,中国专利202011569179.4,公开了一种数据质量检测方法和数据质量检测引擎;方法包括;获得目标模型的数据检测配置参数;数据检测配置参数用于确定对目标数据库表的检测项;获得目标数据库表;目标数据库表为根据目标模型生成的;根据数据检测配置参数对目标数据库表进行数据质量检测,得到对目标数据库表的数据质量检测结果。上述公开的专利中,仅仅是通过数据库进行核准信息或数据的准确度,当核准数据不在数据库之内,则无法对其准确度或精确度进行核对、校验;存在一定的局限性。


技术实现思路

1、本专利技术提供了基于空间分辨率的数据质量检测方法和系统,解决现有技术中的数据质量检测的准确性较低,应用广泛性较低以及无法进行数据库核准和校验的问题,所采取的技术方案如下:

2、基于空间分辨率的数据质量检测方法,所述数据质量检测方法包括:

3、提取已采集的带有空间分辨率特性的数据信息;

4、对所述数据信息进行预处理,获取所述数据信息中所包括的带有空间分辨率和时间分辨率的数据信息,并对所述数据信息进行格式处理,生成统一数据格式的待检测数据;

5、在目标数据库中调取回归评价标准,利用所述回归评价标准对所述待检测数据进行数据质量检测,获得数据质量检测结果。

6、进一步地,提取已采集的带有空间分辨率特性的数据信息,包括:

7、提取已采集的带有空间分辨率特性的数据信息;

8、获取所述数据信息中所包含的数值不同的空间分辨率和时间分辨率所对应的数值,并按照数值从大到小的顺序依次将所述空间分辨率和时间分辨率进行排序,生成空间分辨率数据及和时间分辨率数据集;

9、利用数值不同的空间分辨率和时间分辨率所对应的数值设置数据融合因子;其中,所述数据融合因子通过如下公式获取:

10、

11、其中,e表示数据融合因子;n和m分别表示空间分辨率数据集和时间分辨率数据集中所包含的数据个数;ai表示所述空间分辨率数据集中第i个空间分辨率对应的数值;bi表示所述时间分辨率数据集中第i个时间分辨率对应的数值;d表示同一个数据信息的空间分辨率数值在所述空间分辨率数据集中的排序序号与时间分辨率数值在所述时间分辨率数据集中的排序序号之间的最大差值。

12、进一步地,对所述数据信息进行预处理,获取所述数据信息中所包括的带有空间分辨率和时间分辨率的数据信息,并对所述数据信息进行格式处理,生成统一数据格式的待检测数据,包括:

13、针对所述预处理后的数据信息定义用于数据融合的融合网格,并将所述融合网格作为目标网格;

14、利用每个所述目标网格获取预处理后的数据信息中与目标网格之间的空间和时间上的最近邻的源数据,作为目标数据;

15、将所述目标数据融合至所述目标网格中形成融合后的目标网格数据单元;

16、对所述目标网格数据单元进行格式转换,形成统一数据格式的待检测数据。

17、进一步地,针对所述预处理后的数据信息定义用于数据融合的融合网格,并将所述融合网格作为目标网格,包括:

18、提取所述预处理后的数据信息中所包含的空间分辨率和时间分辨率;

19、将所述空间分辨率中空间分辨率之差不超过第一空间分辨率阈值,且,时间分辨率之差不超过第一时间分辨率阈值的预处理后的数据信息汇集为第一数据集合,并针对第一数据集合设置第一网格;

20、将所述空间分辨率中空间分辨率之差不超过第二空间分辨率阈值,且,时间分辨率之差不超过第二时间分辨率阈值的预处理后的数据信息汇集为第二数据集合,并针对第二数据集合设置第二网格;

21、将所述空间分辨率中空间分辨率之差和时间分辨率之差没有落入第一数据集合和第二数据集合的预处理后的数据信息汇集为第三数据集合,并针对第三数据集合设置第三网格;

22、利用第一网格、第二网格和第三网格的网格尺寸进行融合,形成目标网格。

23、进一步地,第一网格、第二网格、第三网格和标网格的网格尺寸通过如下公式获取:

24、

25、

26、

27、

28、

29、其中,li=1、2、3中l1、l2和l3分别对应表示第一网格、第二网格和第三网格的网格尺寸;e表示数据融合因子;ki=1、2、3分别对应表示第一网格、第二网格和第三网格的网格参系数;ni=1、2、3中n1、n2和n3分别表示第一数据集合、第二数据集合和第三数据集合的预处理后的数据信息的个数;rji=1、2、3分别表示第i个数据集合中第j个预处理后的数据信息对应的空间分辨率;t0表示所有预处理后的数据信息对应的时间分辨率平均值;t1i、t2i和t3i分别对应表示第一数据集合、第二数据集合和第三数据集合中第i个的预处理后的数据信息的时间分辨率;tmax和tmin表示第二数据集合中的时间分辨率最大值和最小值;α1和α2分别表示第一时间系数值和第二时间系数值,并且,α1的取值范围为0.42-0.62,α2的取值范围为0.38-0.57,且,α1+α2=0.95;lm表示目标网格的网格尺寸。

30、基于空间分辨率的数据质量检测系统,所述数据质量检测系统包括:

31、信息提取模块,用于提取已采集的带有空间分辨率特性的数据信息;

32、格式转换模块,用于对所述数据信息进行预处理,获取所述数据信息中所包括的带有空间分辨率和时间分辨率的数据信息,并对所述数据信息进行格式处理,生成统一数据格式的待检测数据;

33、质量检测模块,用于在目标数据库中调取回归评价标准,利用所述回归评价标准对所述待检测数据进行数据质量检测,获得数据质量检测结果。

34、进一步地,所述信息提取模块包括:

35、提取执行模块,用于提取已采集的带有空间分辨率特性的数据信息;

36、信息获取模块,用于获取所述数据信息中所包含的数值不同的空间分辨率和时间分辨率所对应的数值,并按照数值从大到小的顺序依次将所述空间分辨率和时间分辨率进行排序,生成空间分辨率数据及和时间分辨率数据集;

37、融合因子获取模块,用于利用数值不同的空间分辨率和时间分辨率所对应的数值设置数据融合因子;其中,所述数据融合因子通过如下公式获取:

38、

39、其中,e表示数据融合因子;n和m分别表示空间分辨率数据集和时间分辨率数据集中所包含的数据个数;ai表示所述空间分辨率数据集中第i本文档来自技高网...

【技术保护点】

1.基于空间分辨率的数据质量检测方法,其特征在于,所述数据质量检测方法包括:

2.根据权利要求1所述数据质量检测方法,其特征在于,提取已采集的带有空间分辨率特性的数据信息,包括:

3.根据权利要求1所述数据质量检测方法,其特征在于,对所述数据信息进行预处理,获取所述数据信息中所包括的带有空间分辨率和时间分辨率的数据信息,并对所述数据信息进行格式处理,生成统一数据格式的待检测数据,包括:

4.根据权利要求2所述数据质量检测方法,其特征在于,针对所述预处理后的数据信息定义用于数据融合的融合网格,并将所述融合网格作为目标网格,包括:

5.根据权利要求4所述数据质量检测方法,其特征在于,第一网格、第二网格、第三网格和标网格的网格尺寸通过如下公式获取:

6.基于空间分辨率的数据质量检测系统,其特征在于,所述数据质量检测系统包括:

7.根据权利要求6所述数据质量检测系统,其特征在于,所述信息提取模块包括:

8.根据权利要求6所述数据质量检测系统,其特征在于,所述格式转换模块包括:

9.根据权利要求7所述数据质量检测系统,其特征在于,所述目标网格获取模块包括:

10.根据权利要求9所述数据质量检测系统,其特征在于,第一网格、第二网格、第三网格和标网格的网格尺寸通过如下公式获取:

...

【技术特征摘要】

1.基于空间分辨率的数据质量检测方法,其特征在于,所述数据质量检测方法包括:

2.根据权利要求1所述数据质量检测方法,其特征在于,提取已采集的带有空间分辨率特性的数据信息,包括:

3.根据权利要求1所述数据质量检测方法,其特征在于,对所述数据信息进行预处理,获取所述数据信息中所包括的带有空间分辨率和时间分辨率的数据信息,并对所述数据信息进行格式处理,生成统一数据格式的待检测数据,包括:

4.根据权利要求2所述数据质量检测方法,其特征在于,针对所述预处理后的数据信息定义用于数据融合的融合网格,并将所述融合网格作为目标网格,包括:

5.根据权利...

【专利技术属性】
技术研发人员:袁琳琳谭景予代亮亮卢小玉
申请(专利权)人:贵州开放大学贵州职业技术学院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1