System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 政务数据的清洗方法、装置、电子设备及存储介质制造方法及图纸_技高网

政务数据的清洗方法、装置、电子设备及存储介质制造方法及图纸

技术编号:40357048 阅读:4 留言:0更新日期:2024-02-09 14:42
本申请实施例公开一种政务数据的清洗方法、装置、电子设备及存储介质,该方法包括:获取初始指标表格,并获取初始指标表格对应的分析规则;根据分析规则对初始指标表格中的指标数据进行数据清洗;若初始指标表格中存在不符合强规则的第一指标数据,则对第一指标数据进行不入库处理;若初始指标表格中存在不符合弱规则的第二指标数据,则生成第二指标数据对应的警告标识,并将第二指标数据及对应的警告标识进行入库处理。实施本申请实施例,能够更高效地对指标数据进行数据清洗,进而提高对政务数据管理和分析的效率。

【技术实现步骤摘要】

本申请涉及数据处理,具体涉及一种政务数据的清洗方法、装置、电子设备及存储介质


技术介绍

1、目前,政务数据的管理是政府中非常重要的一项内容,大多数情况下,政务数据为各个政府部门分别管理,再由特定的部门同一整合,因此存在着各个政府部门之间对政务数据的管理不统一,政务数据的采集、管理和分析在同级部门以及上下级部门之间也存在着缺乏系统性和整体性的规划和管理的情况,政务数据在政府部门之间流通困难,从而导致对政务数据的管理和分析效率低下。


技术实现思路

1、本申请实施例公开了一种政务数据的清洗方法、装置、电子设备及存储介质,能够更有效地对初始指标表格进行数据清洗,进而提高对政务数据的管理和分析效率。

2、本申请实施例公开一种政务数据的清洗方法,所述方法包括:

3、获取初始指标表格,并获取所述初始指标表格对应的分析规则;所述初始指标表格包含至少一个指标以及各个所述指标对应的指标数据,所述分析规则是根据历史政务数据确定的;所述分析规则包括至少一条强规则,和/或,至少一条弱规则;

4、根据所述分析规则对所述初始指标表格中的指标数据进行数据清洗;

5、若所述初始指标表格中存在不符合所述强规则的第一指标数据,则对所述第一指标数据进行不入库处理;

6、若所述初始指标表格中存在不符合所述弱规则的第二指标数据,则生成所述第二指标数据对应的警告标识,并将所述第二指标数据及对应的警告标识进行入库处理。

7、作为一种可选的实施方式,在所述获取初始指标表格,并获取分析规则之后,所述方法还包括:

8、对所述初始指标表格中的指标数据进行预处理,得到预处理后的指标数据;

9、所述根据所述分析规则对所述初始指标表格中的指标数据进行数据清洗,包括:

10、根据所述分析规则对所述预处理后的指标数据进行数据清洗。

11、作为一种可选的实施方式,在所述获取初始指标表格,并获取所述初始指标表格对应的分析规则之前,所述方法还包括:

12、响应于配置指令,配置至少一个指标;

13、根据所述至少一个指标收集各个所述指标对应的指标数据;

14、根据所述至少一个指标及各个所述指标对应的指标数据生成初始指标表格,并存储所述初始指标表格。

15、作为一种可选的实施方式,在所述对所述第一指标数据进行不入库处理之后,所述方法还包括:

16、确定所述第一指标数据对应的第一指标;

17、重新获取所述第一指标对应的第三指标数据,所述第三指标数据符合所述强规则;

18、根据所述第三指标数据、所述第二指标数据及对应的警告标识,以及初始指标表格中符合所述分析规则的指标数据,生成目标指标表格。

19、作为一种可选的实施方式,所述重新获取所述第一指标对应的第三指标数据,包括:

20、根据所述第一指标生成待填写的第一表格;

21、将所述待填写的第一表格发送至第一终端;所述第一终端为上传所述初始指标表格的终端;

22、接收所述第一终端发送的完成填写的第一表格;

23、从所述完成填写的第一表格中提取所述第一指标对应的第三指标数据。

24、作为一种可选的实施方式,在所述生成所述第二指标数据对应的警告标识之后,所述方法还包括:

25、根据所述第二指标数据及对应的警告标识生成警告信息;

26、将所述警告信息发送至第一终端;所述第一终端为上传所述初始指标表格的终端;所述警告信息用于提示所述第二指标数据不符合所述弱规则。

27、作为一种可选的实施方式,在所述获取初始指标表格,并获取所述初始指标表格对应的分析规则之后,所述方法还包括:

28、对所述初始指标表格中包含的所述至少一个指标以及各个所述指标对应的指标数据进行检核,以判断确定所述初始指标表格是否存在异常信息;所述异常信息包括所述初始指标表格存在指标缺失,和/或,所述初始指标表格存在指标对应的指标数据缺失;

29、若所述初始指标表格中存在异常信息,则根据所述初始指标表格中存在的异常信息输出检核报告,并将所述检核报告发送至第一终端;所述检核报告用于指示所述第一终端设备上传缺失的指标及对应的指标数据,和/或用于指示所述第一终端设备上传缺失的指标数据;

30、接收所述第一终端发送的补充指标数据;

31、所述根据所述分析规则对所述初始指标表格中的指标数据进行数据清洗,包括:

32、根据所述分析规则对所述初始指标表格中的指标数据及所述补充指标数据进行数据清洗。

33、本申请实施例公开一种政务数据的清洗装置,所述装置包括:

34、表格获取模块,用于获取初始指标表格,并获取所述初始指标表格对应的分析规则;所述初始指标表格包含至少一个指标以及各个所述指标对应的指标数据,所述分析规则是根据历史政务数据确定的;所述分析规则包括至少一条强规则,和/或,至少一条弱规则;

35、清洗模块,用于根据所述分析规则对所述初始指标表格中的指标数据进行数据清洗;

36、第一处理模块,用于若所述初始指标表格中存在不符合所述强规则的第一指标数据,则对所述第一指标数据进行不入库处理;

37、第二处理模块,用于若所述初始指标表格中存在不符合所述弱规则的第二指标数据,则生成所述第二指标数据对应的警告标识,并将所述第二指标数据及对应的警告标识进行入库处理。

38、本申请实施例公开一种电子设备,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现本申请实施例公开的任意一种政务数据的清洗方法。

39、本申请实施例公开一种计算机可读存储介质,其存储计算机程序,其中,所述计算机程序被处理器执行时,实现本申请实施例公开的任意一种政务数据的清洗方法。

40、与相关技术相比,本申请实施例具有以下有益效果:

41、本申请实施例提供了一种政务数据的清洗方法、装置、电子设备及存储介质,获取初始指标表格,并获取初始指标表格对应的分析规则;初始指标表格包含至少一个指标以及各个指标对应的指标数据,分析规则是根据历史政务数据确定的;分析规则包括至少一条强规则,和/或,至少一条弱规则;根据分析规则对初始指标表格中的指标数据进行数据清洗;若初始指标表格中存在不符合强规则的第一指标数据,则对第一指标数据进行不入库处理;若初始指标表格中存在不符合弱规则的第二指标数据,则生成第二指标数据对应的警告标识,并将第二指标数据及对应的警告标识进行入库处理。实施本申请实施例,由于分析规则是通过根据历史的政务数据确定的,根据分析规则能够有针对性地对政务数据进行数据清洗,初始指标表格包含多个不同的指标,通过初始指标表格对应的分析规则对初始指标表格进行数据清洗,对不符合强规则的指标数据进行不入库处理,对不符合弱规则的指标数据进行入库处本文档来自技高网...

【技术保护点】

1.一种政务数据的清洗方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,在所述获取初始指标表格,并获取分析规则之后,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,在所述获取初始指标表格,并获取所述初始指标表格对应的分析规则之前,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,在所述对所述第一指标数据进行不入库处理之后,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述重新获取所述第一指标对应的第三指标数据,包括:

6.根据权利要求1所述的方法,其特征在于,在所述生成所述第二指标数据对应的警告标识之后,所述方法还包括:

7.根据权利要求1所述的方法,其特征在于,在所述获取初始指标表格,并获取所述初始指标表格对应的分析规则之后,所述方法还包括:

8.一种政务数据的清洗装置,其特征在于,包括:

9.一种电子设备,其特征在于,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现如权利要求1至7任一所述的方法。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一所述的方法。

...

【技术特征摘要】

1.一种政务数据的清洗方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,在所述获取初始指标表格,并获取分析规则之后,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,在所述获取初始指标表格,并获取所述初始指标表格对应的分析规则之前,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,在所述对所述第一指标数据进行不入库处理之后,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述重新获取所述第一指标对应的第三指标数据,包括:

6.根据权利要求1所述的方法,其特征在于...

【专利技术属性】
技术研发人员:华夏扬张晓栋黎永昇马鑫磊
申请(专利权)人:联通广东产业互联网有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1