【技术实现步骤摘要】
本专利技术涉及计算机系统领域，尤其涉及一种执法业务数据质量检测方法、设备及存储介质。
技术介绍
1、随着信息技术的发展和大数据时代的到来，数据信息朝着海量、多样化的方向发展，然而数据质量问题也逐渐显现，数据标准不统一，信息技术规范不一致，导致数据质量参差不齐，无法建立统一的数据管理标准，针对这些问题现阶段在不同领域、不同行业都有相应的研究和应用，例如专利号201810127119.3，专利名为病案首页数据质量检测方法及系统的专利技术专利对病案首页数据中的错误数据和不规范数据进行检测统计再上传至卫计委，可以反映出病案首页数据质量的优势与劣势，让医院对本院的数据有一个直观的认识；又如专利号202111097329.0，专利名为一种多维交通出行数据融合与数据质量检测方法的专利技术专利针对交通行业，提出了多维交通出行链数据融合方法、以及多维交通融合出行链数据质量检测方法，最大限度的保证数据质量，解决交通领域多种交通工具数据源相互独立的问题。而对于市场监管领域，它所涉及的业务多，国家没有统一的执法系统，皆由各地根据自身的业务需求自主研发，然而由于各地市场监管执法系统的开发商不同，各系统的存储设备、数据库逻辑和结构都不同，导致不同的系统之间无法共享资源和数据质量参差不齐，影响进行有效可控的数据管理。
技术实现思路
1、为了解决上述技术问题，本专利技术提供了一种执法业务数据质量检测方法，本专利技术能进行稳定高效的检测和客观准确的结果报告，提高市场监管执法业务数据的数据质量。
2、本专
3、s1、接收不同数据源传输的市场监管执法业务数据，并对数据进行预处理，生成可统计分析的数据表，形成市场监管执法业务数据表库；
4、s2、将所述市场监管执法业务数据表库和市场监管执法系统数据标准表库中的表进行匹配组成目标数据表库；
5、s3、读取预设的数据质量检测规则对所述的目标数据表库中的数据进行检测，得到数据质量检测结果；
6、s4、根据检测结果进行统计分析，生成检测明细表，并对数据质量的检测结果进行指标计算，进而量化数据质量情况，生成数据质量检测报告。
7、步骤s1中所述接收不同数据源传输的市场监管执法业务数据，并对数据进行预处理，生成可统计分析的数据表，形成市场监管执法业务数据表库的步骤包括：
8、s11、接收不同数据源传输过来的市场监管执法文件；
9、s12、将文件转化成相应格式，生成可统计分析的数据表；所述的相应格式为将接收到的不同市场监管执法文件类型，转换为统一标准文件类型；
10、s13、根据分类规则，将转换后的数据表存储到对应的目录中；所述分类规则包括：在不同区域目录下，存储各区域内各市场监管机构的目录，不同年份目录下存储各个季度的目录，各季度目录下存储市场监管机构该季度的数据文件；
11、s14、根据导入的数据表形成市场监管执法业务数据表库。
12、步骤s2中将所述市场监管执法业务数据表库和市场监管执法系统数据标准表库中的表进行匹配组成目标数据表库的步骤为：
13、根据市场监管执法系统数据标准表库中各表的表名来查找所述市场监管执法业务数据表库中对应的表，导入所述目标数据表库；
14、如果市场监管执法系统数据标准表库中的部分标准表的表名没有在所述市场监管执法业务数据表库中找到对应的表，则通过计算出所述市场监管执法业务数据表库中表的主、次要字段和市场监管执法系统数据标准表库中标准表的匹配度，将匹配度最高的数据表导入所述目标数据表库。
15、步骤s3中：
16、所述预设数据质量检测规则包括基础数据标准检测规则和业务数据标准检测规则。
17、所述的业务数据标准检测规则为根据预设规则对市场监管执法业务数据字段进行检测，对比业务数据标准的检测具体包括以下步骤：
18、s31、遍历所有的业务数据标准检测规则；
19、s32、根据每一项检测规则中所涉及的市场监管执法业务数据表单内容，将市场监管执法业务数据表单内容从数据表中提取出来；
20、s33、根据检测规则，判断市场监管执法业务数据表单内容是否符合业务数据标准。
21、所述的业务数据标准检测包括检测数据完整性、检测数据准确性及规范性；
22、所述的检测数据完整性包括检测市场监管执法业务数据填写的完整率，包括检测必填字段完整性，检测非必填字段完整性和检测组合字段完整性；
23、所述的检测数据准确性及规范性包括检测单个字段内容是否正确填写、检测单个字段是否符合相关规范、检测组合字段编码逻辑、检测组合字段时间逻辑。
24、步骤s4中根据检测结果进行统计分析，生成检测明细表，并对数据质量的检测结果进行指标计算，进而量化数据质量情况，生成数据质量检测报告；
25、所述的检测明细表为整体检测结果的汇总统计，包括预设规则的基础数据标准检测结果和业务数据标准检测结果、相应的问题链接；所述的问题链接与相应的问题明细表相关联；所述的问题明细表按照检测结果项分布，每个问题明细表均包含一个结果项记录的问题数据；
26、所述的数据质量检测报告为将检测结果综合为综合指标，生成直观的市场监管执法业务数据质量信息。
27、一种存储介质，所述存储介质存储指令及数据用于实现所述的一种执法业务数据质量检测方法。
28、一种执法业务数据质量检测设备，包括：处理器及存储介质；所述处理器加载并执行存储介质中的指令及数据用于实现所述的一种执法业务数据质量检测方法。
29、与现有技术相比，本专利技术的有益效果包括：
30、(1)本专利技术利用连接不同的市场监管执法系统的数据库，对不同类型的数据进行采集、预处理以及存储形成市场监管执法业务数据表库再进行数据质量检测，适用于不同数据源的市场监管执法业务数据质量检测。
31、(2)本专利技术采用的数据质量检测规则包括了基础数据标准检测规则和业务数据标准检测规则，更加全面客观反映市场监管执法业务数据质量。
32、(3)本专利技术根据检测结果进行统计分析，生成检测明细表，并对数据质量的检测结果进行指标计算，进而量化数据质量情况，生成数据质量检测报告，实现了数据质量检测结果可视化。
本文档来自技高网...【技术保护点】
1.一种执法业务数据质量检测方法，其特征在于，包括：
2.根据权利要求1所述的执法业务数据质量检测方法，其特征在于，步骤S1中所述接收不同数据源传输的执法业务数据，并对数据进行预处理，生成可统计分析的数据表，形成执法业务数据表库的步骤包括：
3.根据权利要求1所述的执法业务数据质量检测方法，其特征在于，步骤S2中将所述执法业务数据表库和执法系统数据标准表库中的表进行匹配组成目标数据表库的步骤为：
4.根据权利要求1所述的执法业务数据质量检测方法，其特征在于，步骤S3中：所述预设数据质量检测规则包括基础数据标准检测规则和业务数据标准检测规则。
5.根据权利要求1或4所述的执法业务数据质量检测方法，其特征在于，所述的业务数据标准检测规则为根据预设规则对执法业务数据字段进行检测，对比业务数据标准的检测具体包括以下步骤：
6.根据权利要求1或4所述的执法业务数据质量检测方法，其特征在于，所述的业务数据标准检测包括检测数据完整性、检测数据准确性及规范性；
7.根据权利要求1所述的执法业务数据质量检测方法，其特征在于，步
8.一种存储介质，其特征在于：所述存储介质存储指令及数据用于实现权利要求1～7任一项所述的一种执法业务数据质量检测方法。
9.一种执法业务数据质量检测设备，其特征在于：包括：处理器及存储介质；所述处理器加载并执行存储介质中的指令及数据用于实现权利要求1～7任一项所述的一种执法业务数据质量检测方法。
...【技术特征摘要】
1.一种执法业务数据质量检测方法，其特征在于，包括：
2.根据权利要求1所述的执法业务数据质量检测方法，其特征在于，步骤s1中所述接收不同数据源传输的执法业务数据，并对数据进行预处理，生成可统计分析的数据表，形成执法业务数据表库的步骤包括：
3.根据权利要求1所述的执法业务数据质量检测方法，其特征在于，步骤s2中将所述执法业务数据表库和执法系统数据标准表库中的表进行匹配组成目标数据表库的步骤为：
4.根据权利要求1所述的执法业务数据质量检测方法，其特征在于，步骤s3中：所述预设数据质量检测规则包括基础数据标准检测规则和业务数据标准检测规则。
5.根据权利要求1或4所述的执法业务数据质量检测方法，其特征在于，所述的业务数据标准检测规则为根据预设规则对执法业务数据字段进行...
【专利技术属性】
技术研发人员：陈炎明，吴斌，鲁曦，王建仁，丁凡，谢秋琪，王乐，谭凌波，黄杰，李婳婧，曹磊，胡炜，姜楠，董锦绘，黄依然，徐然，顾鑫，顾利平，
申请(专利权)人：湖北省标准化与质量研究院湖北WTOTBT通报咨询中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。