一种数据质量稽查平台制造技术

本发明专利技术公开了一种数据质量稽查平台，包括处理器、数据源存储服务器以及远程服务器，所述处理器包括规则录入模块、任务管理模块以及存储器，所述存储器存储计算机程序，所述处理器调取存储器中存储的计算机程序执行以下过程：步骤S1、根据需求通过所述规则录入模块录入数据稽查规则，并将所述数据稽查规则存储到远程服务器中；步骤S2、按照规则组合通过任务管理模块创建稽查任务，所述稽查任务包括单次稽查任务以及周期性稽查任务；步骤S3、根据所述稽查任务对数据源存储服务器中存储的数据源逐一稽查，并将问题数据存储至远程服务器中；本发明专利技术具有小保证数据的一致性、完整性和准确性，并有效提高了数据稽查的效率。并有效提高了数据稽查的效率。并有效提高了数据稽查的效率。

【技术实现步骤摘要】
一种数据质量稽查平台


[0001]本专利技术属于数据稽查管控
，具体为一种数据质量稽查平台。

技术介绍

[0002]当前，以大数据、云计算、移动互联网等为代表的新一轮科技革命席卷全球，正在构筑信息互通、资源共享、能力协同、开放合作的制造业新体系，极大地扩展了制造业创新与发展空间。新一代信息通信技术的发展驱动制造业迈向转型级的新阶段，即数据驱动的新阶段，这是新的技术条件下制造业生产全流程、全产业链、产品全生命周期的数据可获取、可分析、可执行的必然结果，也是隐性知识显性化不断取得突破的内在要求。
[0003]现有技术在解决电厂的数据问题时，提出许多的数据集成平台。该数据集成平台针对大数据类型多，数据量大，多数提供了多种格式的数据采集能力，进行数据的实时采集、实时处理，具有实时性要求高等特点。但其也存在如下的问题：数据采集后直接进行处理，不能保证采集数据的准确性与有效性，这是由于采集的数据中可能存在许多异常数据，将异常数据进行计算，势必会导致处理结果的不准确。同时，异常数据不及时查出，也会难以发现电厂中存在的问题。
[0004]针对上述技术问题，申请公布号为CN112508433A的中国专利技术专利申请，公开了一种运维系统的数据稽查方法及装置，该中国专利技术专利通过获取待稽查数据，将其存储在数据表中；配制待稽查数据表的稽查属性，根据稽查属性对待稽查数据表中数据进行稽查，根据稽查结果将异常数据进行报警；该专利技术专利提供的技术方案能够及时的监控分析数据质量问题，提升企业数据质量；但是，该数据稽查方法稽查范围比较局限，不能全面的有效的对数据质量进行高效、准确的稽查。

技术实现思路

[0005]针对现有技术的不足，本专利技术提供了一种数据质量稽查平台，解决了上述
技术介绍
中提出的问题。
[0006]本专利技术技术方案如下：
[0007]一种数据质量稽查平台，包括处理器、数据源存储服务器以及远程服务器，所述处理器包括规则录入模块、任务管理模块以及存储器，所述存储器存储计算机程序，所述处理器调取存储器中存储的计算机程序执行以下过程：
[0008]步骤S1、根据需求通过所述规则录入模块录入数据稽查规则，并将所述数据稽查规则存储到远程服务器中；
[0009]步骤S2、按照规则组合通过任务管理模块创建稽查任务，所述稽查任务包括单次稽查任务以及周期性稽查任务；
[0010]步骤S3、根据所述稽查任务对数据源存储服务器中存储的数据源逐一稽查，并将问题数据存储至远程服务器中。
[0011]进一步，所述数据稽查规则为SQL语句。
[0012]进一步，所述步骤S2中的单次稽查任务由人工选择性执行，所述周期性稽查任务为依据设定的稽查间期自动执行的定期稽查任务。
[0013]进一步，所述步骤S3的过程如下：
[0014]步骤S41、调取所述数据源服务器中的数据源，逐一与标准数据进行比对；
[0015]步骤S42、执行步骤S41后，如果当前数据源与任一标准数据一致，则调取数据源服务器中的其它任一数据源重复步骤S41，否则，执行步骤S43；
[0016]步骤S43、执行步骤S41后，如果当前数据源与每一标准数据均不一致，则将该数据源定义为问题数据，并同步将该问题数据存储至远程服务器中；
[0017]步骤S44、执行步骤S43后，循环执行步骤S41
‑
S43，直至将数据源服务器中的所有数据全部稽查完毕；
[0018]步骤S45、执行步骤S44后，人员调取远程服务器中的问题数据进行整改。
[0019]进一步，在执行完步骤S44后，还包括创建任务工单的步骤，待数据源服务器中的所有数据源全部完成稽查后，处理器自动针对问题数据生成任务工单，将所有的问题数据汇总为问题任务工单，并将所述任务工单派发给对应的负责人员。
[0020]进一步，执行所述步骤S41时，将当前数据源的特征与每一标准数据的特征进行比对，所述特征至少包括数据的名称、数据的位置、数据的类型、数据的账户以及数据的密码。
[0021]进一步，执行所述步骤S41时，还包括对当前数据源的特征数量、特征的类目和特征排列规则的比对。
[0022]进一步，执行所述步骤S41时的具体过程为：
[0023]步骤S81、调取所述数据源服务器中的任一数据源，并识别出当前数据源的特征；
[0024]步骤S82、将步骤S81中获得的当前数据特征的特征数量、特征类目以及特征排列规则规与标准数据特征的特征数量、特征类目以及特征排列规则进行逐一比对；
[0025]步骤S83、完成步骤S82后，如果当前数据特征的特征数量、特征类目以及特征排列规则规与标准数据特征的特征数量、特征类目以及特征排列规则不一致，则终止稽查当前数据；如果特征数量、特征类目以及特征排列规则规与标准数据特征的特征数量、特征类目以及特征排列规则一致，则执行步骤S84；
[0026]步骤S84、将当前数据源的数据特征逐一与标准数据的数据特征进行逐一比对。
[0027]进一步，还包括建立标准数据源数据库：
[0028]构建标准数据集合，作为标准数据源的存储集合；
[0029]构建标准数据子集，针对不同的数据类型构建各自独立的标准数据子集，并将所有的数据子集存储到标准数集合中；
[0030]构建所述标准数据子集的数据标识，利用数据的特征作为标准数据子集的数据标识，并存储到对应的标准数据子集的数据标识列表中。
[0031]有益效果
[0032]相对于现有技术，本专利技术提供的数据质量稽查平台，具备以下有益效果：
[0033]本专利技术按照特定的规则组合对数据进行单次或者周期性稽查，并将问题数据进行汇总，以便于根据问题数据稽查情况生成整改工单，从而有效的保证数据的一致性、完整性和准确性；并且本专利技术对于数据的特征按照特定的规则进行排列，采用统一的规则进行存储，从而有效的提高数据稽查过程的效率。
附图说明
[0034]图1为本专利技术的架构图。
具体实施方式
[0035]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。
[0036]如图1所示，一种数据质量稽查平台，包括处理器、数据源存储服务器以及远程服务器，所述处理器包括规则录入模块、任务管理模块以及存储器，所述存储器存储计算机程序，所述处理器调取存储器中存储的计算机程序执行以下过程：
[0037]步骤S1、根据需求通过所述规则录入模块录入数据稽查规则，并将所述数据稽查规则存储到远程服务器中；
[0038]步骤S2、按照规则组合通过任务管理模块创建稽查任务，所述稽查任务包括单次稽查任务以及周期性稽查任务；
[0039]步骤S3、根据所述稽查任务对数据源存储服务器中存储的数据源逐一稽查，并将问题数据存储至远程服务器中。
[0040]本专利技术中，所述数据稽查规则为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据质量稽查平台，其特征在于，包括处理器、数据源存储服务器以及远程服务器，所述处理器包括规则录入模块、任务管理模块以及存储器，所述存储器存储计算机程序，所述处理器调取存储器中存储的计算机程序执行以下过程：步骤S1、根据需求通过所述规则录入模块录入数据稽查规则，并将所述数据稽查规则存储到远程服务器中；步骤S2、按照规则组合通过任务管理模块创建稽查任务，所述稽查任务包括单次稽查任务以及周期性稽查任务；步骤S3、根据所述稽查任务对数据源存储服务器中存储的数据源逐一稽查，并将问题数据存储至远程服务器中。2.根据权利要求1所述数据质量稽查平台，其特征在于：所述数据稽查规则为SQL语句。3.根据权利要求1所述数据质量稽查平台，其特征在于，所述步骤S2中的单次稽查任务由人工选择性执行，所述周期性稽查任务为依据设定的稽查间期自动执行的定期稽查任务。4.根据权利要求1所述数据质量稽查平台，其特征在于，所述步骤S3的过程如下：步骤S41、调取所述数据源服务器中的数据源，逐一与标准数据进行比对；步骤S42、执行步骤S41后，如果当前数据源与任一标准数据一致，则调取数据源服务器中的其它任一数据源重复步骤S41，否则，执行步骤S43；步骤S43、执行步骤S41后，如果当前数据源与每一标准数据均不一致，则将该数据源定义为问题数据，并同步将该问题数据存储至远程服务器中；步骤S44、执行步骤S43后，循环执行步骤S41
‑
S43，直至将数据源服务器中的所有数据全部稽查完毕；步骤S45、执行步骤S44后，人员调取远程服务器中的问题数据进行整改。5.根据权利要求4所述数据质量稽查平台，其特征在于：在执行完步骤S44后，还包括创建任务工单的步骤，待数据源服务器中的所有数...

【专利技术属性】
技术研发人员：袁利红，赫博浩，邓昭昭，焦晓林，李静玉，张雪峰，王涛，刘馥泰，梁冰，
申请(专利权)人：河南飙风信息科技有限公司，
类型：发明
国别省市：