一种基于模型可视化的海量数据校验方法及存储介质技术

本发明专利技术涉及一种基于模型可视化的海量数据校验方法及存储介质，所述方法包括以下步骤：生成可视化界面，所述可视化界面包括校验模型生成子界面及组件选择子界面，所述组件选择子界面上包括用于生成数据采集模型的各个组件；根据用户从组件选择子界面拉取到校验模型生成子界面的组件生成数据采集模型，所述数据采集模型包含校验组件；根据生成数据采集模型从数据源获取数据，并通过校验组件对获取的数据进行校验，并存储校验结果。在对数据处理的过程中，通过校验组件对数据进行校验，提高报送数据的准确率，减少人为因素的失误，同时减少数据处理软件成本的开发量及成本。减少数据处理软件成本的开发量及成本。减少数据处理软件成本的开发量及成本。

【技术实现步骤摘要】
一种基于模型可视化的海量数据校验方法及存储介质


[0001]本申请涉及数据处理
，具体涉及一种基于模型可视化的海量数据校验方法及存储介质。

技术介绍

[0002]大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。
[0003]而现有的数据处理中，采集的数据项目比较多，难免会出现纰漏，导致错误的数据达到目的端；同时由于现有的数据项目较多，数据处理的方式不同，而数据处理的方式不同，需要开发不同的处理软件进行对数据进行处理，导致软件开发工作量大以及需要投入大量的成本。

技术实现思路

[0004]鉴于上述问题，本申请提供了一种基于模型可视化的海量数据校验方法及存储介质，解决现有采集数据项目非常多导致错误的数据进入到目的端中，以及不同的数据处理方式需要开发不同的数据处理软件导致开发工作量大及投入成本大的问题。
[0005]为实现上述目的，专利技术人提供了一种基于模型可视化的海量数据校验方法，包括以下步骤：
[0006]生成可视化界面，所述可视化界面包括校验模型生成子界面及组件选择子界面，所述组件选择子界面上包括用于生成数据采集模型的各个组件；
[0007]根据用户从组件选择子界面拉取到校验模型生成子界面的组件生成数据30采集模型，所述数据采集模型包含校验组件；
[0008]根据生成数据采集模型从数据源获取数据，并通过校验组件对获取的数据进行校验，并存储校验结果。
[0009]进一步优化，还包括以下步骤：
[0010]获取用户设置的校验配置；
[0011]35根据用户设置的校验配置生成校验组件。
[0012]进一步优化，所述校验组件包括身份校验组件及数据校验组件。
[0013]进一步优化，所述步骤“根据生成数据采集模型从数据源获取数据，并对获取的数据进行校验，并存储校验结果”具体包括以下步骤：
[0014]数据采集模型将获取数据进行拆分；
[0015]40对拆分后的数据进行分组，将同类型的预设个数的数据重组得到若干组
[0016]同类型字段表单数据；
[0017]对重组后的每一组同类型字段表单数据通过校验组件进行校验；
[0018]若校验通过，则根据数据类型通过对应的数据库分支存储至对应的数据
[0019]库中；
[0020]45若校验不通过，则将校验不同的那一组同类型字段表单数据拆分成若干
[0021]个同类型数据，并逐条校验，找到校验失败的数据；
[0022]将校验失败额数据存储至常规错误模型中。
[0023]进一步优化，所述组件包括数据上报接口组件、身份校验组件、数据校
[0024]验组件、备份数据组件、分支规则组件、业务库存储组件、解压包组件及大50数据存储组件。
[0025]还提供了另一个技术方案：一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器运行时执行以下步骤：
[0026]生成可视化界面，所述可视化界面包括校验模型生成子界面及组件选择子界面，所述组件选择子界面上包括用于生成数据采集模型的各个组件；55根据用户从组件选择子界面拉取到校验模型生成子界面的组件生成数据
[0027]采集模型，所述数据采集模型包含校验组件；
[0028]根据生成数据采集模型从数据源获取数据，并通过校验组件对获取的数据进行校验，并存储校验结果。
[0029]进一步优化，述计算机程序被处理器运行时还执行以下步骤：60获取用户设置的校验配置；
[0030]根据用户设置的校验配置生成校验组件。
[0031]进一步优化，所述校验组件包括身份校验组件及数据校验组件。
[0032]进一步优化，所述步骤“根据生成数据采集模型从数据源获取数据，并
[0033]对获取的数据进行校验，并存储校验结果”具体包括以下步骤：65数据采集模型将获取数据进行拆分；
[0034]对拆分后的数据进行分组，将同类型的预设个数的数据重组得到若干组同类型字段表单数据；
[0035]对重组后的每一组同类型字段表单数据通过校验组件进行校验；
[0036]若校验通过，则根据数据类型通过对应的数据库分支存储至对应的数据70库中；
[0037]若校验不通过，则将校验不同的那一组同类型字段表单数据拆分成若干个同类型数据，并逐条校验，找到校验失败的数据；
[0038]将校验失败额数据存储至常规错误模型中。
[0039]进一步优化，所述组件包括数据上报接口组件、身份校验组件、数据校75验组件、备份数据组件、分支规则组件、业务库存储组件、解压包组件及大
[0040]数据存储组件。
[0041]区别于现有技术，上述技术方案，通过生成可视化界面，在可视化界面上具有校验模型生成子界面以及组件选择子界面，在组件选择子界面上包括用于生成校验模型的各个组件；当用户需要对先相应的数据进行处理时，用户可以根据其需要从组件选择子界面中选择相应的组件拉取到校验模型生成子界面中，并在校验模型生成子界面中构建数据采集模型，当用户构建完成数据采集模型后，生成数据采集模型，其中，数据采集模型中包含校
验组件；当生成数据采集模型后，需要进行相应的数据进行处理时，数据采集模型从数据源中获取需要处理的数据，并根据数据采集模型中的组件对数据进行相应的处理，其中，数据采集模型中包含校验组件，当数据采集模型对数据进行处理的过程中，会通过校验组件对获取的数据进行校验，并存储校验结果，将校验通过的数据存储到相应的目的端中；在对数据处理的过程中，通过校验组件对数据进行校验，提高报送数据的准确率，减少人为因素的失误，同时用户可以根据其数据处理的方式进行在可视化界面上生成相应的组件进行生成相应的数据处理模型，减少数据处理软件成本的开发量，同时减少软件开发的成本。
[0042]上述
技术实现思路
相关记载仅是本申请技术方案的概述，为了让本领域普通技术人员能够更清楚地了解本申请的技术方案，进而可以依据说明书的文字及附图记载的内容予以实施，并且为了让本申请的上述目的及其它目的、特征和优点能够更易于理解，以下结合本申请的具体实施方式及附图进行说明。
附图说明
[0043]附图仅用于示出本申请具体实施方式以及其他相关内容的原理、实现方式、应用、特点以及效果等，并不能认为是对本申请的限制。
[0044]在说明书附图中：
[0045]图1为具体实施方式所述基于模型可视化的海量数据校验方法的一种流程示意图；
[0046]图2为具体实施方式所述可视化界面的一种结构示意图；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于模型可视化的海量数据校验方法，其特征在于，包括以下步骤：生成可视化界面，所述可视化界面包括校验模型生成子界面及组件选择子界面，所述组件选择子界面上包括用于生成数据采集模型的各个组件；根据用户从组件选择子界面拉取到校验模型生成子界面的组件生成数据采集模型，所述数据采集模型包含校验组件；根据生成数据采集模型从数据源获取数据，并通过校验组件对获取的数据进行校验，并存储校验结果。2.根据权利要求1所述的基于模型可视化的海量数据校验方法，其特征在于，还包括以下步骤：获取用户设置的校验配置；根据用户设置的校验配置生成校验组件。3.根据权利要求1所述的基于模型可视化的海量数据校验方法，其特征在于，所述校验组件包括身份校验组件及数据校验组件。4.根据权利要求1所述的基于模型可视化的海量数据校验方法，其特征在于，所述步骤“根据生成数据采集模型从数据源获取数据，并对获取的数据进行校验，并存储校验结果”具体包括以下步骤：数据采集模型将获取数据进行拆分；对拆分后的数据进行分组，将同类型的预设个数的数据重组得到若干组同类型字段表单数据；对重组后的每一组同类型字段表单数据通过校验组件进行校验；若校验通过，则根据数据类型通过对应的数据库分支存储至对应的数据库中；若校验不通过，则将校验不同的那一组同类型字段表单数据拆分成若干个同类型数据，并逐条校验，找到校验失败的数据；将校验失败额数据存储至常规错误模型中。5.根据权利要求1所述的基于模型可视化的海量数据校验方法，其特征在于，所述组件包括数据上报接口组件、身份校验组件、数据校验组件、备份数据组件、分支规则组件、业务库存储组件、解压包组件及大数据...

【专利技术属性】
技术研发人员：赵立，李仕镇，肖斌，郑尚宇，占星期，
申请(专利权)人：正孚信安北京技术有限公司，
类型：发明
国别省市：