一种基于模型可视化的海量数据校验方法及存储介质技术

本发明专利技术涉及一种基于模型可视化的海量数据校验方法及存储介质，所述方法包括以下步骤：生成可视化界面，所述可视化界面包括校验模型生成子界面及组件选择子界面，所述组件选择子界面上包括用于生成数据采集模型的各个组件；根据用户从组件选择子界面拉取到校验模型生成子界面的组件生成数据采集模型，所述数据采集模型包含校验组件；根据生成数据采集模型从数据源获取数据，并通过校验组件对获取的数据进行校验，并存储校验结果。在对数据处理的过程中，通过校验组件对数据进行校验，提高报送数据的准确率，减少人为因素的失误，同时减少数据处理软件成本的开发量及成本。减少数据处理软件成本的开发量及成本。减少数据处理软件成本的开发量及成本。

【技术实现步骤摘要】
一种基于模型可视化的海量数据校验方法及存储介质


[0001]本申请涉及数据处理
，具体涉及一种基于模型可视化的海量数据校验方法及存储介质。

技术介绍

[0002]大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。
[0003]而现有的数据处理中，采集的数据项目比较多，难免会出现纰漏，导致错误的数据达到目的端；同时由于现有的数据项目较多，数据处理的方式不同，而数据处理的方式不同，需要开发不同的处理软件进行对数据进行处理，导致软件开发工作量大以及需要投入大量的成本。

技术实现思路

[0004]鉴于上述问题，本申请提供了一种基于模型可视化的海量数据校验方法及存储介质，解决现有采集数据项目非常多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于模型可视化的海量数据校验方法，其特征在于，包括以下步骤：生成可视化界面，所述可视化界面包括校验模型生成子界面及组件选择子界面，所述组件选择子界面上包括用于生成数据采集模型的各个组件；根据用户从组件选择子界面拉取到校验模型生成子界面的组件生成数据采集模型，所述数据采集模型包含校验组件；根据生成数据采集模型从数据源获取数据，并通过校验组件对获取的数据进行校验，并存储校验结果。2.根据权利要求1所述的基于模型可视化的海量数据校验方法，其特征在于，还包括以下步骤：获取用户设置的校验配置；根据用户设置的校验配置生成校验组件。3.根据权利要求1所述的基于模型可视化的海量数据校验方法，其特征在于，所述校验组件包括身份校验组件及数据校验组件。4.根据权利要求1所述的基于模型可视化的海量数据校验方法，其特征在于，所述步骤“根据生成数据采集模型从数据源获取数据，并对获取的数据进行校验，并存储校验结果”具体包括以下步骤：数据采集模型将获取数据进行拆分；对拆分后的数据进行分组，将同类型的预设个数的数据重组得到若干组同类型字段表单数据；对重组后的每一组同类型字段表单数据通过校验组件进行校验；若校验通过，则根据数据类型通过对应的数据库分支存储至对应的数据库中；若校验不通过，则将校验不同的那一组同类型字段表单数据拆分成若干个同类型数据，并逐条校验，找到校验失败的数据；将校验失败额数据存储至常规错误模型中。5.根据权利要求1所述的基于模型可视化的海量数据校验方法，其特征在于，所述组件包括数据上报接口组件、身份校验组件、数据校验组件、备份数据组件、分支规则组件、业务库存储组件、解压包组件及大数据...

【专利技术属性】
技术研发人员：赵立，李仕镇，肖斌，郑尚宇，占星期，
申请(专利权)人：正孚信安北京技术有限公司，
类型：发明
国别省市：