一种数据处理方法、装置以及系统制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置以及系统，其中，数据处理方法包括：根据应用场景从预先设置的自定义复合主键中确定当前数据处理对应地自定义复合主键；利用当前数据处理对应地自定义复合主键匹配出模版号，根据所述模版号分别从模型与要素关联表和要素校验控制表中确定当前数据处理对应地数据要素以及要素控制规则；根据当前数据处理对应地数据要素以及要素控制规则对当前业务数据信息进行采集，将采集的结果中差异信息构成JSON信息串；所述JSON信息串存储至数据明细表的数据对象字段内。

A data processing method, device, and system

The present invention discloses a data processing method, device and system, in which data processing methods include: defining a custom composite key corresponding to the current data processing from a predetermined custom compound primary key according to the application scene, and matching the template number with the corresponding self defined composite key by the current data processing, and the root of the data processing method. According to the model and element correlation table and factor check control table, the corresponding data elements and factor control rules are determined in the current data processing, and the current data information is collected according to the current data processing and the factor control rules, and the difference information in the collected results is constructed. The JSON information string is stored, and the JSON information string is stored in the data object field of the data detail list.

【技术实现步骤摘要】
一种数据处理方法、装置以及系统
本申请涉及计算机信息
，特别涉及一种数据处理方法、装置以及系统。
技术介绍
在日常系统开发中，存在某类数据因不同业务背景存在差异化，如供应链金融中涉及的货物凭证，可使用订单、存单及其他凭证类型。这些凭证存在一些相同信息：如交易金额、交易对象，但也存在一些差异信息，如订单包含货物信息，存单包含仓库信息等。系统通常实现方法是在采集、存储和展示这些凭证信息时都分开处理，如针对不同凭证类型，要建立不同的数据表分别管理，新增凭证信息类型时要新增数据表支持。相关信息如涉及修改时，需要分别修改不同数据表进行支持，差异数据导致数据表膨胀、各个处理环节程序增加，数据变化时，配合改造工作量大，无法快速上线。
技术实现思路
本申请实施方式的目的是提供一种数据处理方法、装置以及系统，解决现有技术处理数据时无法快速上线的技术问题。为实现上述目的，本申请实施方式提供一种数据处理方法，包括：根据应用场景从预先设置的自定义复合主键中确定当前数据处理对应地自定义复合主键；利用当前数据处理对应地自定义复合主键匹配出模版号，根据所述模版号分别从模型与要素关联表和要素校验控制表中确定当前数据处理对应地数据要素以及要素控制规则；根据当前数据处理对应地数据要素以及要素控制规则对当前业务数据信息进行采集，将采集的结果中差异信息构成JSON信息串；所述JSON信息串存储至数据明细表的数据对象字段内。优选地，还包括：从所述数据明细表中获取需要展示的信息的记录；从所述记录中的数据对象中获得JSON信息串，根据所述记录中的模版号从要素库中确定数据要素，利用所述数据要素从所述JSON信息串中取出各要素对应的值进行展示。优选地，还包括：根据数据的业务场景信息确定数据模型，并设置自定义复合主键；根据所述数据的实际内容从要素库中获得对应地数据要素以及校验控制规则，确定模型与要素关联表及要素校验控制表。优选地，所述数据明细表用于存储记录，所述记录是每次采集到数据生成的；其中，所述记录包括：明细编号、数据对象和公共字段；一个明细编号对应一条记录，所述数据对象用于存储JSON信息串，所述公共字段用于存储不同业务领域定义的公共信息。优选地，所述数据对象采用clob字段。为实现上述目的，本申请实施方式还提供一种数据处理装置，包括：采集参数确定单元，用于根据应用场景从预先设置的自定义复合主键中确定当前数据处理对应地自定义复合主键；利用当前数据处理对应地自定义复合主键匹配出模版号，根据所述模版号分别从模型与要素关联表和要素校验控制表中确定当前数据处理对应地数据要素以及要素控制规则；采集单元，用于根据当前数据处理对应地数据要素以及要素控制规则对当前业务数据信息进行采集，将采集的结果中差异信息构成JSON信息串；存储单元，用于所述JSON信息串存储至数据明细表的数据对象字段内。优选地，还包括：展示单元，用于从所述数据明细表中获取需要展示的信息的记录，从所述记录中的数据对象中获得JSON信息串，根据所述记录中的模版号从要素库中确定数据要素，利用所述数据要素从所述JSON信息串中取出各要素对应的值进行展示。优选地，还包括：数据模型建立单元，用于根据数据的业务场景信息确定数据模型，并设置自定义复合主键；模型与要素关联表和要素校验控制表获取单元，用于根据所述数据的实际内容从要素库中获得对应地数据要素以及校验控制规则，确定模型与要素关联表及要素校验控制表。为实现上述目的，本申请实施方式还提供一种数据处理系统，包括：存储器和处理器；其中，处理器，适于实现各计算机程序；以及存储器，适于存储多条计算机程序，所述计算机程序适于由所述处理器加载并执行：根据应用场景从预先设置的自定义复合主键中确定当前数据处理对应地自定义复合主键；利用当前数据处理对应地自定义复合主键匹配出模版号，根据所述模版号分别从模型与要素关联表和要素校验控制表中确定当前数据处理对应地数据要素以及要素控制规则；根据当前数据处理对应地数据要素以及要素控制规则对当前业务数据信息进行采集，将采集的结果中差异信息构成JSON信息串；所述JSON信息串存储至数据明细表的数据对象字段内。优选地，所述计算机程序被所述处理器执行时，还实现以下功能：从所述数据明细表中获取需要展示的信息的记录，从所述记录中的数据对象中获得JSON信息串，根据所述记录中的模版号从要素库中确定数据要素，利用所述数据要素从所述JSON信息串中取出各要素对应的值进行展示。优选地，所述计算机程序被所述处理器执行时，还实现以下功能：根据数据的业务场景信息确定数据模型，并设置自定义复合主键；模型与要素关联表和要素校验控制表获取单元，用于根据所述数据的实际内容从要素库中获得对应地数据要素以及校验控制规则，确定模型与要素关联表及要素校验控制表。上述技术方案具有如下有益效果：本技术方案实现了不同应用场景下的数据从采集、存储和展示的通用处理，对于数据要素变化后也无需对数据处理程序通篇修改即可支持，在以下方面展现出突出的优点：1、信息参数化本技术方案把各类数据进行抽象提取公共要素，根据不同数据场景定义数据模型，数据采集、展示时完全根据数据模型对应的参数动态采集、展示，提升信息处理灵活性。在本技术方案中，数据模型对应的参数包括：数据要素和要素校验控制规则。2、易维护性和可扩展性本技术方案在实施新增数据、删除数据、修改数据等数据处理操作时，仅仅修改数据明细表内的数据对象，对公共信息部分无需操作处理，也无需修改数据表结构，更无需对数据处理程序通篇进行修改，工作量大大减少，实现数据的快速上线。并且，对不同应用数据达到灵活扩展效果。附图说明为了更清楚地说明本申请实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提出的一种数据处理方法流程图之一；图2为本实施例的数据明细表示意图；图3为本专利技术实施例提出的一种数据处理方法流程图之二；图4为本实施例的实例操作流程图；图5为本技术方案的数据处理与传统数据处理效果对比示意图；图6为本申请实施方式提供一种数据处理装置功能框图之一；图7为本申请实施方式提供一种数据处理装置功能框图之二；图8为本申请实施方式提供一种数据处理系统示意图。具体实施方式为了使本
的人员更好地理解本申请中的技术方案，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都应当属于本申请保护的范围。本技术方案的工作原理为：通过引入JSON数据格式存储数据，提出一种差异数据通用化处理的技术方案。JSON本身是一种轻量级的数据交换格式，完全独立于语言的文本格式，可使用任何语言进行操作，其数据等同于一个字符串。将差异信息统一处理成一个JSON数据串对应数据明细表中的数据对象，其他字段作为信息公有字段，从而实现只有一张数据表完成所有不同类型信息的本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：根据应用场景从预先设置的自定义复合主键中确定当前数据处理对应地自定义复合主键；利用当前数据处理对应地自定义复合主键匹配出模版号，根据所述模版号分别从模型与要素关联表和要素校验控制表中确定当前数据处理对应地数据要素以及要素控制规则；根据当前数据处理对应地数据要素以及要素控制规则对当前业务数据信息进行采集，将采集的结果中差异信息构成JSON信息串；所述JSON信息串存储至数据明细表的数据对象字段内。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：根据应用场景从预先设置的自定义复合主键中确定当前数据处理对应地自定义复合主键；利用当前数据处理对应地自定义复合主键匹配出模版号，根据所述模版号分别从模型与要素关联表和要素校验控制表中确定当前数据处理对应地数据要素以及要素控制规则；根据当前数据处理对应地数据要素以及要素控制规则对当前业务数据信息进行采集，将采集的结果中差异信息构成JSON信息串；所述JSON信息串存储至数据明细表的数据对象字段内。2.如权利要求1所述的方法，其特征在于，还包括：从所述数据明细表中获取需要展示的信息的记录；从所述记录中的数据对象中获得JSON信息串，根据所述记录中的模版号从要素库中确定数据要素，利用所述数据要素从所述JSON信息串中取出各要素对应的值进行展示。3.如权利要求1或2所述的方法，其特征在于，还包括：根据数据的业务场景信息确定数据模型，并设置自定义复合主键；根据所述数据的实际内容从要素库中获得对应地数据要素以及校验控制规则，确定模型与要素关联表及要素校验控制表。4.如权利要求1或2所述的方法，其特征在于，所述数据明细表用于存储记录，所述记录是每次采集到数据生成的；其中，所述记录包括：明细编号、数据对象和公共字段；一个明细编号对应一条记录，所述数据对象用于存储JSON信息串，所述公共字段用于存储不同业务领域定义的公共信息。5.如权利要求4所述的方法，其特征在于，所述数据对象采用clob字段。6.一种数据处理装置，其特征在于，包括：采集参数确定单元，用于根据应用场景从预先设置的自定义复合主键中确定当前数据处理对应地自定义复合主键；利用当前数据处理对应地自定义复合主键匹配出模版号，根据所述模版号分别从模型与要素关联表和要素校验控制表中确定当前数据处理对应地数据要素以及要素控制规则；采集单元，用于根据当前数据处理对应地数据要素以及要素控制规则对当前业务数据信息进行采集，将采集的结果中差异信息构成JSON信息串；存储单元，用于所述JSON信息串存储至数据明细表的数据对象字...

【专利技术属性】
技术研发人员：张建荣，王大猷，金帅，危林，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京,11