数据一致性比对的方法、装置、电子设备和可读存储介质制造方法及图纸

本发明专利技术实施例提供一种数据一致性比对的方法、装置、电子设备和可读存储介质，能够提高数据一致性比对工具的可复用性、可维护性和可扩展性。本发明专利技术实施例的数据一致性比对方法包括：将获取自数据源的原始数据解析并赋值给数据对象；根据映射规则将所述数据对象映射为具有统一格式的抽象数据；比对不同所述数据源的所述抽象数据的一致性。

Data consistency comparison method, device, electronic device and readable storage medium

The embodiment of the present invention provides a method, device, electronic device and readable storage medium for data consistency comparison, which can improve the reusability, maintainability and scalability of the data consistency comparison tool. The data consistency comparison method of the embodiment of the present invention includes: parsing and assigning the original data obtained from the data source to the data object; mapping the data object to the abstract data with a unified format according to the mapping rules; and comparing the consistency of the abstract data from different data sources.

【技术实现步骤摘要】
数据一致性比对的方法、装置、电子设备和可读存储介质
本专利技术涉及计算机
，尤其涉及一种数据一致性比对的方法、装置、电子设备和可读存储介质。
技术介绍
针对数据一致性比对的场景，目前比较简单的方式是从对应的端下载数据，然后通过比对工具或比对算法来实现比对。例如图1所示，为现有技术中数据一致性比对方法的流程示意图。分别从数据源A和数据源B获取到数据后，由比对工具/算法对数据一致性进行比对，并得到一致性结果。当前一般的数据一致性比对方法，都是根据业务场景定制得到的。首先通过数据源提供的接口实现相应的逻辑获取数据源数据，然后再加工数据，实现相应的比对算法以获得一致性的比对结果，最后输出一致性结果。在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：1.比对方法根据业务定制得到，可复用性得不到保证，需要根据不同的业务定制不同的工具以实现数据一致性的比对；2.方法的逻辑未解耦，在新增业务时，需要根据新业务逻辑对老业务逻辑做适应性修改，可维护性、可扩展性差，牵一发动全身，任何一点业务的调整都可能面临工具的大范围改动。
技术实现思路
有鉴于此，本专利技术实施例提供一种数据一致性比对的方法、装置、电子设备和可读存储介质，能够提高数据一致性比对工具的可复用性、可维护性和可扩展性。为实现上述目的，根据本专利技术实施例的一个方面，提供了一种数据一致性比对的方法。本专利技术实施例的数据一致性比对方法包括：将获取自数据源的原始数据解析并赋值给数据对象；根据映射规则将所述数据对象映射为具有统一格式的抽象数据；比对不同所述数据源的所述抽象数据的一致性。可选的，将获取自数据源的原始数据解析并赋值给数据对象，包括：分别定义各所述数据源的数据处理规则；根据所述数据处理规则，将获取自所述数据源的原始数据解析并赋值给所述数据对象。可选的，根据映射规则将所述数据对象映射为具有统一格式的抽象数据，包括：获取待比对字段，以所述待比对字段的字段名作为键、以与所述字段名对应的内容作为值，建立键值对；解析所述数据对象以得到所述数据对象中包含的全部字段；从所述全部字段中选择与所述待比对字段的字段名相同的字段并存入所述键值对中。可选的，比对不同所述数据源的所述抽象数据的一致性，包括：比对不同数据源的所述键值对中，相同键所对应的值的一致性。可选的，所述方法还包括：根据比对结果生成报表数据。为实现上述目的，根据本专利技术实施例的另一个方面，提供了一种数据一致性比对的装置。本专利技术实施例的数据一致性比对的装置，包括：数据处理模块，用于将获取自数据源的原始数据解析并赋值给数据对象；数据映射模块，用于根据映射规则将所述数据对象映射为具有统一格式的抽象数据；数据比对模块，用于比对不同所述数据源的所述抽象数据的一致性。可选的，所述数据处理模块还用于：分别定义各所述数据源的数据处理规则；根据所述数据处理规则，将获取自所述数据源的原始数据解析并赋值给所述数据对象。可选的，所述数据映射模块还用于：获取待比对字段，以所述待比对字段的字段名作为键、以与所述字段名对应的内容作为值，建立键值对；解析所述数据对象以得到所述数据对象中包含的全部字段；从所述全部字段中选择与所述待比对字段的字段名相同的字段并存入所述键值对中。可选的，所述一致性比对模块还用于：比对不同数据源的所述键值对中，相同键所对应的值的一致性。可选的，所述装置还包括：报表生成模块，用于根据比对结果生成报表数据。为实现上述目的，根据本专利技术实施例的再一个方面，提供了一种数据一致性比对的电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器至少实现：将获取自数据源的原始数据解析并赋值给数据对象；根据映射规则将所述数据对象映射为具有统一格式的抽象数据；比对不同所述数据源的所述抽象数据的一致性。为实现上述目的，根据本专利技术实施例的又一个方面，提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时至少实现：将获取自数据源的原始数据解析并赋值给数据对象；根据映射规则将所述数据对象映射为具有统一格式的抽象数据；比对不同所述数据源的所述抽象数据的一致性。上述专利技术中的一个实施例具有如下优点或有益效果：因为采用了将不同格式的原始数据映射为相同格式的抽象数据后进行比对的技术手段，解决了现有技术需要通过与数据源相应的逻辑并进行加工的问题，实现了数据加工和数据比对的解耦，达到了提高可复用性的技术效果；因为采用了以数据对象作为原始数据的载体传递原始数据的技术手段，实现了原始数据获取和加工的解耦，解决了现有技术新增数据源时会对旧数据源的业务逻辑造成影响的问题，达到了提高可维护性、可扩展性的技术效果。上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。附图说明附图用于更好地理解本专利技术，不构成对本专利技术的不当限定。其中：图1是现有技术中数据一致性比对方法的流程示意图；图2是根据本专利技术实施例的数据一致性比对的方法的主要步骤的示意图；图3是根据本专利技术实施例的数据一致性比对的装置的主要模块的示意图；图4是根据本专利技术实施例的数据一致性比对的装置的另一实现方法的示意图；图5是适于用来实现本专利技术实施例的终端设备或服务器的计算机系统的结构示意图。具体实施方式以下结合附图对本专利技术的示范性实施例做出说明，其中包括本专利技术实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本专利技术的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。现有的数据一致性比对技术，通过数据源提供的接口实现相应的逻辑获取数据源数据，然后再加工数据，实现相应的比对算法以获得一致性的比对结果，最后输出一致性结果。由于需要根据业务场景定制得到，逻辑未解耦，新数据源逻辑会对旧数据源逻辑造成影响，可复用性、可维护性和可扩展性均较差。本专利技术考虑到现有技术的缺陷，将数据获取、数据加工和数据比对过程分别解耦，在加入新的数据源时，只要新增新数据源的处理逻辑，而不需要适应性调整旧数据源的处理逻辑，从而达到了更为良好的可复用性、可维护性和可扩展性，同时也大大简化了2个以上数据源之间的一致性比对逻辑。图2是根据本专利技术实施例的数据一致性比对的方法的主要步骤的示意图；如图2所示，本专利技术实施例提供一种数据一致性比对的方法，包括：S20，将获取自数据源的原始数据解析并赋值给数据对象。需要从数据源获取哪些原始数据，根据业务需要进行预先确定；对于不同的数据源来说，由于其系统架构不同，数据的保存形式不同，因此获取到的原始数据的形式也不相同；通过解析原始数据，解除原始数据的业务逻辑，将其转化为更加容易比对的数据，并赋值给数据对象，通过数据对象作为原始数据的载体，从而实现了逻辑解耦。S21，根据映射规则将所述数据对象映射为具有统一格式的抽象数据。从不同数据源获取到的原始数据的形式并不相同，无法进行直接比对；即使经过解析并赋值给数据对象之后，数据对象中包含的数据也并非全部都是待比对数据，直接比对必然会增加计算量。因此本步骤将数据对象映射为抽象数据；抽象数据是指根据统一的要求规定的数据类型，通过将数据对象映射为抽象本文档来自技高网...

【技术保护点】
1.一种数据一致性比对的方法，其特征在于，包括：将获取自数据源的原始数据解析并赋值给数据对象；根据映射规则将所述数据对象映射为具有统一格式的抽象数据；比对不同所述数据源的所述抽象数据的一致性。

【技术特征摘要】
1.一种数据一致性比对的方法，其特征在于，包括：将获取自数据源的原始数据解析并赋值给数据对象；根据映射规则将所述数据对象映射为具有统一格式的抽象数据；比对不同所述数据源的所述抽象数据的一致性。2.根据权利要求1所述的方法，其特征在于，将获取自数据源的原始数据解析并赋值给数据对象，包括：分别定义各所述数据源的数据处理规则；根据所述数据处理规则，将获取自所述数据源的原始数据解析并赋值给所述数据对象。3.根据权利要求1所述的方法，其特征在于，根据映射规则将所述数据对象映射为具有统一格式的抽象数据，包括：获取待比对字段，以所述待比对字段的字段名作为键、以与所述字段名对应的内容作为值，建立键值对；解析所述数据对象以得到所述数据对象中包含的全部字段；从所述全部字段中选择与所述待比对字段的字段名相同的字段并存入所述键值对中。4.根据权利要求3所述的方法，其特征在于，比对不同所述数据源的所述抽象数据的一致性，包括：比对不同数据源的所述键值对中，相同键所对应的值的一致性。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据比对结果生成报表数据。6.一种数据一致性比对的装置，其特征在于，包括：数据处理模块，用于将获取自数据源的原始数据解析并赋值给数据对象；数据映射模块，用于根据映射规则将所述数据对象映射...

【专利技术属性】
技术研发人员：高平，孔文杰，冷维伟，邢磊，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11