数据同步方法、设备和存储介质技术

本申请公开了数据同步方法、设备和存储介质，涉及数据处理、云计算等技术领域。具体实现方案为：在将从测试环境中导出的多条业务数据导入生产环境的数据源的过程中，对多条业务数据进行分组，以得到N组业务数据，并根据N组业务数据，生成N个写事务，之后，根据N个写事务，将N组业务数据分别写入到生产环境的数据源中以及在将N组业务数据均导入到生产环境的数据源的情况下，获取多条业务数据所具有的数据版本标识，并将生产环境的当前数据版本标识切换为数据版本标识，以实现生产环境使用多条业务数据进行业务处理。通过多个事务对分组业务数据导入到生产环境的数据源中，减少了业务数据导入对生产环境的影响，提高了生产环境的业务处理的稳定性。

【技术实现步骤摘要】
数据同步方法、设备和存储介质
本申请涉及计算机
，具体涉及数据处理、云计算等
，尤其涉及数据同步方法、设备和存储介质。
技术介绍
目前，在产品上线之前，例如，在银行、保险等尤其注重系统稳定和安全的场景中，往往需要在测试环境中对相关业务进行测试，并通过完整的验证测试流程后，再将测试环境的业务数据完全同步到生产环境(即线上环境)。为了避免相互影响，上述测试环境和生产环境通常是网络隔离的。在相关技术中，在将测试环境中的业务数据同步到生产环境的过程中，从测试环境中导出业务数据，然后，将业务数据导入到生产环境中。在将测试环境中导出的业务数据导入到生产环境的过程中，可能影响到生产环境的业务系统的稳定性。因此，如何减少数据导入对生产环境的影响是目前亟需解决的技术问题。
技术实现思路
本申请提供了一种用于数据同步方法、设备和存储介质。根据本申请的一方面，提供了一种数据同步方法，包括：获取从测试环境导出的多条业务数据；对所述多条业务数据进行分组，以得到N组业务数据，其中，N为大于1的整数；根据所述N组业务数据，生成N个写事务；根据所述N个写事务，将所述N组业务数据分别写入到所述生产环境的数据源中；在将所述N组业务数据均导入到所述生产环境的数据源的情况下，获取所述多条业务数据所具有的数据版本标识，并将所述生产环境的当前数据版本标识切换为所述数据版本标识，以实现所述生产环境使用所述多条业务数据进行业务处理。根据本申请的另一方面，提供了一种数据同步装置，包括：第一获取模块，用于获取从测试环境导出的多条业务数据；分组模块，用于对所述多条业务数据进行分组，以得到N组业务数据，其中，N为大于1的整数；第一生成模块，用于根据所述N组业务数据，生成N个写事务；写入模块，用于根据所述N个写事务，将所述N组业务数据分别写入到所述生产环境的数据源中；第一处理模块，用于在将所述N组业务数据均导入到所述生产环境的数据源的情况下，获取所述多条业务数据所具有的数据版本标识，并将所述生产环境的当前数据版本标识切换为所述数据版本标识，以实现所述生产环境使用所述多条业务数据进行业务处理。根据本申请的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请的数据同步方法。根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请实施例公开的数据同步方法。根据本申请的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本申请的数据同步方法。上述申请中的一个实施例具有如下优点或有益效果：在将从测试环境中导出的多条业务数据导入生产环境的数据源的过程中，对多条业务数据进行分组，以得到N组业务数据，并根据N组业务数据，生成N个写事务，之后，根据N个写事务，将N组业务数据分别写入到生产环境的数据源中以及在将N组业务数据均导入到生产环境的数据源的情况下，获取多条业务数据所具有的数据版本标识，并将生产环境的当前数据版本标识切换为数据版本标识，以实现生产环境使用多条业务数据进行业务处理。由此，通过多个事务对分组业务数据导入到生产环境的数据源中，减少了业务数据导入对生产环境的影响，提高了生产环境的业务处理的稳定性。应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是根据本申请第一实施例提供的一种数据同步方法的流程示意图；图2是根据本申请第二实施例提供的一种数据同步方法的流程示意图；图3是根据本申请第三实施例的一种数据同步方法的流程示意图；图4是根据本申请第四实施例提供的一种数据同步装置的结构示意图；图5是根据本申请第五实施例提供的一种数据同步装置的结构示意图；图6是用来实现本申请实施例的数据同步方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。相关技术中，在将测试环境导出的业务数据导入生产环境的过程中，通常采用所有变更数据以一个事务的方式导入到生产环境的数据源中，然而，这种方式严重影响了数据源的性能，降低了生产环境的业务系统的稳定性，增加了业务系统的负载。为了解决上述技术问题，本申请提出一种数据同步方法，在将从测试环境中导出的多条业务数据导入生产环境的数据源的过程中，对多条业务数据进行分组，以得到N组业务数据，并根据N组业务数据，生成N个写事务，之后，根据N个写事务，将N组业务数据分别写入到生产环境的数据源中，以及在将N组业务数据均导入到生产环境的数据源的情况下，获取多条业务数据所具有的数据版本标识，并将生产环境的当前数据版本标识切换为该数据版本标识，以实现生产环境使用多条业务数据进行业务处理。由此，通过多个事务对分组业务数据导入到生产环境的数据源中，减少了业务数据导入对生产环境的影响，提高了生产环境的业务处理的稳定性。下面参考附图描述本申请实施例的数据同步方法、设备和存储介质。图1是根据本申请第一实施例提供的一种数据同步方法的流程示意图。如图1所示，该数据同步方法可以包括：步骤101，获取从测试环境导出的多条业务数据。其中，上述数据同步方法的执行主体为数据同步装置，该数据同步装置可以由软件和/或硬件的方式实现，该实施例中的数据同步装置可以配置在生产环境中，以通过该数据同步装置对测试环境中导出的业务数据进行导入处理。步骤102，对多条业务数据进行分组，以得到N组业务数据，其中，N为大于1的整数。步骤103，根据N组业务数据，生成N个写事务。步骤104，根据N个写事务，将N组业务数据分别写入到生产环境的数据源中。步骤105，在将N组业务数据均导入到生产环境的数据源的情况下，获取多条业务数据所具有的数据版本标识，并将生产环境的当前数据版本标识切换为数据版本标识，以实现生产环境使用多条业务数据进行业务处理。在一些实施例中，上述数据版本标识可通过数字的方式进行表示。在另一些实施例中，上述数据版本标识还可以通过字母的方式进行表示。在另一些实施例中，上述数据版本标识还可以通过数字和字母进行组合的方式进行表示，该实施例不对数据版本标识的表示方式进行限定，在实际应用过程中，可根据实际需求来设置数据版本标识的表示方式。本申请实施例的数据同步方法，在将从测试环境中导出的多条业本文档来自技高网...

【技术保护点】
1.一种数据同步方法，包括：/n获取从测试环境导出的多条业务数据；/n对所述多条业务数据进行分组，以得到N组业务数据，其中，N为大于1的整数；/n根据所述N组业务数据，生成N个写事务；/n根据所述N个写事务，将所述N组业务数据分别写入到所述生产环境的数据源中；/n在将所述N组业务数据均导入到所述生产环境的数据源的情况下，获取所述多条业务数据所具有的数据版本标识，并将所述生产环境的当前数据版本标识切换为所述数据版本标识，以实现所述生产环境使用所述多条业务数据进行业务处理。/n

【技术特征摘要】
1.一种数据同步方法，包括：
获取从测试环境导出的多条业务数据；
对所述多条业务数据进行分组，以得到N组业务数据，其中，N为大于1的整数；
根据所述N组业务数据，生成N个写事务；
根据所述N个写事务，将所述N组业务数据分别写入到所述生产环境的数据源中；
在将所述N组业务数据均导入到所述生产环境的数据源的情况下，获取所述多条业务数据所具有的数据版本标识，并将所述生产环境的当前数据版本标识切换为所述数据版本标识，以实现所述生产环境使用所述多条业务数据进行业务处理。


2.根据权利要求1所述的方法，其中，在所述根据所述N个写事务，将所述N组业务数据分别写入到所述生产环境的数据源中之前，所述方法还包括：
根据所述当前数据版本标识，获取所述生产环境待生效的下个数据版本标识；
针对每组业务数据，根据所述下个数据版本标识，对所述本组业务数据中的每个业务数据添加数据版本标识，以生成具有所述下个数据版本标识的业务数据。


3.根据权利要求2所述的方法，其中，在所述根据所述N个写事务，将所述N组业务数据分别写入到所述生产环境的数据源中之前，所述方法还包括：
在检测到所述数据源中存在与所述下个数据版本标识对应的业务数据的情况下，删除所述数据源中与所述下个数据版本标识对应的业务数据。


4.根据权利要求1所述的方法，其中，所述对所述多条业务数据进行分组，以得到N组业务数据，包括：
获取所述数据源一次写入可支持的数据条数；
根据所述数据条数，对所述多条业务数据进行分组，以得到N组业务数据。


5.根据权利要求1所述的方法，其中，在所述将所述生产环境的当前数据版本标识切换为所述数据版本标识，以实现所述生产环境使用所述业务数据进行业务处理之后，所述方法还包括：
接收针对所述数据源的数据操作请求；
根据生产环境的业务系统的原业务逻辑，生成所述数据操作请求所对应的数据操作语句；
拦截所述数据操作语句，并为所述数据操作语句添加所述数据版本标识；
根据添加标识后的所述数据操作语句，从所述数据源中获取与所述数据版本标识对应的业务数据集合；
从所述业务数据集合中获取与所述数据操作语句对应的目标业务数据，并根据所述数据操作语句的操作类型对所述目标业务数据进行操作。


6.根据权利要求1所述的方法，其中，在所述将所述生产环境的当前数据版本标识切换为所述业务数据所对应的数据版本标识之后，所述方法还包括：
在版本记录表中保存所述数据版本标识。


7.根据权利要求1所述的方法，其中，所述方法还包括：
接收数据版本切换指令，其中，所述数据版本切换指令指示从所述数据版本标识切换为所述当前数据版本标识；
控制所述生产环境切换为所述当前数据版本标识；
从所述数据源中获取所述当前数据版本标识对应的目标业务数据集合，并根据所述目标业务数据集合进行业务处理。


8.一种数据同步装置，包括：
第一获取模块，用于获取从测试环境导出的多条业务数据；
分组模块，用于对所述多条业务数据进行分组，以得到N组业务数据，其中，N为大于1的整数；
第一生成模块，用于根据所述N组业务数据，生成N个写事务；
写入模块，用于根据所...

【专利技术属性】
技术研发人员：白常福，范良煌，张成，黄庆伟，张伟冬，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11