数据顺序同步方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据顺序同步方法、装置、计算机设备及存储介质。所述方法包括：获取数据库的变更记录表，并将变更记录表发送给消息中间件；将所述变更记录表中唯一字段相同的消息分发到所述消息中间件的同一个分区或者同一个消息队列中，其中，同一个数据的消息的唯一字段相同；通过消息消费者从所述消息中间件的分区或者消息队列中获取消息，并对获取到的消息进行处理以对所述数据库的数据进行变更。本发明专利技术实施例通过将同一个数据的消息分发到消息中间件的同一个分区或者同一个消息队列中，由于消息中间件的同一个分区或同一个消息队列里的消息是有序的，所以消息消费者在消费消息的时候也是按顺序消费的，从而确保了数据同步的一致性。

Data sequence synchronization method, device, computer equipment and storage medium

【技术实现步骤摘要】
数据顺序同步方法、装置、计算机设备及存储介质
本专利技术涉及数据处理
，尤其涉及一种数据顺序同步方法、装置、计算机设备及存储介质。
技术介绍
数据同步是大数据经常遇到的问题，其中就包括SQLserver中的数据同步。虽然目前有很多数据同步的方案，但是对于保证数据同步的顺序的研究还比较少。数据同步的顺序如果出了问题，数据一致性就会出现问题。例如，对于先增加一个数据后修改一个数据，如果顺序不恰当就会变成先修改后增加，导致数据的一致性出现问题，为了解决这种数据不一致的问题，成为本领域亟待解决的技术问题。
技术实现思路
本专利技术实施例提供了一种数据顺序同步方法、装置、计算机设备及存储介质，旨在解决现有技术中数据库中数据同步的顺序不一致的问题。第一方面，本专利技术实施例提供了一种数据顺序同步方法，其包括：获取数据库的变更记录表，并将所述变更记录表发送给消息中间件；将所述变更记录表中唯一字段相同的消息分发到所述消息中间件的同一个分区或者同一个消息队列中，其中，同一个数据的消息的唯一字段相同；通过消本文档来自技高网...

【技术保护点】
1.一种数据顺序同步方法，其特征在于，包括：/n获取数据库的变更记录表，并将所述变更记录表发送给消息中间件；/n将所述变更记录表中唯一字段相同的消息分发到所述消息中间件的同一个分区或者同一个消息队列中，其中，同一个数据的消息的唯一字段相同；/n通过消息消费者从所述消息中间件的分区或者消息队列中获取消息，并对获取到的消息进行处理以对所述数据库的数据进行变更。/n

【技术特征摘要】
1.一种数据顺序同步方法，其特征在于，包括：
获取数据库的变更记录表，并将所述变更记录表发送给消息中间件；
将所述变更记录表中唯一字段相同的消息分发到所述消息中间件的同一个分区或者同一个消息队列中，其中，同一个数据的消息的唯一字段相同；
通过消息消费者从所述消息中间件的分区或者消息队列中获取消息，并对获取到的消息进行处理以对所述数据库的数据进行变更。


2.根据权利要求1所述的数据顺序同步方法，其特征在于，所述获取数据库的变更记录表，包括：
开启数据库的CDC机制或者ChangeTracking机制，以获取数据库的变更记录表。


3.根据权利要求1所述的数据顺序同步方法，其特征在于，所述变更记录表的格式为JSON格式。


4.根据权利要求1所述的数据顺序同步方法，其特征在于，所述将所述变更记录表中唯一字段相同的消息分发到所述消息中间件的同一个分区，包括：
获取消息的唯一字段的hash值；
通过所述唯一字段的hash值对所述消息中间件的分区数进行取模运算，并根据取模运算得到的余数确定消息对应的分区。


5.根据权利要求4所述的数据顺序同步方法，其特征在于，所述获取消息唯一字段的hash值之前，所述将所述变更记录表中唯一字段相同的消息分发到所述消息中间件的同一个分区，还包括：
判断消息的唯一字段的值是否存在；
若消息的唯一字段的值不存在，获取所述变更记录表的表名的hash值；
通过所述变更记录表的表名的hash值对所述消息中间件的分区数进行取模运算，并根据取模...

【专利技术属性】
技术研发人员：何海龙，李健青，谢瑶，
申请(专利权)人：深圳前海环融联易信息科技服务有限公司，
类型：发明
国别省市：广东;44