一种存储系统间同步数据的方法、装置及同步系统制造方法及图纸

一种存储系统间同步数据的方法、装置及同步系统，每个存储系统连接一个与其类型相对应的同步代理服务器，该方法包括：源存储系统根据发生变化的数据的字段和内容、同步代理服务器标识信息和数据标识信息，生成待同步数据发送至预设的预写入日志队列中；每个同步代理服务器定时从预写入日志队列中获取具有本同步代理服务器标识信息的待同步数据，将获得的待同步数据发送至本同步代理服务器连接的目标存储系统；每个目标存储系统根据同步数据的数据标识信息及该待同步数据发生变化的字段和内容进行数据同步。应用本发明专利技术实施例，能够实现大粒度数据实时可靠地同步到相同或不同类型的存储系统中。

【技术实现步骤摘要】

本专利技术涉及同步数据领域，特别涉及一种存储系统间同步数据的方法、装置及同步系统。
技术介绍
多存储系统的基本特征为由一个或多个数据写入端输入数据到存储系统中，必要时需要对数据进行预处理,然后数据被分发并保存到多个存储系统中。这些存储系统可以分布在多个地区，通过互联网或者内部专线来通讯。数据消费者可以选择合适的存储系统去读取数据。目前，存储系统间同步数据的方式存在两种情况：第一种，同类型存储系统间数据的同步。同类型存储系统间数据的同步可以通过存储系统提供的跨系统数据同步功能完成。然而，目前的数据同步多存在于异构系统间，同类型存储系统间数据的同步应用范围狭窄。第二种，异构存储系统间数据的同步。目前，为了实现异构存储系统间的数据同步，在异构存储系统间选举出一个存储系统作为主存储系统，当其他存储系统存在更新数据时，将该更新数据发送到主存储系统，通过主存储系统完成各存储系统间的数据同步。在该异构存储系统中，当进行数据同步时，主存储系统获取的是更新后的每条数据，无论该条数据发生变化的数据量是多少，在进行更新时都对该条数据全量更新。该方法在更新频率较低、每条数据包含的数据量较小的场景可以实用，但在每条数据包含的数据量较大，即数据粒度大，且数据更新频率较高的场景下，将会占用大量带宽，影响数据同步的实时性。
技术实现思路
本专利技术实施例的目的在于提供一种存储系统间同步数据的方法、装置及同步系统，以实现大粒度数据实时可靠地同步到相同或不同类型的存储系统中的目的。为达到上述目的，本专利技术实施例公开了一种存储系统间同步数据的方法，每个存储系统连接一个与其类型相对应的同步代理服务器；所述方法包括步骤：源存储系统获得发生变化的数据的字段和内容；确定一个或多个进行数据同步的目标存储系统，获得各个目标存储系统连接的各个同步代理服务器的同步代理服务器标识信息；根据发生变化的数据的字段和内容、同步代理服务器标识信息和数据标识信息，生成待同步数据发送至预设的预写入日志队列中；所述预写入日志队列中存储有每个存储系统发送的待同步数据；所述每条待同步数据中包含该条待同步数据的同步代理服务器标识信息、数据标识信息及该条待同步数据发生变化的字段和内容；每个同步代理服务器定时从所述预写入日志队列中获取具有本同步代理服务器标识信息的待同步数据；将获得的待同步数据发送至本同步代理服务器连接的目标存储系统；每个目标存储系统根据所述同步数据的数据标识信息及该待同步数据发生变化的字段和内容进行数据同步。较佳的，所述待同步数据还包含分别与各个同步代理服务器对应的多个同步状态标识信息；所述预写入日志队列收到每条待同步数据时，将该条待同步数据的所有同步状态标识信息设置为待同步；在所述同步代理服务器连接的所述目标存储系统将所述待同步数据同步成功时，将该条待同步数据的与该同步代理服务器对应的同步状态标识信息设置为同步成功；在所述同步代理服务器连接的所述目标存储系统将所述待同步数据同步未成功时，将该条待同步数据的与该同步代理服务器对应的同步状态标识信息设置为重试；所述每个同步代理服务器定时从所述预写入日志队列中获取具有本同步代理服务器标识信息的待同步数据，为所述每个同步代理服务器定时从所述预写入日志队列中获取与本同步代理服务器对应的同步状态标识信息为待同步和重试的所述待同步数据。较佳的，所述待同步数据还包含分别与各个同步代理服务器对应的多个顺序状态信息；所述每个同步代理服务器定时从所述预写入日志队列中获取具有本同步代理服务器标识信息的待同步数据，为：所述每个同步代理服务器定时获取所述待同步数据的顺序状态信息，确定同步代理服务器的执行顺序；根据所述执行顺序，从所述预写入日志队列中获取具有本同步代理服务器标识信息的待同步数据。较佳的，该方法还包括：记录重试次数，若重试次数达到预设值，则与该同步代理服务器对应的同步状态标识信息设置为同步失败。较佳的，该方法还包括：预先设置的记录清理代理服务器定时读取所述预写入队列中保存的待同步数据，将同步状态标识信息都为同步成功和/或同步失败的所有待同步数据删除。为达到上述目的，本专利技术实施例还公开了一种存储系统间同步数据的装置，其特征在于，每个存储系统连接一个与其类型相对应的同步代理服务器；所述装置包括：待同步数据生成模块，设置于源存储系统中，用于获得发生变化的数据的字段和内容；确定一个或多个进行数据同步的目标存储系统，获得各个目标存储系统连接的各个同步代理服务器的同步代理服务器标识信息；根据发生变化的数据的字段和内容、同步代理服务器标识信息和数据标识信息，生成待同步数据发送至预设的预写入日志队列中；所述预写入日志队列中存储有每个存储系统发送的待同步数据；所述每条待同步数据中包含该条待同步数据的同步代理服务器标识信息、数据标识信息及该条待同步数据发生变化的字段和内容；待同步数据获得模块，设置于每个同步代理服务器中，用于定时从所述预写入日志队列中获取具有本同步代理服务器标识信息的待同步数据；将获得的待同步数据发送至本同步代理服务器连接的目标存储系统；数据同步模块，设置于每个目标存储系统中，用于根据所述同步数据的数据标识信息及该待同步数据发生变化的字段和内容进行数据同步。较佳的，所述待同步数据生成模块包括：获得子模块、确定子模块和待同步数据生成子模块；所述获得子模块，用于获得发生变化的数据的字段和内容；所述确定子模块，用于确定一个或多个进行数据同步的目标存储系统，获得各个目标存储系统连接的各个同步代理服务器的同步代理服务器标识信息；所述待同步数据生成子模块，用于根据发生变化的数据的字段和内容、同步代理服务器标识信息和数据标识信息，生成待同步数据发送至预设的预写入日志队列中；所述预设的预写入日志队列设置在预写入日志队列服务器中；所述待同步数据还包含分别与各个同步代理服务器对应的多个同步状态标识信息；所述预写入日志队列包括：第一设置子模块、第二设置子模块和第三设置子模块；所述第一设置子模块，用于所述预写入日志队列收到每条待同步数据时，将该条待同步数据的所有同步状态标识信息设置为待同步；所述第二设置子模块，用于在所述同步代理服务器连接的所述目标存储系统将所述待同步数据同步成功时，将该条待同步数据的与该同步代理服务器对应的同步状态标本文档来自技高网...

【技术保护点】
一种存储系统间同步数据的方法，其特征在于，每个存储系统连接一个与其类型相对应的同步代理服务器；所述方法包括步骤：源存储系统获得发生变化的数据的字段和内容；确定一个或多个进行数据同步的目标存储系统，获得各个目标存储系统连接的各个同步代理服务器的同步代理服务器标识信息；根据发生变化的数据的字段和内容、同步代理服务器标识信息和数据标识信息，生成待同步数据发送至预设的预写入日志队列中；所述预写入日志队列中存储有每个存储系统发送的待同步数据；所述每条待同步数据中包含该条待同步数据的同步代理服务器标识信息、数据标识信息及该条待同步数据发生变化的字段和内容；每个同步代理服务器定时从所述预写入日志队列中获取具有本同步代理服务器标识信息的待同步数据；将获得的待同步数据发送至本同步代理服务器连接的目标存储系统；每个目标存储系统根据所述同步数据的数据标识信息及该待同步数据发生变化的字段和内容进行数据同步。

【技术特征摘要】
1.一种存储系统间同步数据的方法，其特征在于，每个存储系统连接一个与其类型相对应的同步代理服务器；所述方法包括步骤：
源存储系统获得发生变化的数据的字段和内容；确定一个或多个进行数据同步的目标存储系统，获得各个目标存储系统连接的各个同步代理服务器的同步代理服务器标识信息；根据发生变化的数据的字段和内容、同步代理服务器标识信息和数据标识信息，生成待同步数据发送至预设的预写入日志队列中；所述预写入日志队列中存储有每个存储系统发送的待同步数据；所述每条待同步数据中包含该条待同步数据的同步代理服务器标识信息、数据标识信息及该条待同步数据发生变化的字段和内容；
每个同步代理服务器定时从所述预写入日志队列中获取具有本同步代理服务器标识信息的待同步数据；将获得的待同步数据发送至本同步代理服务器连接的目标存储系统；
每个目标存储系统根据所述同步数据的数据标识信息及该待同步数据发生变化的字段和内容进行数据同步。
2.根据权利要求1所述的方法，其特征在于：所述待同步数据还包含分别与各个同步代理服务器对应的多个同步状态标识信息；
所述预写入日志队列收到每条待同步数据时，将该条待同步数据的所有同步状态标识信息设置为待同步；
在所述同步代理服务器连接的所述目标存储系统将所述待同步数据同步成功时，将该条待同步数据的与该同步代理服务器对应的同步状态标识信息设置为同步成功；
在所述同步代理服务器连接的所述目标存储系统将所述待同步数据同步未成功时，将该条待同步数据的与该同步代理服务器对应的同步状态标识信息设置为重试；
所述每个同步代理服务器定时从所述预写入日志队列中获取具有本同步代理服务器标识信息的待同步数据，为所述每个同步代理服务器定时从所述预写入日志队列中获取与本同步代理服务器对应的同步状态标识信息为待同步和重试的所述待同步数据。
3.根据权利要求2所述的方法，其特征在于：所述待同步数据还包含分别与各个同步代理服务器对应的多个顺序状态信息；
所述每个同步代理服务器定时从所述预写入日志队列中获取具有本同步代理服务器标识信息的待同步数据，为：
所述每个同步代理服务器定时获取所述待同步数据的顺序状态信息，确定同步代理服务器的执行顺序；根据所述执行顺序，从所述预写入日志队列中获取具有本同步代理服务器标识信息的待同步数据。
4.根据权利要求2或3所述的方法，其特征在于，该方法还包括：
记录重试次数，若重试次数达到预设值，则与该同步代理服务器对应的同步状态标识信息设置为同步失败。
5.根据权利要求4所述的方法，其特征在于，该方法还包括：
预先设置的记录清理代理服务器定时读取所述预写入队列中保存的待同步数据，将同步状态标识信息都为同步成功和/或同步失败的所有待同步数据删除。
6.一种存储系统间同步数据的装置，其特征在于，每个存储系统连接一个与其类型相对应的同步代理服务器；所述装置包括：
待同步数据生成模块，设置于源存储系统中，用于获得发生变化的数据的字段和内容；确定一个或多个进行数据同步的目标存储系统，获得各个目标存储系统连接的各个同步代理服务器的同步代理服务器标识信息；根据发生变化的数据的字段和内容、同步代理服务器标识信息和数据标识信息，生成待同步数据发送至预设的预写入日志队列中；所述预写入日志队列中存储有每个存储系统发送的待同步数据；所述每条待同步数据中包含该条待同步数据的同步代理服务器标识信息、数据标识信息及该条待同步数据发生变化的字段和内容；
待同步数据获得模块，设置于每个同步代理服务器中，用于定时从所述预写入日志队列中获取具有本同步代理服务器标识信息的待同步数据；将获得的待同步数据发送至本同步代理服务器连接的目标存储系统；
数据同步模块，设置于每个目标存储系统中，用于根据所述同步数据的数据标识信息及该待同步数据发生变化的字段和内容进行数据同步。
7.根据权利要求6所述的装置，其特征在于...

【专利技术属性】
技术研发人员：李雄锋，谭建南，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京;11