【技术实现步骤摘要】
数据同步处理方法及其装置、设备、介质
[0001]本申请涉及服务器领域，尤其涉及一种数据同步处理方法，此外还涉及该方法相应的装置、设备以及非易失性存储介质。
技术介绍
[0002]现有的互联网平台通常会使用分布式的代理数据库存储平台中的数据，例如，互联网直播平台会将平台中的直播间、主播用户及观众用户的数据分布式存储至各代理数据库中，以保证平台中的各类型用户及管理用户快速地获取代理数据库中的相关数据使用直播平台所提供各类型的网络直播在线服务，现有的互联网平台一般基于kafka思想构建代分布式的代理数据库，以使其分布式的代理数据库具有高吞吐量、持久化数据存储及系统易于扩展等kafka所具备的优势。
[0003]现有的互联网平台为基于kafka所构建的分布式代理数据库系统中，任一代理服务器的添加或删除主题(topic)或对主题分区结构进行修改时，将触发再平衡机制，以重新分配为各主题负责消费及生产的同步实施对象所消费的主题，当然，在启动同步实施对象或任一同步实施对象停止运行时，也将进行再平衡，但在执行再平衡时，通常需重新分配...
【技术保护点】
【技术特征摘要】
1.一种数据同步处理方法，其特征在于，包括如下步骤：响应本地代理数据库中目标发布主题的数据更新事件，根据主题分组配置，确定目标发布主题所属的目标主题组；根据同步实施分组配置，确定与所述目标主题组相关联的同步实施组，以查询出该同步实施组中负责同步所述目标发布主题的目标同步实施对象集合；驱动所述目标同步实施对象集合中各同步实施对象分别从所述目标分布主题中相应的分区获取更新数据，以便该些同步实施对象将其分区获取的更新数据对应更新至本地及远程代理数据库中的目标订阅主题。2.根据权利要求1所述的方法，其特征在于，所述响应本地代理数据库中目标发布主题的数据更新事件的步骤之前，包括如下由服务器执行的步骤：响应由管理端推送的分布式主题创建指令，获取该创建指令中包含的主题名称；在本地代理数据库中创建以所述主题名称命名的本地发布主题及本地订阅主题；向所有远程代理数据库推送主题创建指令，以控制该些代理数据库创建与所述本地发布主题及本地订阅主题同名且分区结构相同的发布主题及订阅主题。3.根据权利要求1所述的方法，其特征在于，所述以便该目标同步实施群将所述更新数据对应更新至本地及远程代理数据库中的目标订阅主题的步骤中，包括如下由同步模块所执行的步骤：响应由服务器推送的指向目标发布主题的更新指令，根据各同步实施对象各自对应的消费分区标识，确定所述目标发布主题中该些消费分区标识各自对应的消费分区；驱动各所述同步实施对象分别从其对应的消费分区中获取更新数据，以便该些同步实施对象将其更新数据更新至本地代理数据库或远程代理数据库的目标订阅主题中对应的生产分区。4.根据权利要求3所述的方法，其特征在于，所述以便该些同步实施对象将其更新数据更新至本地代理数据库或远程代理数据库的目标订阅主题中对应的生产分区，包括如下由同步实施对象所执行的步骤：驱动自身包含的消费对象从消费分区中获取更新数据；确定自身包含的一个或多个生产对象各自所对应的数据库标识，以驱动该些生产对象将所述更新数据分别更新至其数据库标识所对应的代理数据库的目标订阅主题中的生产分区。5.根据权利要求1所述的方法，其特征在于，所述以便该些同步实施对象将其分区获取的更新数据对应更新至本地及远程代理数据库中的目标订阅主题的步骤之后，包括如下由同步实施对象执行的步骤：响应作用于本地代理数据库中关联的目标主题组的修改事件，调用当前所处的同步实施对象组所对应的对象信息列表，所述对象信息列表中存储着正在运行的同步实施对象组中各同步实施对象的对象信息，且该些对象信息根据其所属的同步实施对象的对象名称进行排序；调用预设的消费再平衡规则，以根据所述对象信息列表中各对象信息的排序及所述目标主题组中各主题的主题信息，获取对应一个或多个目标主题的消费分区标识，以根据该分区标识确定该些目标主题中需进行消费的消费分区。
6.根据权利要求1所述的方法，其特征在于，所述以便该...
【专利技术属性】
技术研发人员：刘洋，
申请(专利权)人：广州方硅信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。