【技术实现步骤摘要】
同步数据通道构建方法、装置、计算机设备和存储介质
本申请涉及到计算机领域,特别是涉及到一种同步数据通道构建方法、装置、计算机设备和存储介质。
技术介绍
自大数据平台建立以来,不同数据库之间的数据同步就显得特别重要。数据库中的数据发生变化,大致包括数据删除、数据修改和数据增加。传统的数据同步方案,对于这三种情况并不加以区分,即在同步时是对这三种情况的数据进行同步,因此在同步时,需要在每两个数据库之间均构建同步数据通道。这种同步方案,当对大量数据库进行同步时,需要建立非常多的同步数据通道,例如对于8个数据库进行同步,则需要建立28条同步数据通道,因此耗时长且耗费的计算资源多。
技术实现思路
本申请的主要目的为提供一种同步数据通道构建方法、装置、计算机设备和存储介质,旨在实现快速地数据库同步,减少计算资源耗费。为了实现上述专利技术目的,本申请提出一种同步数据通道构建方法,包括以下步骤:接收对多个指定数据库进行同步的同步请求,其中所述同步请求为对新增数据进行同步的请求;判断所述多个指定数据 ...
【技术保护点】
1.一种同步数据通道构建方法,其特征在于,包括:/n接收对多个指定数据库进行同步的同步请求,其中所述同步请求为对新增数据进行同步的请求;/n判断所述多个指定数据库的数量是否大于预设的数量阈值;/n若所述多个指定数据库的数量大于预设的数量阈值,则获取所述多个指定数据库的特征信息,所述特征信息至少包括指定数据库类型和指定数据库用途;/n根据预设的匹配算法,利用所述特征信息,计算出所述多个指定数据库之间的匹配程度值;/n根据预设的分组方法,利用所述匹配程度值,将所述多个指定数据库分为多个分组,其中每个分组至少包括两个指定数据库,分组的总数量不大于所述多个指定数据库数量的一半;/n ...
【技术特征摘要】
1.一种同步数据通道构建方法,其特征在于,包括:
接收对多个指定数据库进行同步的同步请求,其中所述同步请求为对新增数据进行同步的请求;
判断所述多个指定数据库的数量是否大于预设的数量阈值;
若所述多个指定数据库的数量大于预设的数量阈值,则获取所述多个指定数据库的特征信息,所述特征信息至少包括指定数据库类型和指定数据库用途;
根据预设的匹配算法,利用所述特征信息,计算出所述多个指定数据库之间的匹配程度值;
根据预设的分组方法,利用所述匹配程度值,将所述多个指定数据库分为多个分组,其中每个分组至少包括两个指定数据库,分组的总数量不大于所述多个指定数据库数量的一半;
根据预设的指定数据库筛选方法,从每个分组中筛选出一个第一数据库;
在每两个第一数据库之间构建第一同步数据通道,以及在同一个分组内构建第二同步数据通道,其中所述第二同步数据通道连接同一个分组内的所有指定数据库,所述第一同步数据通道为短连接通道,所述第二同步数据通道为长连接通道。
2.根据权利要求1所述的同步数据通道构建方法,其特征在于,所述特征信息包括多个子信息,所述根据预设的匹配算法,利用所述特征信息,计算出所述多个指定数据库之间的匹配程度值的步骤,包括:
根据预设的信息划分方法,将所述多个子信息划分为第一子特征信息和第二子特征信息;
根据预设的向量映射方法,将所述第一子特征信息映射为第一向量A,以及将所述第二子特征信息映射为第二向量B;
根据公式:
计算出指定数据库与预设的标准数据库的参照匹配值P,其中A为所述第一向量,Ai为所述第一向量的第i个分向量,B为所述第二向量,Bi为所述第二向量的第i个分向量,C为所述标准数据库的第一子特征信息映射得到的向量,Ci为向量C的第i个分向量,D为所述标准数据库的第二子特征信息映射得到的向量,Di为向量D的第i个分向量,向量A和向量C均具有m个分向量,向量B和向量D均具有n个分向量;
根据公式:Pjk=|Pj-Pk|,计算出第j个指定数据库与第k个指定数据库的之间的匹配程度值Pjk,从而得到所述多个指定数据库之间的匹配程度值。
3.根据权利要求2所述的同步数据通道构建方法,其特征在于,所述根据预设的信息划分方法,将所述多个子信息划分为第一子特征信息和第二子特征信息的步骤,包括:
根据信息是否随时间发生变化的划分规则,从所述特征信息的多个子信息中划分为多个第一暂时子信息和多个第二暂时子信息,其中所述第一暂时子信息不随时间变化,所述第二暂时子信息随时间变化;
获取所述第二暂时子信息随时间的变化曲线,并根据预设的曲线相似计算方法,计算所述变化曲线与预设的标准曲线的相似度值,从而得到与所述多个第二暂时子信息分别对应的多个曲线相似度值;
判断所述多个曲线相似度值是否均小于预设的曲线相似阈值;
若所述曲线相似度值不均小于预设的曲线相似阈值,则将所述多个第二暂时子信息划分为第三暂时子信息和第四暂时子信息,其中所述第三暂时子信息对应的曲线相似度值不小于所述曲线相似阈值,所述第四暂时子信息对应的曲线相似度值小于所述曲线相似阈值;
将所述第一暂时子信息和所述第三暂时子信息记为第一子特征信息,以及将所述第四暂时子信息记为第二子特征信息。
4.根据权利要求3所述的同步数据通道构建方法,其特征在于,所述根据预设的曲线相似计算方法,计算所述变化曲线与预设的标准曲线的相似度值的步骤,包括:
根据公式:
M(t)=min(H(t),u),其中G(t)=F(t)-f(t),获取相似衡量函数M(t),其中F(t)为所述第二暂时子信息随时间的变化曲线对应的函数,f(t)为预设的标准曲线对应的函数,min指最小值函数,u为预设的大于0的预设参数,t为时间;
获取所述相似衡量函数M(t)的正常时间长度和异常时间长度,其中所述正...
【专利技术属性】
技术研发人员:王永亮,
申请(专利权)人:平安医疗健康管理股份有限公司,
类型:发明
国别省市:上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。