实时数据同步补偿方法、电子设备、存储介质及程序产品技术

技术编号:41663542 阅读:23 留言:0更新日期:2024-06-14 15:23
本发明专利技术实施例提供一种实时数据同步补偿方法、电子设备、存储介质及程序产品,该方法包括:获取在第一预测时间起点之前预设时间跨度的同步前的实时数据;将实时数据进行离散化处理得到第一数据频率时序序列;将第一数据频率时序序列输入到预先训练好的时序数据预测模型,输出第二数据频率时序序列;获取同步后的数据,并将同步后的数据进行离散化处理,得到第三数据频率时序序列;根据第二数据频率时序序列及第三数据频率时序序列计算预测误差,根据预测误差和误差阈值的比较结果判断是否需要进行数据补偿;响应于确定需要进行数据补偿,对预设数量的预设时间窗口的同步后数据进行数据补偿。本发明专利技术实施例提高了实时数据同步补偿的实时性和准确性。

【技术实现步骤摘要】

本专利技术实施例涉及计算机,具体涉及一种实时数据同步补偿方法、电子设备、存储介质及程序产品


技术介绍

1、不同数据源或不同系统之间实时数据同步场景中,如果遇到网络问题或服务稳定性等问题就可能出现数据不一致的情况,需要及时发现并补偿,否则可能影响同步数据的使用。

2、目前对于这种数据补偿通常的方案包括:

3、1、离线数据对比补偿:即通过大数据任务将2个表的全量数据进行对比和补偿,这种方式虽然补偿成功率高,但是延迟太久,通常是第二天才能发现问题。

4、2、数据双重确认:数据双重确认是a系统将数据同步到b系统之后,b系统再通过数据回调等方式,向a系统确认收到相关同步数据。这种方式只能解决a系统未收到b系统回调时的数据同步不一致问题,无法对数据同步的情况进行全面检测,从而导致数据补偿的准确度低。

5、3、数据抽样对比:即过去某个时间段随机抽样对比并补偿,这种方法准确性低。

6、因此,如何提供一种及时准确的实时数据同步补偿方法是亟待解决的问题。


技术实现思路

...

【技术保护点】

1.一种实时数据同步补偿方法,其特征在于,包括如下处理流程:

2.根据权利要求1所述的实时数据同步补偿方法,其特征在于,所述将所述同步前的实时数据进行离散化处理,包括:

3.根据权利要求1所述的实时数据同步补偿方法,其特征在于,在所述根据所述预测误差和误差阈值的比较结果判断是否需要进行数据补偿之后,所述方法还包括:

4.根据权利要求1所述的实时数据同步补偿方法,其特征在于,所述对所述预设数量的所述预设时间窗口的同步后数据进行数据补偿,包括:

5.根据权利要求1所述的实时数据同步补偿方法,其特征在于,所述方法还包括:>

6.根据权利...

【技术特征摘要】

1.一种实时数据同步补偿方法,其特征在于,包括如下处理流程:

2.根据权利要求1所述的实时数据同步补偿方法,其特征在于,所述将所述同步前的实时数据进行离散化处理,包括:

3.根据权利要求1所述的实时数据同步补偿方法,其特征在于,在所述根据所述预测误差和误差阈值的比较结果判断是否需要进行数据补偿之后,所述方法还包括:

4.根据权利要求1所述的实时数据同步补偿方法,其特征在于,所述对所述预设数量的所述预设时间窗口的同步后数据进行数据补偿,包括:

5.根据权利要求1所述的实时数据同步补偿方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的实时数据同步补偿方法,其特征在于,所述根据所述训练数据集分别对至少一个时序数据预测模型进行训练,包括:

7.根据权利要求5所述的实时数据同步补偿方法,其特征在于,所述根据所述测试数据集和所述异常数据集分别得到所述至少一个时序数据预测...

【专利技术属性】
技术研发人员:金朱伟
申请(专利权)人:贝壳找房北京科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1