System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种异构系统数据同步过程死循环检测方法、系统及介质技术方案_技高网

一种异构系统数据同步过程死循环检测方法、系统及介质技术方案

技术编号:40577801 阅读:6 留言:0更新日期:2024-03-06 17:19
本发明专利技术涉及一种异构系统数据同步过程死循环检测方法、系统及介质,方法包括:监测异构系统之间的同步数据,并以时间轴的顺序记录发生同步的数据信息;将同步的数据信息的转化为特征向量,并基于同步规则记录发生同步的数据信息在单位时间窗口内的变化字段;对若干个连续单位时间窗口的发生同步的数据信息的变化字段周期性检测,以获取变化字段的出现的频次,若变化字段的变化频次大于频次阈值,则发送死循环告警信息或中断数据同步。能够实现零侵入原异构流程系统,可以在数据同步发生前做静态检测,通过分析配置和脚本。可以在数据同步过程中做动态检测,定位出引起循环的字段,能够智能区分人工的正常修改和其它原因引起的异常修改。

【技术实现步骤摘要】

本专利技术涉及信息管理领域,特别是涉及一种异构系统数据同步过程死循环检测方法、系统及介质


技术介绍

1、体量较大的企业在生产、销售过程中往往需要使用到多套软件系统,不同系统间必然存在数据的同步,数据同步可以是多个对象,数据流向也可以是双向的。

2、当整个数据同步流程变得复杂时,就容易出现环状循环数据同步,这除了浪费多个系统的资源,还会由于资源的限制,对其他正常的数据同步过程造成影响。并且,在实际生产环境中,这种情况往往难以发现。

3、在多个系统之间进行数据同步时,当数据同步的过程比较复杂时,容易出现的无法自终止的环状链路,即死循环。这种数据同步死循环类似于单一计算机程序中的死循环,如果不发现可能严重耗费各个系统的计算机cpu等资源,影响其他正常业务进行。并且,这种数据同步死循环可能由于数据在各个系统间流转,且过程复杂,一次循环耗时长,更不容易察觉。


技术实现思路

1、基于此,有必要针对多个系统中数据同步时发生死循环的状况无法及时发现,导致耗费各个系统的资源的问题,提供一种异构系统数据同步过程死循环检测方法、系统及介质。

2、一种异构系统数据同步过程死循环检测方法,包括:

3、监测异构系统之间的同步数据,并以时间轴的顺序记录发生同步的数据信息;

4、将所述发生同步的数据信息转化为特征向量,并基于同步规则记录所述发生同步的数据信息在单位时间窗口内的变化字段;

5、对若干个连续所述单位时间窗口的所述发生同步的数据信息的变化字段周期性检测,以获取所述变化字段的出现频次,若所述变化字段的变化频次大于频次阈值,则发送死循环告警信息或中断数据同步。

6、在其中一个优选实施方式中,将所述同步的数据信息的转化为特征向量,并基于同步规则记录所述发生同步的数据信息在单位时间窗口内的变化字段,包括:

7、对所述发生同步的数据信息进行死循环预筛选。

8、在其中一个优选实施方式中,对所述发生同步的数据信息进行死循环预筛选,包括:

9、记录发生同步的数据信息在若干个时间窗口内是否均发生变化,若同一数据信息在若干个时间窗口内均发生数据同步,将发生同步的数据信息转化为特征向量;

10、基于同步规则记录所述发生同步的数据信息在单位时间窗口内的变化字段。

11、在其中一个优选实施方式中,所述记录发生同步的数据信息在若干个时间窗口内是否均发生变化,若同一数据信息在若干个时间窗口内均发生数据同步,将发生同步的数据信息转化为特征向量,包括:

12、

13、上述t为每个时间窗口对应的时段,为对应的数据,为数据在对应的时间窗口是否发生变化的判断结果。

14、在其中一个优选实施方式中,所述对若干个连续所述单位时间窗口的所述发生同步的数据信息的变化字段周期性检测,以获取所述变化字段的出现的频次,若所述变化字段的变化频次大于频次阈值,则发送死循环告警信息或中断数据同步,包括:

15、在预设周期内顺序记录所述发生同步的数据信息的所包含的对应字段;并统计所述数据信息所包含的字段在预设周期内所包含的多个时间窗口内发生变化频次;

16、若所述数据信息内的同一字段,在预设周期内的多个时间窗口发生变化的频次大于频次阈值,则发送死循环告警信息或中断数据同步。

17、在其中一个优选实施方式中,所述在预设周期内顺序记录所述发生同步的数据信息的所包含的对应字段;并统计所述数据信息所包含的字段在预设周期内所包含的多个时间窗口内发生变化频次,包括:

18、顺序记录发生同步的数据信息所包含的对应字段,通过向量值函数记录每个字段发生变化,并得到对应字段的判断结果:

19、

20、其中,代表发生同步的数据信息,代表时间窗口,代表发生同步的数据信息的第个字段,代表数据信息,在对应时间窗口中,第个字段是否发生变化的判断结果;

21、基于所述判断结果,提取预设周期内所有发生变化的字段对应的时间窗口,以得到所有字段发生变化的时间窗口的间隔值及变化数量;

22、基于所述间隔值及变化数量,通过自相关系数acf计算,获取变化字段的自相关性值;

23、将所述自相关性值与自相关性阈值比较,当所述自相关性值超出所述自相关性阈值范围,则发送死循环告警信息或中断数据同步。

24、在其中一个优选实施方式中,所述通过自相关系数acf计算,获取变化字段的自相关性值,包括:

25、判断所述变化字段在预设周期内的变化的间隔次数l,若存在间隔次数l,令:

26、

27、所述变化字段的自相关性值满足:

28、

29、为时间窗口数量。

30、在其中一个优选实施方式中,将所述自相关性值与自相关性阈值比较,当所述自相关性值超出所述自相关性阈值范围,则发送死循环告警信息或中断数据同步,包括:

31、发送死循环告警信息或中断数据同步的同时,记录同步数据及对应字段以及所述间隔次数l。

32、本实施方式中,上述方法利用修改数据可以看作为随机事件,而对于发生死循环数据同步,由于每一次循环都会是相同的处理逻辑,会有周期性特点,且每个周期的数据修改会是相同的字段。对同步过程选取可以获取到变化字段的阶段,先检测是否存在同一数据重复同步,再通过将重复同步的字段信息转换为特征向量上报到监控模块,针对一段时间内的字段特征向量,进行周期性检测,找出是否存在周期性的向量部分。能够实现零侵入原异构流程系统,并且可以在数据同步发生前做静态检测,通过分析配置和脚本。再者是可以在数据同步过程中做动态检测,精确定位出引起循环的字段,最后能够智能区分人工的正常修改和其它原因引起的异常修改。

33、一种异构系统数据同步过程死循环检测系统,包括:

34、数据同步监测模块,用于监测异构系统之间的同步数据,并以时间轴的顺序记录发生同步的数据信息;

35、同步数据记录模块,将所述发生同步的数据信息转化为特征向量,并基于同步规则记录所述发生同步的数据信息在单位时间窗口内的变化字段;

36、死循环判断模块,用以对若干个连续所述单位时间窗口的所述发生同步的数据信息的变化字段周期性检测,以获取所述变化字段的出现频次,若所述变化字段的变化频次大于频次阈值,则发送死循环告警信息或中断数据同步。

37、本实施方式中,上述系统利用修改数据可以看作为随机事件,而对于发生死循环数据同步,由于每一次循环都会是相同的处理逻辑,会有周期性特点,且每个周期的数据修改会是相同的字段。对同步过程选取可以获取到变化字段的阶段,先检测是否存在同一数据重复同步,再通过将重复同步的字段信息转换为特征向量上报到监控模块,针对一段时间内的字段特征向量,进行周期性检测,找出是否存在周期性的向量部分。能够实现零侵入原异构流程系统,并且可以在数据同步发生前做静态检测,通过分析配置和脚本本文档来自技高网...

【技术保护点】

1.一种异构系统数据同步过程死循环检测方法,其特征在于,包括:

2.根据权利要求1所述的一种异构系统数据同步过程死循环检测方法,其特征在于,所述将所述发生同步的数据信息转化为特征向量,并基于同步规则记录所述发生同步的数据信息在单位时间窗口内的变化字段,包括:

3.根据权利要求2所述的一种异构系统数据同步过程死循环检测方法,其特征在于,所述对所述发生同步的数据信息进行死循环预筛选,包括:

4.根据权利要求3所述的一种异构系统数据同步过程死循环检测方法,其特征在于,所述记录发生同步的数据信息在若干个时间窗口内是否均发生变化,若同一数据信息在若干个时间窗口内均发生数据同步,将发生同步的数据信息转化为特征向量,包括:

5.根据权利要求1所述的一种异构系统数据同步过程死循环检测方法,其特征在于,所述对若干个连续所述单位时间窗口的所述发生同步的数据信息的变化字段周期性检测,以获取所述变化字段的出现频次,若所述变化字段的变化频次大于频次阈值,则发送死循环告警信息或中断数据同步,包括:

6.根据权利要求5所述的一种异构系统数据同步过程死循环检测方法,其特征在于,所述在预设周期内顺序记录所述发生同步的数据信息的所包含的对应字段;并统计所述数据信息所包含的字段在预设周期内所包含的多个时间窗口内发生变化频次,包括:

7.根据权利要求6所述的一种异构系统数据同步过程死循环检测方法,其特征在于,所述通过自相关系数ACF计算,获取变化字段的自相关性值,包括:

8.根据权利要求7所述的一种异构系统数据同步过程死循环检测方法,其特征在于,所述将所述自相关性值与自相关性阈值比较,当所述自相关性值超出所述自相关性阈值范围,则发送死循环告警信息或中断数据同步,包括:

9.一种异构系统数据同步过程死循环检测系统,其特征在于,包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,实现权利要求1至8中任一项所述的一种异构系统数据同步过程死循环检测方法。

...

【技术特征摘要】

1.一种异构系统数据同步过程死循环检测方法,其特征在于,包括:

2.根据权利要求1所述的一种异构系统数据同步过程死循环检测方法,其特征在于,所述将所述发生同步的数据信息转化为特征向量,并基于同步规则记录所述发生同步的数据信息在单位时间窗口内的变化字段,包括:

3.根据权利要求2所述的一种异构系统数据同步过程死循环检测方法,其特征在于,所述对所述发生同步的数据信息进行死循环预筛选,包括:

4.根据权利要求3所述的一种异构系统数据同步过程死循环检测方法,其特征在于,所述记录发生同步的数据信息在若干个时间窗口内是否均发生变化,若同一数据信息在若干个时间窗口内均发生数据同步,将发生同步的数据信息转化为特征向量,包括:

5.根据权利要求1所述的一种异构系统数据同步过程死循环检测方法,其特征在于,所述对若干个连续所述单位时间窗口的所述发生同步的数据信息的变化字段周期性检测,以获取所述变化字段的出现频次,若所述变化字段的变化频次大于频次阈值,则发送死循环告警信...

【专利技术属性】
技术研发人员:谢嘉裕冯院华
申请(专利权)人:深圳市纷享互联科技有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1