延迟容忍度时间区间更新方法、装置、电子设备和介质制造方法及图纸

本公开的实施例公开了延迟容忍度时间区间更新方法、装置、电子设备和介质。该方法的一具体实施方式包括：响应于确定等待时长集合满足预设条件，根据等待时长集合生成目标概率密度函数，其中，等待时长集合中的等待时长是需要进行关联的目标流和源流中的数据的相互等待时长；基于目标概率密度函数，确定等待时长上限值和等待时长下限值；将延迟容忍度时间区间的上限值和下限值分别更新为等待时长上限值和等待时长下限值。该实施方式可以在确保绝大多数数据完成关联逻辑外，最大限度的节省缓存资源。存资源。存资源。

【技术实现步骤摘要】
延迟容忍度时间区间更新方法、装置、电子设备和介质


[0001]本公开的实施例涉及计算机
，具体涉及延迟容忍度时间区间更新方法、装置、电子设备和介质。

技术介绍

[0002]在基于时间间隔的两流数据关联的应用场景中，需要对两流数据中拥有相同主键值、且彼此之间时间间隔不超过指定时间间隔的数据进行关联后下发。目前，在基于时间间隔的两流数据关联中，通常采取的方式为：设置固定的延迟容忍度时间区间，直接丢弃未在延迟容忍度时间区间内匹配到关联数据的数据，缓存所有时间戳大于当前水位线加延迟容忍度时间区间的下限值的数据。
[0003]然而，当采用上述方式对两流数据关联时，经常会存在如下技术问题：
[0004]实际中，两个数据流中的数据的到来顺序及前后时间差无法确切估计，若延迟容忍度时间区间设置的过短，则会导致大量数据因未匹配成功而被丢弃，无法实现精准一次；若延迟容忍度时间区间设置的过长，将耗费大量内存缓存数据，浪费存储资源。

技术实现思路

[0005]本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0006]本公开的一些实施例提出了延迟容忍度时间区间更新方法、装置、电子设备和介质，来解决以上
技术介绍
部分提到的技术问题。
[0007]第一方面，本公开的一些实施例提供了一种延迟容忍度时间区间更新方法，该方法包括：响应于确定等待时长集合满足预设条件，根据上述等待时长集合生成目标概率密度函数，其中，上述等待时长集合中的等待时长是需要进行关联的目标流和源流中的数据的相互等待时长；基于上述目标概率密度函数，确定等待时长上限值和等待时长下限值；将延迟容忍度时间区间的上限值和下限值分别更新为上述等待时长上限值和上述等待时长下限值。
[0008]可选的，上述基于上述目标概率密度函数，确定等待时长上限值和等待时长下限值，包括：将上述目标概率密度函数的最大值对应的自变量的数值确定为分隔数值；确定上述目标概率密度函数在负无穷至上述分隔数值之间的区间内的最小值对应的自变量的数值，得到等待时长下限值；确定上述目标概率密度函数在上述分隔数值至正无穷之间的区间内的最小值对应的自变量的数值，得到等待时长上限值。
[0009]可选的，上述预设条件是上述等待时长集合中包括的等待时长的数目大于或者等于目标数目；以及在上述响应于确定等待时长集合满足预设条件，根据上述等待时长集合生成目标概率密度函数之后，上述方法还包括：清空上述等待时长集合。
[0010]可选的，上述方法还包括：响应于接收到来自于上述目标流或者上述源流中的、且
未匹配到关联数据的从表数据，确定上述从表数据的来源；响应于确定上述从表数据来自于上述源流，根据接收到上述从表数据的时间和上述延迟容忍度时间区间的下限值，确定第一等待时段；响应于在上述第一等待时段内从上述目标流中接收到与上述从表数据相匹配的关联数据，将接收到上述从表数据的时间与接收到上述关联数据的时间的时间差值确定为等待时长。
[0011]可选的，上述方法还包括：响应于在上述第一等待时段内未从上述目标流中接收到与上述从表数据相匹配的关联数据，选取上述延迟容忍度时间区间的下限值作为等待时长。
[0012]可选的，上述方法还包括：响应于确定上述从表数据来自于上述目标流，根据接收到上述从表数据的时间和上述延迟容忍度时间区间的上限值，确定第二等待时段；响应于在上述第二等待时段内从上述源流中接收到与上述从表数据相匹配的关联数据，将接收到上述关联数据的时间与接收到上述从表数据的时间的时间差值确定为等待时长。
[0013]可选的，上述方法还包括：响应于在上述第二等待时段内未从上述目标流中接收到与上述从表数据相匹配的关联数据，选取上述延迟容忍度时间区间的上限值作为等待时长。
[0014]可选的，上述方法还包括：将上述等待时长加入上述等待时长集合中。
[0015]可选的，上述方法还包括：响应于接收到来自于上述目标流或者上述源流中的主表数据，下发上述主表数据。
[0016]第二方面，本公开的一些实施例提供了一种延迟容忍度时间区间更新装置，装置包括：生成单元，被配置成响应于确定等待时长集合满足预设条件，根据上述等待时长集合生成目标概率密度函数，其中，上述等待时长集合中的等待时长是需要进行关联的目标流和源流中的数据的相互等待时长；确定单元，被配置成基于上述目标概率密度函数，确定等待时长上限值和等待时长下限值；更新单元，被配置成将延迟容忍度时间区间的上限值和下限值分别更新为上述等待时长上限值和上述等待时长下限值。
[0017]可选的，上述确定单元包括分隔数值确定子单元、第一最小值确定子单元和第二最小值确定子单元。其中，分隔数值确定子单元被配置成将上述目标概率密度函数的最大值对应的自变量的数值确定为分隔数值；第一最小值确定子单元被配置成确定上述目标概率密度函数在负无穷至上述分隔数值之间的区间内的最小值对应的自变量的数值，得到等待时长下限值；第二最小值确定子单元被配置成确定上述目标概率密度函数在上述分隔数值至正无穷之间的区间内的最小值对应的自变量的数值，得到等待时长上限值。
[0018]可选的，上述预设条件是上述等待时长集合中包括的等待时长的数目大于或者等于目标数目；以及在上述生成单元之后，上述装置还包括清空单元，被配置成清空上述等待时长集合。
[0019]可选的，上述装置还包括：来源确定单元、第一等待时段确定单元和第一等待时长确定单元。其中，来源确定单元被配置成响应于接收到来自于上述目标流或者上述源流中的、且未匹配到关联数据的从表数据，确定上述从表数据的来源；第一等待时段确定单元被配置成响应于确定上述从表数据来自于上述源流，根据接收到上述从表数据的时间和上述延迟容忍度时间区间的下限值，确定第一等待时段；第一等待时长确定单元被配置成响应于在上述第一等待时段内从上述目标流中接收到与上述从表数据相匹配的关联数据，将接
收到上述从表数据的时间与接收到上述关联数据的时间的时间差值确定为等待时长。
[0020]可选的，上述装置还包括第一选取单元，被配置成响应于在上述第一等待时段内未从上述目标流中接收到与上述从表数据相匹配的关联数据，选取上述延迟容忍度时间区间的下限值作为等待时长。
[0021]可选的，上述装置还包括第二等待时段确定单元和第二等待时长确定单元。其中，第二等待时段确定单元被配置成响应于确定上述从表数据来自于上述目标流，根据接收到上述从表数据的时间和上述延迟容忍度时间区间的上限值，确定第二等待时段；第二等待时长确定单元被配置成响应于在上述第二等待时段内从上述源流中接收到与上述从表数据相匹配的关联数据，将接收到上述关联数据的时间与接收到上述从表数据的时间的时间差值确定为等待时长。
[0022]可选的，上述装置还包括第二选取单元，被配置成响应于在上述第二等待时段内未从上述目标流中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种延迟容忍度时间区间更新方法，包括：响应于确定等待时长集合满足预设条件，根据所述等待时长集合生成目标概率密度函数，其中，所述等待时长集合中的等待时长是需要进行关联的目标流和源流中的数据的相互等待时长；基于所述目标概率密度函数，确定等待时长上限值和等待时长下限值；将延迟容忍度时间区间的上限值和下限值分别更新为所述等待时长上限值和所述等待时长下限值。2.根据权利要求1所述的方法，其中，所述基于所述目标概率密度函数，确定等待时长上限值和等待时长下限值，包括：将所述目标概率密度函数的最大值对应的自变量的数值确定为分隔数值；确定所述目标概率密度函数在负无穷至所述分隔数值之间的区间内的最小值对应的自变量的数值，得到等待时长下限值；确定所述目标概率密度函数在所述分隔数值至正无穷之间的区间内的最小值对应的自变量的数值，得到等待时长上限值。3.根据权利要求1所述的方法，其中，所述预设条件是所述等待时长集合中包括的等待时长的数目大于或者等于目标数目；以及在所述响应于确定等待时长集合满足预设条件，根据所述等待时长集合生成目标概率密度函数之后，所述方法还包括：清空所述等待时长集合。4.根据权利要求1所述的方法，其中，所述方法还包括：响应于接收到来自于所述目标流或者所述源流中的、且未匹配到关联数据的从表数据，确定所述从表数据的来源；响应于确定所述从表数据来自于所述源流，根据接收到所述从表数据的时间和所述延迟容忍度时间区间的下限值，确定第一等待时段；响应于在所述第一等待时段内从所述目标流中接收到与所述从表数据相匹配的关联数据，将接收到所述从表数据的时间与接收到所述关联数据的时间的时间差值确定为等待时长。5.根据权利要求4所述的方法，其中，所述方法还包括：响应于在所述第一等待时段内未从所述目标流中接收到与所述从表数据相匹配的关联数据，选取所述延迟容忍度时间区间的下限...

【专利技术属性】
技术研发人员：陈健璋，
申请(专利权)人：北京京东振世信息技术有限公司，
类型：发明
国别省市：