本申请涉及计算机技术领域，尤其涉及一种多媒体数据的数据关联窗口的调节方法及装置。该方法在基于当前数据关联窗口大小，对当前观测周期内的第一多媒体数据和第二多媒体数据进行关联，得到当前观测周期的关联数据和相应关联指标的指标值后，获取指标值对应的当前关联指标状态；在当前关联指标状态不为预设期望状态时，获取当前关联指标状态下的目标调节动作，以对当前数据关联窗口的大小进行调节，得到调节后的数据关联窗口。该方法通过调节数据关联窗口的大小，实现在低背压的条件下对多媒体数据进行关联，降低了数据关联的失败率。降低了数据关联的失败率。降低了数据关联的失败率。
【技术实现步骤摘要】
多媒体数据的数据关联窗口的调节方法及装置
[0001]本申请涉及计算机
，尤其涉及一种多媒体数据的数据关联窗口的调节方法及装置。
技术介绍
[0002]目前，广告在日常生活中是非常普遍的，广告也作为一种重要的多媒体传播方式，可以用于吸引用户、商品推广等。为了向用户推荐该用户感兴趣的广告，一般将广告曝光数据流、广告点击数据流、广告转化数据流进行相应两数据流的实时关联，得到特征数据，以加载到算法模型进行训练得到推荐模型。目前，对于广告曝光数据流和广告点击数据流的实时流关联的实现方式可以包括：
[0003]方式一，将广告曝光数据流实时存在第三方存储器，如Redis和Hbase，广告点击数据流实时查询第三方存储器以预设的关联字段(JoinKey)进行关联；
[0004]方式二，基于数据关联窗口(或称“时间窗口”)的流关联，如window join和Interval Join。其中：
[0005]window join的流关联方式是将两条数据流存储在预设的数据关联窗口内进行流关联，且无法跨数据关联窗口进行流关联。例如，数据关联窗口大小为5s，0
‑
5s为第一个数据关联窗口，5s
‑
10s为第二个数据关联窗口，则0
‑
5s内的两条数据流存储在第一个数据关联窗口，5s
‑
10s的两条数据流存储在第二个数据关联窗口，且只允许相同数据关联窗口内的两条数据流进行关联。
[0006]Interval Join的流关联方式是使用时间戳作为关联条件，在预设的数据关联窗口内进行流关联。例如，数据关联窗口大小为5s，若一个广告曝光数据的时间是4.5s，相应的广告点击数据的时间是5.1s，则5.1s的广告点击数据需要查找5.1s点击时刻之前5s内的广告曝光数据，以查询到4.5s的广告曝光数据并进行关联。
[0007]然而，方式一中由于第三方存储器存在每秒查询率(Query Per Second，QPS)的限制，会导致流关联效率低，且由于该方式没有时间约束，故若广告点击数据流先于广告曝光数据流到达，会提高数据关联的失败率。
[0008]方式二虽然不存在每秒查询率的限制，但其数据关联窗口的大小是预先设置的，无法进行调节，数据关联窗口过小，会提高数据关联的失败率；数据关联窗口过大，会导致数据关联窗口存储的数据量过大，其中不需要被关联的无效数据量过大，会提高系统的数据背压。
技术实现思路
[0009]本申请实施例提供一种多媒体数据的数据关联窗口的调节方法及装置，解决了上述相关技术存在的问题，以实现在低背压的条件下对多媒体数据进行关联，降低数据关联的失败率。
[0010]本申请实施例提供的具体技术方案如下：
[0011]第一方面，提供了一种多媒体数据的数据关联窗口的调节方法，该方法可以包括：
[0012]基于当前数据关联窗口大小，对当前观测周期内的第一多媒体数据和第二多媒体数据进行关联，得到所述当前观测周期的关联数据和相应关联指标的指标值；所述关联指标包括数据关联的关联失败率和数据背压；
[0013]基于预先配置的关联指标的各指标值范围与各关联指标状态间的映射关系，获取所述指标值对应的目标关联指标状态，并将所述目标关联指标状态确定为当前关联指标状态；所述关联指标状态表征数据关联的关联失败状态和数据背压状态；
[0014]在所述当前关联指标状态不为预设期望状态时，基于存储的各关联指标状态下选择各候选调节动作的概率表征数据，获取所述当前关联指标状态下的目标调节动作；所述候选调节动作用于调节所述当前数据关联窗口的大小；
[0015]基于所述目标调节动作，对所述当前数据关联窗口的大小进行调节，得到调节后的数据关联窗口。
[0016]在一个可选的实现中，所述第二多媒体数据是经用户操作相应第一多媒体数据得到的。
[0017]在一个可选的实现中，所述方法还包括：
[0018]若所述当前关联指标状态为预设期望状态，则确定所述当前数据关联窗口为目标数据关联窗口。
[0019]在一个可选的实现中，所述方法还包括：
[0020]将所述调节后的数据关联窗口确定为新的当前数据关联窗口，将下一个观测周期确定为新的当前观测周期；
[0021]基于所述新的当前观测周期对应的新的当前关联指标状态，继续获取所述新的当前观测周期对应的目标调节动作。
[0022]在一个可选的实现中，基于存储的各关联指标状态下选择各候选调节动作的概率表征数据，获取所述当前关联指标状态下的目标调节动作，包括：
[0023]基于存储的各关联指标状态下选择各候选调节动作的概率表征数据，计算所述当前关联指标状态下所述各候选调节动作的选择概率值；
[0024]基于所述各候选调节动作的选择概率值，获取所述当前关联指标状态下的目标调节动作。
[0025]在一个可选的实现中，所述候选调节动作包括表示数据关联窗口增加预设步长大小的第一候选调节动作、表示保持数据关联窗口不变的第二候选调节动作和表示数据关联窗口减少所述预设步长大小的第三候选调节动作。
[0026]在一个可选的实现中，所述关联指标的各指标值范围与各关联指标状态间映射关系的配置过程包括：
[0027]按照预设的数据背压最小单位值，对所述数据背压的值域进行分段，得到所述数据背压的N个背压值范围；以及，
[0028]按照预设的关联失败率最小单位值，对所述关联失败率的值域进行分段，得到所述关联失败率的M个失败率范围；其中，所述N和所述M均为不为零的整数；
[0029]将所述数据背压的每个背压值范围分别与所述关联失败率的M个失败率范围进行组合，得到所述关联指标的N*M个指标值范围；
[0030]对所述N*M个指标值范围中的每个指标值范围进行关联指标状态配置，得到所述关联指标的各指标值范围与各关联指标状态间映射关系。
[0031]在一个可选的实现中，获取所述新的当前观测周期对应的目标调节动作之前，所述方法还包括：
[0032]按照预设的数据更新算法，基于所述新的当前观测周期对应的新的当前关联指标状态与所述各候选调节动作对应的概率表征数据中的最大概率表征数据、所述当前观测周期对应的当前关联指标状态下选择所述目标调节动作的概率表征数据和配置的回报函数，对所述存储的各关联指标状态下选择各候选调节动作的概率表征数据中所述当前观测周期内的当前关联指标状态与所述目标调节动作对应的概率表征数据进行更新，得到新的各关联指标状态下选择各候选调节动作的概率表征数据。
[0033]在一个可选的实现中，所述回报函数的计算公式表示为：
[0034]r
t
＝{
‑
p*BP
t+1
‑
(1
‑
p)*JF
t+1
}；
[0035]其中，t为所述当前观测周期，t+1为所述新的当前观测周期，r
t...
【技术保护点】
【技术特征摘要】
1.一种多媒体数据的数据关联窗口的调节方法，其特征在于，所述方法包括：基于当前数据关联窗口大小，对当前观测周期内的第一多媒体数据和第二多媒体数据进行关联，得到所述当前观测周期的关联数据和相应关联指标的指标值；所述关联指标包括数据关联的关联失败率和数据背压；基于预先配置的关联指标的各指标值范围与各关联指标状态间的映射关系，获取所述指标值对应的目标关联指标状态，并将所述目标关联指标状态确定为当前关联指标状态；所述关联指标状态表征数据关联的关联失败状态和数据背压状态；在所述当前关联指标状态不为预设期望状态时，基于存储的各关联指标状态下选择各候选调节动作的概率表征数据，获取所述当前关联指标状态下的目标调节动作；所述候选调节动作用于调节所述当前数据关联窗口的大小；基于所述目标调节动作，对所述当前数据关联窗口的大小进行调节，得到调节后的数据关联窗口。2.如权利要求1所述的方法，其特征在于，所述第二多媒体数据是经用户操作相应第一多媒体数据得到的。3.如权利要求1所述的方法，其特征在于，所述方法还包括：若所述当前关联指标状态为预设期望状态，则确定所述当前数据关联窗口为目标数据关联窗口。4.如权利要求1所述的方法，其特征在于，得到调节后的数据关联窗口之后，所述方法还包括：将所述调节后的数据关联窗口确定为新的当前数据关联窗口，将下一个观测周期确定为新的当前观测周期；基于所述新的当前观测周期对应的新的当前关联指标状态，继续获取所述新的当前观测周期对应的目标调节动作。5.如权利要求1所述的方法，其特征在于，基于存储的各关联指标状态下选择各候选调节动作的概率表征数据，获取所述当前关联指标状态下的目标调节动作，包括：基于存储的各关联指标状态下选择各候选调节动作的概率表征数据，计算所述当前关联指标状态下所述各候选调节动作的选择概率值；基于所述各候选调节动作的选择概率值，获取所述当前关联指标状态下的目标调节动作。6.如权利要求1所述的方法，其特征在于，所述候选调节动作包括表示数据关联窗口增加预设步长大小的第一候选调节动作、表示保持数据关联窗口不变的第二候选调节动作和表示数据关联窗口减少所述预设步长大小的第三候选调节动作。7.如权利要求1所述的方法，其特征在于，所述关联指标的各指标值范围与各关联指标状态间映射关系的配置过程包括：按照预设的数据背压最小单位值，对所述数据背压的值域进行分段，得到所述数据背压的N个背压值范围；以及，按照预设的关联失败率最小单位值，对所述关联失败率的值域进行分段，得到所述关联失败率的M个失败率范围；其中，所述N和所述M均为不为零的整数；将所述数据背压的每个背压值范围分别与所述关联失败率的M个失败率范围进行组...
【专利技术属性】
技术研发人员：张家强，高硕硕，蒋能学，郑磊，朱杰，
申请(专利权)人：杭州网易云音乐科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。