一种在群组上的隐外生变量发现方法技术

本发明专利技术公开一种在群组上的隐外生变量发现方法，适用于配送场景的预测，根据系统记录获取所需的内生变量数据集，并获得辅助变量；根据内生变量、辅助变量和隐外生变量情况构建网络；在拥有相同隐外生变量且独立采样的同质群组上，进行隐外生变量发现；获得隐外生变量结果和转移模型。本发明专利技术解决了配送场景中存在不可观测的隐外生变量的问题，该问题会造成配送场景无法准确进行转移预测，通过对隐外生变量的发现，填补缺失数据，我们可以更加准确地模拟配送场景，提高模型的预测能力，进而提升用户的配送体验。用户的配送体验。用户的配送体验。

【技术实现步骤摘要】
一种在群组上的隐外生变量发现方法


[0001]本专利技术涉及一种在群组上的隐外生变量发现方法，适用于配送场景的预测，便于发现配送场景中的隐外生变量，使配送分配合理准确。

技术介绍

[0002]在配送场景中，我们常常会遇到外生变量不可观测的情况，其中外生变量是指不受模型内其他变量影响的变量。这些变量的值由模型外部的因素决定，而且不会受到其他变量的影响。外生变量的变化会影响内生变量，但是内生变量不能影响外生变量。如果我们希望预测下一时刻的接单率。此时订单的接单率、订单的考核时间等因素都是内生变量，它们会随着订单加价不同而改变，而当时的天气、对手企业的出价策略等因素则是外生变量，它们是客观存在的，不会受到我们的行为影响。
[0003]在真实的配送场景中，天气情况等外生变量对接单率有巨大影响，如果不知道天气情况而只知道订单的加价、考核时间等信息，则无法准确估计接单率，此时配送场景中的转移模型预测会变得困难，如定价问题中，难以判断骑手配送时间长是定价存在问题还是天气恶劣导致的，同时也无法预测不同天气的送达时间情况，这会严重影响加价带来的收益的稳定性，难以对订单进行合理的定价。因此，对外生变量的获取是重要的，它们可以帮助识别内生变量之间的真实因果关系。如果忽略外生变量的影响，则很难对我们想要的内生变量进行预测。
[0004]隐外生变量是指外生变量数据不可获得，可能是由于数据没有被记录或无法被观测，比如对手企业的加价策略等信息是我们无法获取的，天气等需要的信息没有被考虑到或过去没有记录等问题也常常存在。对于这种问题，过去常用的处理方式是只保留完整的数据来推测出价的合理性并改进出价策略，这种策略不但使可用数据大量下降，还可能造成错误的估计客户体验差的原因，影响客户体验。

技术实现思路

[0005]专利技术目的：针对现有技术中存在的问题与不足，本专利技术提供一种在群组上的隐外生变量发现方法。使用因果发现领域算法进行隐外生变量发现，对配送场景数据中缺失的外生变量进行推测，避免外生变量缺失对配送场景的预测等问题造成的影响。
[0006]技术方案：一种在群组上的隐外生变量发现方法，包括以下步骤：
[0007]S11，根据系统记录获取所需的内生变量数据集，并获得辅助变量；所述系统指任何可以获得相关配送数据的系统；
[0008]S12，根据内生变量、辅助变量和隐外生变量情况构建网络；
[0009]S13，在拥有相同隐外生变量且独立采样的同质群组上，进行隐外生变量发现；
[0010]S14，获得隐外生变量结果和转移模型。
[0011]所述的内生变量包括状态变量和预测变量；所述辅助变量为，所述隐外生变量为，其中N为数据集中数据量，d
x
,d
y
,d
u
,d
z
分别为状
态变量维度、预测变量维度、辅助变量维度、隐外生变量维度定义；其中，状态变量包括当前时刻订单的考核时间和订单接单率及预先给出的额外加价和该加价骑手需要达到的考核时间；预测变量为当前出价到下一次出价时间段内接单概率；辅助变量为业务划分的区域ID；隐外生变量为天气状况；假设相同区域上的所有订单拥有相同的隐外生变量Z；辅助变量是可观测的，它是除内生变量外的一个新增的变量。
[0012]构建的网络包括编码器p
θ
(z|y,u；x)、解码器p
f
(y|z；x)及p
λ
(z|u；x)，其中编码器用于根据已由订单数据推测当时的隐外生变量，解码器用于根据当时的隐外生变量和状态变量预测接单概率，其他网络仅用于训练；具体的，编码器输入状态变量x、预测变量y和辅助变量u并输出隐外生变量后验分布其中μ
θ
,分别为预测隐外生变量高斯分布的均值和方差。同理，解码器输入隐外生变量z,和状态变量x输出预测变量的后验分布其中μ
f
,分别为预测变量后验高斯分布的均值和方差。p
λ
网络输入u,x输出隐外生变量的后验分布，其中μ
λ
,分别为对应后验高斯分布的均值和方差。
[0013]所述步骤S13中在拥有相同隐外生变量且独立采样的同质群组上进行隐外生变量发现的具体步骤如下：
[0014]S131，循环计数器t置为0；
[0015]S132，从步骤S11收集到的数据集中随机采样n个数据其中x
i
为第i个数据对应的状态变量，y
i
为第i个数据对应的预测变量，u
i
为第i个数据对应的辅助变量；可以认为相同区域上的所有数是一个同质群组，因为相同区域上的订单对应相同的天气，即相同区域上的订单拥有相同的隐变量；使用对同质群组统一预测隐外生变量的方法获得每个数据对应隐外生变量z
i
；
[0016]S133，根据p
λ
(z|u；x)计算每个数据上对应隐外生变量后验分布的均值和方差通过采样得到的隐外生变量及状态数据使用解码器可以获得预测变量的后验分布对应的均值和方差
[0017]S134，根据高斯分布概率密度函数可以计算每个数据对应概率密度P(z
i
|y
i
,u
i
；x
i
),P(z
i
|u
i
；x
i
),P(y
i
|z
i
；x
i
),i＝1,
…
,N，其中z
i
为步骤S132生成的隐外生变量；
[0018]S135，在独立同分布假设下，即相同区域上的数据是独立采样的，可得相同区域上的群组对应的状态变量为预测变量为根据损失函数L＝
‑
(lnP(Y,u|z；X)
‑
lnP(z|u,Y；X))计算群组上的概率密度，并对网络进行梯度更新；
[0019]S136，循环计数器t＝t+1，如果循环计数器达到规定循环次数T，则结束循环，否则回到步骤S132。
[0020]其中，所述步骤S132中对同质群组统一预测隐外生变量，获得每个数据对应隐外生变量方法为，相同区域u上的数据为一个群组，获得K个集合
u
k
为第个k区域对应的辅助变量值，N
k
为第k个区域上的数据量，K为区域总数；对每个区域根据编码器获得所有数据的隐外生变量的后验分布的均值和方差通过公式(j为该分组内所有数据索引)可获得每个区域上统一的隐外生变量对应的高斯分布参数，并在该分布上采样获得区域上每个数据对应的隐外生变量z
j
，同样对所有区域计算对应隐外生变量。
[0021]所述步骤S135中计算数据在群组上的概率密度方法为，对相同区域上的群组有P(z|Y,u；X)＝∏
i
P(z|y
i
,u；x
i
),P(z,Y|u；X)＝∏...

【技术保护点】

【技术特征摘要】
1.一种在群组上的隐外生变量发现方法，其特征在于，包括以下步骤：S11，根据系统记录获取所需的内生变量数据集，并获得辅助变量；S12，根据内生变量、辅助变量和隐外生变量情况构建网络；S13，在拥有相同隐外生变量且独立采样的同质群组上，进行隐外生变量发现；S14，获得隐外生变量结果和转移模型。2.根据权利要求1所述的在群组上的隐外生变量发现方法，其特征在于，所述的内生变量包括状态变量和预测变量所述辅助变量为所述隐外生变量为其中N为数据集中数据量，d
x
,d
y
,d
u
,d
z
分别为状态变量维度、预测变量维度、辅助变量维度、隐外生变量维度定义；其中，状态变量包括当前时刻订单的考核时间和订单接单率及预先给出的额外加价和该加价骑手需要达到的考核时间；预测变量为当前出价到下一次出价时间段内接单概率；辅助变量为业务划分的区域ID；隐外生变量为天气状况；假设相同区域上的所有订单拥有相同的隐外生变量Z；辅助变量是可观测的，它是除内生变量外的一个新增的变量。3.根据权利要求1所述的在群组上的隐外生变量发现方法，其特征在于，构建的网络包括编码器p
θ
(z|y,u；x)、解码器p
f
(y|z；x)及p
λ
(z|u；x)，其中编码器用于根据已由订单数据推测当时的隐外生变量，解码器用于根据当时的隐外生变量和状态变量预测接单概率，其他网络仅用于训练；编码器输入状态变量x、预测变量y和辅助变量u并输出隐外生变量后验分布其中μ
θ
,分别为预测隐外生变量高斯分布的均值和方差。同理，解码器输入隐外生变量z,和状态变量x输出预测变量的后验分布其中μ
f
,分别为预测变量后验高斯分布的均值和方差；p
λ
网络输入u,x输出隐外生变量的后验分布其中μ
λ
,分别为对应后验高斯分布的均值和方差。4.根据权利要求1所述的在群组上的隐外生变量发现方法，其特征在于，所述步骤S13中在拥有相同隐外生变量且独立采样的同质群组上进行隐外生变量发现的具体步骤如下：S131，循环计数器t置为0；S132，从步骤S11收集到的数据集中随机采样n个数据其中x
i
为第i个数据对应的状态变量，y
i
为第i个数据对应的预测变量，u
i
为第i个数据对应的辅助变量；使用对同质群组统一预测隐外生变量的方法获得每个数据对应隐外生变量z
i
；S133，根据p
λ
(z|u；x)计算每个数据上对应隐外生变量后验分布的均值和方差通过采样得到的隐外生变量...

【专利技术属性】
技术研发人员：俞扬，周志华，祁欣桐，陈雄辉，周琳钧，黄方胜，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：