一种多模态协变量深度时空点过程模型建立方法技术

本发明专利技术公开了一种多模态协变量深度时空点过程模型建立方法，属于连续时空领域内事件发生模式建模技术领域，提出用深度核取代DMPP中的简单参数化核，深度核通过深度神经网络来对基础核的输入进行转换。深度核通过自动学习灵活的输入转换度量，显著增强了表达能力，从而超越了欧几里德距离和绝对距离等基本度量。这大大提高了DMPP的表达能力，从而形成DKMPP模型，为了解决DKMPP中的参数估计问题，采用了基于分数匹配的无积分方法，该方法通过匹配模型和数据的对数密度梯度来估计模型参数。分数匹配避免了强度积分计算，使得训练过程可处理。本发明专利技术采用上述方法，引入协变量信息可以增强对时空事件的建模和预测。增强对时空事件的建模和预测。增强对时空事件的建模和预测。

【技术实现步骤摘要】
一种多模态协变量深度时空点过程模型建立方法


[0001]本专利技术涉及连续时空领域内事件发生模式建模
，尤其是涉及一种多模态协变量深度时空点过程模型建立方法。

技术介绍

[0002]过程是广泛应用于连续时空领域内事件发生模式建模的统计工具。它们在各个领域引起了广泛关注，例如犯罪学、神经科学、金融工程和流行病学。点过程的核心任务是从事件序列中推导出强度函数，该函数表示在观测域内的任何给定时间或位置上的事件发生率，计算建模强度函数有两种常见方法：传统方法和基于协变量的方法。传统方法考虑的只是事件的信息，如时间和位置，而忽略了环境因素的影响。相反，基于协变量的方法将观测域内的协变量纳入考虑，分析了有关可能导致事件发生的因素。在实际应用中，事件发生率通常与环境因素相关，这使得基于协变量的方法对于事件预测更为有效。例如，在犯罪数据分析中，基于协变量的方法考虑了诸如收入水平、教育状况和公共安全等因素来估计犯罪强度。因此，基于协变量的点过程模型对于利用丰富环境信息进行事件预测和探索影响事件发生的各种因素均非常重要。
[0003]现有提出了深度混合点过程（Deep Mixture Point Processes，DMPP）将协变量信息纳入点过程模型中。DMPP将强度函数建模为参数化核的深度混合，表示附近表征点对目标事件的影响。混合权重由神经网络建模，使用表征点的协变量作为输入，避免了对数似然函数中难以处理的强度积分，并实现了简单的参数估计。但DMPP需要可积的参数化核，如径向基函数（RBF）或多项式核，这些核对于强度积分有闭式解。而对于更复杂、灵活的核（例如深度核），DMPP无法进行可处理的强度积分计算。
[0004]因此，提出了一种多模态协变量深度时空点过程模型建立方法。

技术实现思路

[0005]本专利技术的目的是提供一种多模态协变量深度时空点过程模型建立方法，提出用深度核（Deep Kernel）取代DMPP中的简单参数化核，深度核通过深度神经网络来对基础核的输入进行转换。深度核通过自动学习灵活的输入转换度量，显著增强了表达能力，从而超越了欧几里德距离和绝对距离等基本度量，采用基于分数匹配的无积分方法，该方法通过匹配模型和数据的对数密度梯度来估计模型参数，并避免了强度积分计算，使得训练过程可处理。
[0006]为实现上述目的，本专利技术提供了一种多模态协变量深度时空点过程模型建立方法，包括步骤如下：S1：改进深度时空协变量点过程模型DMPP，得到多模态协变量深度时空点过程模型DKMPP；S2：对多模态协变量深度时空点过程模型DKMPP采用分数匹配的方法，得到基于Fisher散度的损失函数；
S3：对基于Fisher散度的损失函数，进行分部积分，得到经验损失函数，经验损失函数的结果是基于分数匹配的估计器Score
‑
DKMPP；S4：使用去噪分数匹配方法对Score
‑
DKMPP进一步简化，简化后的结果得到基于分数匹配的估计器Score
‑
DKMPP+；S5：使用基于分数匹配的估计器Score
‑
DKMPP和基于分数匹配的估计器Score
‑
DKMPP+进行数据拟合和计算。
[0007]优选的，所述步骤S1中，改进的过程如下：一个由个事件组成的序列，其中表示第个事件在中的时间和位置，在时空区域上设置有个协变量：，其中是第个协变量；深度时空协变量点过程模型DMPP的公式（1）如下： ；上式中，表示位于区域中的一个点，是一个带有参数的核函数，是一个深度神经网络，输入协变量数据并输出非负的混合权重，其中表示网络的参数，表示在点处的协变量值；深度时空协变量点过程模型DMPP引入有限的表征点，得到离散版本的公式（2）如下： ；使用深度核替换深度时空协变量点过程模型DMPP中的简单核，得到多模态协变量深度时空点过程模型DKMPP的强度函数公式（3）如下： ；上式中，是深度核，是基础核参数，是深度神经网络的权重，是连接函数，连接函数选择softplus函数或指数函数或ReLU函数。
[0008]优选的，所述步骤S2中，得到基于Fisher散度的损失函数的具体过程如下：生成数据的真实过程具有密度函数，并设计一个具有密度函数的参数化模型，其中是待估计的模型参数，则对数似然函数的公式（4）如下：
ꢀ
；依据公式（4），基于协变量的时空DKMPP的一个基于Fisher散度的损失函数的公式如下： ；其中是向量中的任意元素，表示，是等价变量的数量，对于1维点过程，；对于2维点过程，；对于3维点过程，；模型参数的最优估计使用公式获得。
[0009]优选的，所述步骤S3中，得到经验损失函数的具体过程如下：通过使用分部积分法来对公式（5）进行优化，得到公式（6）： ；公式（6）的结果是基于分数匹配的估计器Score
‑
DKMPP，是第个序列上的等价变量的数量，是第个序列上的第个变量，是常数。
[0010]优选的，所述步骤S4中，使用去噪分数匹配方法对Score
‑
DKMPP进一步简化，具体过程如下：向序列中添加一段噪音，得到一个带噪声的序列，其分布公式（7）如下： ;使用噪声数据分布和模型分布之间的Fisher散度作为目标函数，目标函数的公式（8）如下： ；上式中，是噪声向量中的任意元素，即，最优的参数估计公式如下： ；为了方便计算，公式（8）中的Fisher散度进一步改写为公式（10）如下：
ꢀ
；公式（10）的结果是基于分数匹配的估计器Score
‑
DKMPP+，是第个噪声序列上的第个变量，是常数，从中取个干净和噪声的序列，对于高斯噪声，条件梯度项写成闭式解，公式如下： ；使用上式对公式（10）进行简化计算。
[0011]因此，本专利技术采用上述方法的一种多模态协变量深度时空点过程模型建立方法，具有以下好处：（1）在本专利技术中，DKMPP中使用深度核取代了DMPP中简单的可积核。深度核捕捉了表征点和事件点之间在时间和空间上的相似性，深度核与传统核相比，深度核具有更强的表达能力，并且可以通过基于神经网络的非线性转换灵活地学习度量的形式，增强了模型的表达能力，使其能够学习协变量因素对事件发生的复杂影响；（2）在本专利技术中，使用分数匹配估计器来克服DKMPP训练过程中的不可处理的强度积分问题，并将去噪分数匹配方法扩展到DKMPP中，显著提高了计算效率；（3）在本专利技术中，为DKMPP推导了去噪分数匹配方法，通过该方法进一步的简化了基于分数匹配的估计器Score
‑
DKMPP，在噪音足够小的情况下使用分数匹配估计器Score
‑
DKMPP+，避免了未知的真实数据分布、不可解的强度积分和繁琐的二阶导数计算。
[0012]下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。
附图说明
[0013]图1为本专利技术一种多模态协变量深度时空点过程模型建立方法的流程图。
具体实施方式
...

【技术保护点】

【技术特征摘要】
1.一种多模态协变量深度时空点过程模型建立方法，其特征在于：包括步骤如下：S1：改进深度时空协变量点过程模型DMPP，得到多模态协变量深度时空点过程模型DKMPP；S2：对多模态协变量深度时空点过程模型DKMPP采用分数匹配的方法，得到基于Fisher散度的损失函数；S3：对基于Fisher散度的损失函数，进行分部积分，得到经验损失函数，经验损失函数的结果是基于分数匹配的估计器Score
‑
DKMPP；S4：使用去噪分数匹配方法对Score
‑
DKMPP进一步简化，简化后的结果得到基于分数匹配的估计器Score
‑
DKMPP+；S5：使用基于分数匹配的估计器Score
‑
DKMPP和基于分数匹配的估计器Score
‑
DKMPP+进行数据拟合和计算。2.根据权利要求1所述的一种多模态协变量深度时空点过程模型建立方法，其特征在于：所述步骤S1中，改进的过程如下：一个由个事件组成的序列，其中表示第个事件在中的时间和位置，在时空区域上设置有个协变量：，其中是第个协变量；深度时空协变量点过程模型DMPP的公式（1）如下： ；上式中，表示位于区域中的一个点，是一个带有参数的核函数，是一个深度神经网络，输入协变量数据并输出非负的混合权重，其中表示网络的参数，表示在点处的协变量值；深度时空协变量点过程模型DMPP引入有限的表征点，得到离散版本的公式（2）如下： ；使用深度核替换深度时空协变量点过程模型DMPP中的简单核，得到多模态协变量深度时空点过程模型DKMPP的强度函数公式（3）如下： ；上式中，是深度核，是基础核参数，是深度神经网络的权重，是连接函数，连接函数选择softplus函数或指数函数或ReLU
函数。3.根据权利要求1所述的一种多...

【专利技术属性】
技术研发人员：周峰，
申请(专利权)人：中国人民大学，
类型：发明
国别省市：