一种基于DNN-LSTM融合模型的特定行为类型预测方法及系统技术方案

本发明专利技术公开了一种基于DNN

【技术实现步骤摘要】
一种基于DNN
‑
LSTM融合模型的特定行为类型预测方法及系统


[0001]本专利技术涉及特定行为预测
，具体涉及一种基于DNN
‑
LSTM融合模型的特定行为类型预测方法及系统。

技术介绍

[0002]行为预测工作在工作人员打击特定行为过程中发挥着无可替代的作用，其中行为预测的前瞻性、先导性、引领性是工作人员在工作中取得战略主动地位的关键。而特定行为预测预测是工作人员行为预测工作中的重要内容之一，精准的特定行为预测预测能够为工作人员特定行为防控和特定行为事件破解提供高价值的参考。因此，如何从错综复杂的特定行为活动中，利用更加智能的技术对特定行为数据之间以及背后的信息进行分析挖掘，进而得到准确、及时的特定行为预测是提升工作能力的关键有效途径。
[0003]现有的技术可以进行特定行为态势预测、特定行为类型的发生概率预测、特定人群的特定行为发生率预测、特定人员社会活动位置预测。然而，在特定行为类型预测这一方向的技术相对落后，预测方法非常匮乏、所实现的预测模型的预测精准度也相对较低，无法满足工作人员实战需求。在一个城市里，时空信息与特定行为类型之间通常存在着关联关系，特定行为事件在时间和空间上分布也具有一定的潜在规律。但是，发掘这些关联关系和分布规律并用于特定行为事件类型的预测是一项极富挑战性的研究任务。具体的，开展这一研究任务首先需要大量的特定行为数据积累，然后还需要寻找高效的方法来挖掘这些隐含的关联关系和分布规律。因此，目前亟需一种基于 DNN
‑
LSTM融合模型的特定行为类型预测技术，发掘这些关联关系和分布规律并实现特定行为事件类型的预测。

技术实现思路

[0004]针对现有的特定行为类型预测模型没有充分挖掘时间属性和特定行为类型之间深层次关系的问题，本专利技术构建了时间
‑
特定行为类型计数向量化特征，设计了基于密集型人工神经网络(DNN)和长短记忆人工神经网络 (LSTM)相融合的特定行为类型预测模型。本专利技术可以使用地区过去的特定行为数据训练特定行为类型预测模型，用于特定行为类型的预测。
[0005]为实现上述目的，本专利技术采用的技术方案如下：
[0006]一种基于DNN
‑
LSTM融合模型的特定行为类型预测方法，所述方法包括：
[0007]S100、建立时间、特定行为类型和特定行为发生率之间的关系，生成时间
‑
特定行为类型计数向量；
[0008]S200、基于所述时间
‑
特定行为类型计数向量，分别建立LSTM子模型和DNN子模型，分别在训练集上进行训练之后，将输出结果共同输入一个新的神经网络中，建立并训练DNN
‑
LSTM融合模型，其中，所述LSTM子模型、所述DNN子模型和所述DNN
‑
LSTM融合模型的输出结果个数为特定行为类型的数量；
[0009]S300、基于所述DNN
‑
LSTM融合模型，预测未来的特定行为类型。
[0010]进一步，如上所述的方法，S100包括：
[0011]S101、通过下式计算每个时间段的各类特定行为的总特定行为发生率：
[0012][0013]其中，P
t
为时间段t的各类特定行为的总特定行为发生率，N
t
为时间段t 内每个时间点发生的所有特定行为事件数量，N为所有时间点发生的特定行为事件总数量；
[0014]S102、通过下式计算每个时间点的各类特定行为的特定行为发生率：
[0015][0016]其中，为时间段t的第i(i∈C)类特定行为的特定行为发生率，是时间段t发生第i类特定行为事件的数量，C为特定行为类型的数量，i，C 为正整数；
[0017]S103、通过下式对时间段t的总特定行为发生率P
t
和各类特定行为的特定行为发生率进行Logit变换，得到特定行为时间、特定行为类型和特定行为发生率之间的关系；
[0018]Logit(P
t
)＝ln(P
t
)
‑
ln(1
‑
P
t
)
ꢀꢀꢀ
(3)
[0019][0020]S104、基于上述关系，生成以下的时间
‑
特定行为类型计数向量：
[0021][0022]其中，上述向量的维度为
C+1
。
[0023]进一步，如上所述的方法，S200中，建立DNN子模型，包括：
[0024]建立一个三层的密集型神经网络，每层神经元个数分别是128、64、C，其中C为特定行为类型的数量，使用BN函数作为标准化函数，第一层和第二层的神经网络选择PReLU作为激活函数，输出层的激活函数为Softmax，损失函数选择多分类交叉熵。
[0025]进一步，如上所述的方法，S200中，建立LSTM子模型，包括：
[0026]建立一个四层的循环神经网络，其中隐藏层中每层LSTM的神经元个数分别是128、64和64，在每层都增加Dropout操作，使用BN函数作为标准化函数，输出层的激活函数为Softmax，损失函数选择多分类交叉熵，优化器选择RMSprop。
[0027]进一步，如上所述的方法，S200中，建立DNN
‑
LSTM融合模型，包括：
[0028]建立一个两层的新神经网络，隐藏层有128个神经元，它将所述DNN 子模型和所述LSTM子模型各自输出的C个概率值作为输入，并通过标准化函数BN和激活函数PReLU进行输出，最终输出层再通过激活函数Softmax 生成C种特定行为类型的概率分布。
[0029]进一步，如上所述的方法，S200中，训练DNN
‑
LSTM融合模型，包括：
[0030]将所述训练集的样本按照时间排序，选取所述训练集的前20％用于特定行为类型预测模型的训练，在所述训练集的后80％上进行迁移学习和预测，其中，将所述训练集的后80％的样本分割为N
Split
个样本块，每个样本块中的样本数为N
Block
。
[0031]进一步，如上所述的方法，在所述训练集的后80％上进行迁移学习和预测，包括：
[0032]用训练好的模型对第N
20％
+N
Block
个样本进行预测，其中N
20％
为所述训练集的前20％的样本，将第N
20％
+1到N
20％
+N
Block
个样本纳入训练集，在已训练的模型上进行迁移学习，用新学习的模型对第N
20％
+2
×
N
Block
个样本进行预测，如此依次对后续样本进行学习和预测，直
到最后一个样本块，最后，一共进行了N
Split<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于DNN
‑
LSTM融合模型的特定行为类型预测方法，其特征在于，所述方法包括：S100、建立时间、特定行为类型和特定行为发生率之间的关系，生成时间
‑
特定行为类型计数向量；S200、基于所述时间
‑
特定行为类型计数向量，分别建立LSTM子模型和DNN子模型，分别在训练集上进行训练之后，将输出结果共同输入一个新的神经网络中，建立并训练DNN
‑
LSTM融合模型，其中，所述LSTM子模型、所述DNN子模型和所述DNN
‑
LSTM融合模型的输出结果个数为特定行为类型的数量；S300、基于所述DNN
‑
LSTM融合模型，预测未来的特定行为类型。2.根据权利要求1所述的方法，其特征在于，S100包括：S101、通过下式计算每个时间段的各类特定行为的总特定行为发生率：其中，P
t
为时间段t的各类特定行为的总特定行为发生率，N
t
为时间段t内每个时间点发生的所有特定行为事件数量，N为所有时间点发生的特定行为事件总数量；S102、通过下式计算每个时间点的各类特定行为的特定行为发生率：其中，为时间段t的第i(i∈C)类特定行为的特定行为发生率，是时间段t发生第i类特定行为事件的数量，C为特定行为类型的数量，i，C为正整数；S103、通过下式对时间段t的总特定行为发生率P
t
和各类特定行为的特定行为发生率进行Logit变换，得到特定行为时间、特定行为类型和特定行为发生率之间的关系；Logit(P
t
)＝ln(P
t
)
‑
ln(1
‑
P
t
)
ꢀꢀ
(3)S104、基于上述关系，生成以下的时间
‑
特定行为类型计数向量：其中，上述向量的维度为C+1。3.根据权利要求2所述的方法，其特征在于，S200中，建立DNN子模型，包括：建立一个三层的密集型神经网络，每层神经元个数分别是128、64、C，其中C为特定行为类型的数量，使用BN函数作为标准化函数，第一层和第二层的神经网络选择PReLU作为激活函数，输出层的激活函数为Softmax，损失函数选择多分类交叉熵。4.根据权利要求2所述的方法，其特征在于，S200中，建立LSTM子模型，包括：建立一个四层的循环神经网络，其中隐藏层中每层LSTM的神经元个数分别是128、64和64，在每层都增加Dropout操作，使用BN函数作为标准化函数，输出层的激活函数为Softmax，损失函数选择多分类交叉熵，优化器选择RMSprop。5.根据权利要求2所述的方法，其特征在于，S200中，建立DNN
‑
LSTM融合模型，包括：建立一个两层的新神经网络，隐藏层有128个神经元，它...

【专利技术属性】
技术研发人员：田华伟，徐南山，肖延辉，唐云祁，
申请(专利权)人：中国人民公安大学，
类型：发明
国别省市：