【技术实现步骤摘要】
本专利技术涉及网络事件预测方法，具体地说，涉及一种融合层次注意力机制的事件预测方法。
技术介绍
1、随着新生网络平台的出现，社会方面如网络推文，在线问答系统，金融市场监控；自然方面如地震监测，气候监测等诸多平台迅速出现并收集了大量事件，形成了大量的事件序列，大量地扩充了连续时间事件领域的事件数据量，对事件预测技术的发展提供了很好的前提条件，但在大数据的背景下进行有效准确的事件预测仍然是一个巨大的挑战，需要在给定用户历史行为的情况下，结合必要的额外信息去预测用户的下一个行为时间。
2、现实生活中的大多数行为都可以抽象为发生在连续时间内的事件序列，在已有事件序列的基础上去预测下一个事件的发生时间或类别，往往会采用构建概率模型的方法。现实生活中的数据往往是连续而非离散的，传统方法对离散数据敏感度较高，在连续事件的处理上却有所欠缺，神经网络以及注意力机制与点过程的结合通过函数拟合，使得方法在连续时间领域上同样有着较高的敏感度，但现有模型在事件信息处理时，仍然缺少对于事件信息进一步提取的过程，从而导致模型预测精度一定程度上的下降。在模型耦合的基础上，在给定的历史信息中提取中更多有效信息之后在进行深度学习训练，可以获得优于传统方法更好的结果。
3、在2020年埃塞俄比亚出版的会议论文集：第8届国际学习表征会议(8thinternational conference on learning representations)，题目为：无强度函数的时序点过程(intensity-free learning of tempo
4、在2016年美国出版的会议论文集：2016年北美计算语言学会人工语言技术分会会议论文集(proceedings of the 2016conference of the north american chapter ofthe association for computational linguistics：human language technologies)，题目为：用于文档分类的层次注意力网络(hierarchical attention networks fordocument classification)，作者是：yang,zichao,diyi yang,chris dyer,xiaodong he,alex smola,eduard hovy，该文提出了层次注意力网络用于文档分类，网络通过将重要的词聚合到句子向量中，然后将重要的句子向量聚合到文档向量中，逐步构建文档向量，实验结果表明，该模型的性能明显优于以往的文档分类方法。
5、在2023年ieee计算智能学会(ieee computational intelligence society)出版的月刊：ieee神经网络和机器学习汇刊(ieee transactions on neural networks andlearning systems)，题目为：利用神经时间点过程对情绪极性和声明发生问题进行建模(modeling mood polarity and declaration occurrence by neural temporal pointprocesses)，作者是：davide bacciu，davide morelli，vlad pandelea，该文通过基于神经网络的时序点过程，在处理用户状态的预期和到下一个事件的时间预测时，强调了稀疏事件数据(情绪声明)与生物特征测量的相关性。
6、点过程在事件预测领域的有着很多创新，其中大多数是基于时序点过程模型进行优化或者耦合，但是并没有考虑到在给定的历史信息中提取中更多有效信息之后在进行训练。
技术实现思路
1、鉴于以上所述现有技术存在的问题和不足，本专利技术要解决的问题是提供一种合适的事件预测方法，该方法综合考虑了已有的时序点过程，在连续时间事件序列信息提取方面进行改进，将层次注意力机制与时序点过程结合，建立了层次时序点过程方法，在事件序列信息提取后，将信息通过层次注意力机制，将进一步分析后的信息投入点过程中进行预测，更合理地利用了点过程以及层次注意力相关理论，更合适于事件预测领域。
2、为了解决上述问题，本专利技术采用下述技术方案：
3、本专利技术是一种融合层次注意力机制的事件预测方法，其特点是，具体步骤如下：
4、a、结合连续时间领域内的时间序列信息，将序列通过层次注意力机制，形成层次化事件信息；
5、b、利用点过程进行对层次信息的处理，并通过概率分布函数预测下一次事件发生的时间。
6、本专利技术所述的一种融合层次注意力机制的事件预测方法，其优选的技术方案方案是：步骤(a)中所述的层次化信息的形成，其具体步骤如下：
7、a1、采用三种循环编码器rnn、gru、lstm进行历史序列事件的第一轮编码(三种编码器可以平行使用)，用vi表示历史事件，第一轮编码对每一个ti或τi进行，采用vi做历史事件信息，首先根据τi＝ti+1-ti得到历史事件切片，接着根据τi确定事件原始编码xτ＝weτi，此处的we为嵌入矩阵；
8、a2、将xτ经过双向循环编码器融合历史信息，得到正向反向两种结果：
9、
10、a3、接着将得到的结果结合上下文的历史信息hτ，然后进行利用注意力机制进行信息融合。首先通过全连接层得到uwτ：
11、uwτ＝tanh(wwhτ+bw) (8)
12、a4、接着了将uwτ用作注意力机制中的k，v矩阵，同时为了保证每个事件的重要性，通过softmax函数得到归一化的重要性权重，其中uw则是随机初始化的，用作q矩阵：
13、
14、a5、最后直接进行加权求和得到字等级事件向词等级事件的映射：
15、
16、a6、经过第一个注意力层后，输出的στ的进入第二个注意力层，最终将ht提取为ητ。
17、本专利技术所述的一种融合层次注意力机制的事件预测方法，其进一步优选的技术方案是：步骤(b)中所述的利用点过程进行对层次信息的处理，并通过概率分布函数预测出事件发生的时间，其具体步骤如下：
18、b1、α表示混合权重，β表示混合均值，γ表示标准差；对数正态混合模型本身较为简单，其采样和梯度计算均存在闭式解，样本τ关于混合均值β以及标准差γ均可微；
19、b2、采用一种混合模型模拟概率分布函数p(τ)，即对数正态混合模型，如公式(5)所示：
20、
<本文档来自技高网...【技术保护点】
1.一种融合层次注意力机制的事件预测方法，其特征在于，其具体步骤如下：
2.根据权利要求1所述的一种融合层次注意力机制的事件预测方法，其特征在于，步骤(A)中所述的层次化信息的形成，其具体步骤如下：
3.根据权利要求1所述的一种融合层次注意力机制的事件预测方法，其特征在于，步骤(B)中所述的利用点过程进行对层次信息的处理，并通过概率分布函数预测出事件发生的时间，其具体步骤如下：
【技术特征摘要】
1.一种融合层次注意力机制的事件预测方法，其特征在于，其具体步骤如下：
2.根据权利要求1所述的一种融合层次注意力机制的事件预测方法，其特征在于，步骤(a)中所述的层次化信息的形成，其具体步...
【专利技术属性】
技术研发人员：仲兆满，黄泽宇，吴加莹，管燕，张丽玲，
申请(专利权)人：江苏海洋大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。