基于多头自注意力模型的目标事项预测方法及装置制造方法及图纸

本发明专利技术可用于金融领域中的机器学习技术领域，本发明专利技术提供了一种基于多头自注意力模型的目标事项预测方法及装置，适应于数据发送发的方法包括：接收用户行为特征的历史数据以及用户的属性数据；根据所述历史数据、所述属性数据以及预生成的用户事项预测模型预测用户的目标事项，其中所述用户事项预测模型是基于多头自注意力机制所生成的神经网络模型。本发明专利技术可以提升用户目标事项推荐结果准确性。明可以提升用户目标事项推荐结果准确性。明可以提升用户目标事项推荐结果准确性。

【技术实现步骤摘要】
基于多头自注意力模型的目标事项预测方法及装置


[0001]本专利技术属于机器学习
，具体涉及一种基于多头自注意力模型的目标事项预测方法及装置

技术介绍

[0002]目前各大公司的移动通信应用程序(Application，APP)很多都实现了一网通办，即用户只要登陆APP即可以办理不同领域的事项。以某地的政务APP为例，目前可覆盖的事项达上千项，例如政务类、生活服务、旅游、招聘考试等事项极大地方便了用户，但同时也带来了相应的问题，由于用户的信息需求是多样的、差异较大，而各领域信息比较独立、多源、异构，这增加了用户通过APP办事的难度，现有技术中的基于向量嵌入技术的个性化推荐模块适当的缓解了以上问题。
[0003]目前，电子APP场景推荐研究目前处于起步阶段。现有的特征筛选方式为基于事项本身特征的向量嵌入技术，此深度学习方案并没有充分利用用户的行为序列，使得部分用户行为隐含特征缺失，推荐结果有时候并不能反映用户的实际意图，导致推荐的准确率无法达到要求。因此事项推荐的结果欠缺，效率不高，有时还会给用户带来一定困惑和不便。
专利技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多头自注意力模型的目标事项预测方法，其特征在于，包括：接收用户行为特征的历史数据以及用户的属性数据；根据所述历史数据、所述属性数据以及预生成的用户事项预测模型预测用户的目标事项，其中所述用户事项预测模型是基于多头自注意力机制所生成的神经网络模型。2.根据权利要求1所述的目标事项预测方法，其特征在于，所述历史数据包括：所述用户的历史行为特征数据以及其对应的历史目标事项；生成用户事项预测模型的步骤包括：根据所述历史数据以及所述属性数据确定所述用户事项预测模型的初始模型中自注意力层数；根据历史目标事项确定所述历史行为特征数据的位置编码；根据所述目标事项的维度确定所述初始模型中的前馈网络层；根据多个自注意力层、所述位置编码以及所述前馈网络层对所述初始模型进行训练，以生成所述用户事项预测模型。3.根据权利要求2所述的目标事项预测方法，其特征在于，所述根据所述历史数据、所述属性数据以及预生成的用户事项预测模型预测用户的目标事项，包括：将所述历史数据、所述属性数据以及所述目标事项进行向量化嵌入表示，以生成输入向量；根据所述多个自注意力层提取所述输入向量的高维隐含向量；将所述高维隐含向量输入至所述用户事项预测模型，以预测所述目标事项。4.根据权利要求2所述的目标事项预测方法，其特征在于，所述根据多个自注意力层、所述位置编码以及所述前馈网络层对所述初始模型进行训练，包括：根据所述多个自注意力层以及所述位置编码确定所述历史行为特征数据与所述历史目标事项之间的映射关系；根据所述映射关系、目标事项以及预设的训练截止条件对所述初始模型进行训练。5.根据权利要求4所述的目标事项预测...

【专利技术属性】
技术研发人员：王雅楠，
申请(专利权)人：工银科技有限公司，
类型：发明
国别省市：