神经网络训练方法及神经网络、推荐系统及方法技术方案

本发明专利技术公开一种神经网络训练方法及神经网络、推荐系统及方法，其神经网络训练方法包括步骤：S1:数据准备；S2:预训练；S3:神经网络微调。本发明专利技术采取的神经网络训练方法、神经网络能够进一步丰富了序列信息的特征，深度挖掘和用户相关的历史信息，进而大大提高了的推荐的准确率，可以广泛应用在如检索、预测、推荐等需求场景。需求场景。需求场景。

【技术实现步骤摘要】
神经网络训练方法及神经网络、推荐系统及方法


[0001]本专利技术涉及人工智能
，尤其涉及一种神经网络训练方法及神经网络、推荐系统及方法。

技术介绍

[0002]随着信息技术和互联网技术的发展，人们从信息匮乏时代步入了信息过载时代，在这种时代背景下，人们越来越难从大量的信息中找到自身感兴趣的信息，信息也越来越难展示给可能对它感兴趣的用户，而推荐系统的任务就是连接用户和信息，创造价值。
[0003]推荐系统是互联网时代的一种信息检索工具，自上世纪90年代起，人们便认识到了推荐系统的价值，经过了二十多年的积累和沉淀，推荐系统逐渐成为一门独立的学科在学术研究和业界应用中都取得了很多成果。
[0004]近年来，机器学习和深度学习等领域的发展，为推荐系统提供了方法指导，推荐系统发展至今，其背后的技术大致主要有基于内容的模型、基于协同过滤的模型以及混合模型等。
[0005]上述各种模型以及各种各样的新模型、新算法不断创新产生出来，均需要各种各样的信息以及数据或者历史机理，进而采取不同的算法、构建不同的模型来进行信息挖掘的。
[0006]上述传统的推荐系统如协同过滤基于内容的过滤存在一个很大的问题，没有考虑到用户持续产生的各种行为的时序，因此业界开发了基于序列的推荐系统，试图理解和建模用户的连续行为、用户与物品之间的交互作用以及用户偏好和商品流行度随时间的变化。
[0007]但目前的基于序列的推荐算法只是把用户的购买或者游览记录作为序列的输入，来计算推荐商品的打分，无法获取历史购买记录商品的画像特征，因此造成推荐准确率不高，商品画像信息丢失。

技术实现思路

[0008]本专利技术为解决现有技术中存在的技术问题，提供一种神经网络的训练方法，包括步骤：
[0009]S1:数据准备；
[0010]S2:预训练；
[0011]S3:神经网络微调。
[0012]进一步地，S1:数据准备步骤包括：
[0013]S10:数据处理,对用户购买信息和商品信息进行处理：以用户和时间字段进行升序排列，得到对应的商品和用户序列，将当前用户的最后2个值分别作为验证集和测试集；
[0014]S11:数据采样，建立正样本和负样本，包括：
[0015]负样本通过从商品号中不断随机取出；
[0016]Masked_sequence以设定的概率将原有的商品序号改成mask_token，
[0017]正样本序列为随机取序列的一部分，其他位置赋值mask_token；
[0018]负样本序列为从所有用户序列拉平中随机的一部分取得，其他位置赋值mask_token；
[0019]masked序列，与正样本序列取反，即正样本序列部分取mask_token，其他地方保持原值。
[0020]进一步地，S2:预训练步骤包括：
[0021]S20：嵌入层处理：输入为masked_item_sequence，首先每个batch里的商品序列、格局序列的顺序位置进行嵌入处理，然后相加，再经过线性层并归一化和丢弃处理后，得到input_embedding，对padding位置赋极小值，对非padding位置给0得到attention_mask；
[0022]S21：基本模型处理：将上一步的商品作为嵌入输入，输入到基本模型中抽取特征，再取最后一个Attention的表征得到物品的输出序列；
[0023]S22：商品属性分析:通过对物品
‑
属性相关性进行建模，融合物品和属性级别的信息，输出损失函数aap_loss；
[0024]S23:物品序列分析，通过完形填空任务对物品序列中的双向信息进行建模，输出损失函数mip_loss；
[0025]S23：融合处理,进一步融合序列上下文和物品属性信息，S输出损失函数map_loss；
[0026]S24:填空扩展处理，将完形填空任务从单个物品扩展到物品子序列，输出损失函数sp_loss；
[0027]S26：损失函数计算：设置各个损失函数的权重，并相加，用以进行训练。
[0028]进一步地，S3:神经网络微调包括：
[0029]选取正样本作为训练样本；
[0030]将商品序列输入矩阵，经过基本模型中抽取特征，取最后一层注意力Attention序列的最后一个值作为商品序列的特征seq_output；
[0031]将seq_output和item_embedding的权重进行矩阵相乘，映射到不同商品id上，再和正样本结果求交叉熵，并计算损失值。
[0032]本专利技术还提供一种神经网络，所述神经网络为所述神经网络训练方法所得，包括包括互信息网络单元以及基础模型，其中：
[0033]互信息网络单元用分析随机变量之间相互依赖分布的相关性；
[0034]基础模型包括商品属性分析单元AAP、物品序列分析单元MIP、融合单元MAP、填空扩展单元SP，其中：
[0035]商品属性分析单元AAP，通过对物品
‑
属性相关性进行建模来融合物品和属性级别的信息，损失函数为aap_loss；
[0036]物品序列分析单元MIP，通过完形填空任务对物品序列中的双向信息进行建模，损失函数为mip_loss；
[0037]融合单元MAP,用以进一步融合序列上下文和物品属性信息，同样通过掩码的方式实现，损失函数为map_loss。
[0038]填空扩展单元SP，为了排除单个物品项目可能与周围环境没有高度关联，将完形
填空任务从单个物品扩展到物品子序列，损失函数为sp_loss。
[0039]进一步地，所述基础模型为：
[0040]以Embedding层作为输入，并接入2层Multihead Attention以及全连接层，用以抽取线性特征和非线性特征；
[0041]对Multihead Attention进行mask处理；
[0042]取最后一个Attention的表征作为序列表征。
[0043]本专利技术还提供一种推荐系统，包括交互单元以及处理单元，其中：
[0044]所述交互单元用以显示处理单元的推荐结果；
[0045]处理单元用以对用户的信息进行收集和处理，并返回推荐结果，
[0046]处理单元为所述神经网络训练方法所得的神经网络或者所述的神经网络。
[0047]本专利技术还提供一种推荐方法，应用于推荐系统，包括步骤：
[0048]处理单元对用户的信息进行收集和处理，并返回推荐结果；
[0049]交互单元显示处理单元的推荐结果，
[0050]处理单元为所述神经网络训练方法所得的神经网络或者所述的神经网络。
[0051]本专利技术还提供一种计算机可读存储介质，所述存储介质中存储有指令或者程序，所述指令或者程序由处理器加载并执行所述的推荐方法。
[0052]本专利技术还提供一种电子设备，包括：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络训练方法，其特征是，包括步骤：S1:数据准备；S2:预训练；S3:神经网络微调。2.如权利要求1所述的神经网络训练方法，其特征是，S1:数据准备步骤包括：S10:数据处理,对用户购买信息和商品信息进行处理：以用户和时间字段进行升序排列，得到对应的商品和用户序列，将当前用户的最后2个值分别作为验证集和测试集；S11:数据采样，建立正样本和负样本，包括：负样本通过从商品号中不断随机取出；Masked_sequence以设定的概率将原有的商品序号改成mask_token，正样本序列为随机取序列的一部分，其他位置赋值mask_token；负样本序列为从所有用户序列拉平中随机的一部分取得，其他位置赋值mask_token；masked序列，与正样本序列取反，即正样本序列部分取mask_token，其他地方保持原值。3.如权利要求1所述的神经网络训练方法，其特征是，S2:预训练步骤包括：S20：嵌入层处理：输入为masked_item_sequence，首先每个batch里的商品序列、格局序列的顺序位置进行嵌入处理，然后相加，再经过线性层并归一化和丢弃处理后，得到input_embedding，对padding位置赋极小值，对非padding位置给0得到attention_mask；S21：基本模型处理：将上一步的商品作为嵌入输入，输入到基本模型中抽取特征，再取最后一个Attention的表征得到物品的输出序列；S22：商品属性分析:通过对物品
‑
属性相关性进行建模，融合物品和属性级别的信息，输出损失函数aap_loss；S23:物品序列分析，通过完形填空任务对物品序列中的双向信息进行建模，输出损失函数mip_loss；S23：融合处理,进一步融合序列上下文和物品属性信息，S输出损失函数map_loss；S24:填空扩展处理，将完形填空任务从单个物品扩展到物品子序列，输出损失函数sp_loss；S26：损失函数计算：设置各个损失函数的权重，并相加，用以进行训练。4.如权利要求1所述的神经网络训练方法，其特征是，S3:神经网络微调包括：选取正样本作为训练样本；将商品序列输入矩阵，经过基本模型中抽取特征，取最后一层注意力Attention序列的最后一个值作为商品序列的特征seq_output；将seq_output和item_embedding的权重进行矩阵相乘，映射到不同商品id上，再和正样本结果求交叉熵，并计算损失值。...

【专利技术属性】
技术研发人员：曾祥云，朱姬渊，
申请(专利权)人：上海易康源医疗健康科技有限公司，
类型：发明
国别省市：