一种基于多模态特征交互深度融合推荐方法技术

本发明专利技术公开一种基于多模态特征交互深度融合推荐方法，该方法在xdeepfm模型的基础上，提出了一种融合多种模型的多模态特征交互深度融合模型。该模型将多个模型进行结合，并且将多模态特征进行融合，不仅能同时以显式和隐式的方式自动学习高阶的特征交互，使特征交互发生在向量级，还兼具记忆与泛化的学习能力，并且可以进行多任务训练。该方法推荐精度高，并提升了推荐的多模态特征融合的效果。

【技术实现步骤摘要】
一种基于多模态特征交互深度融合推荐方法
本专利技术涉及推荐算法
，具体是一种基于多模态特征交互深度融合推荐方法。
技术介绍
目前，针对用户进行个性化推荐，在特征构建需要工程师花费巨大的人力，特征组合是许多机器学习建模过程中遇到的问题，如果对特征直接建模，很有可能忽略掉特征与特征之间的关联信息，一次可以通过构建新的交叉特征这一特征组合方式提高模型的效果。高维的稀疏矩阵是实际工程中常见的问题，并且直接导致计算量过大，特征权值更新缓慢。特征(features)的构建对推荐系统来说至关重要，直接关系到推荐系统的精准性。在传统的推荐系统中，高阶交叉特征通常由工程师手工提取，不仅人力成本高昂、维度空间极大，而且不可泛化。
技术实现思路
本专利技术的目的在于克服现有技术的不足，而提供一种基于多模态特征交互深度融合推荐方法，该方法推荐精度更高，且更好的挖掘用户兴趣爱好。实现本专利技术目的的技术方案是：一种基于多模态特征交互深度融合推荐方法，包括如下步骤：1)从用户行为日志中提取用户和项的行为数据，并将相关属性数据进行提取，组成可用的数据集；2)将步骤1)得到的数据集，进行预处理，得到相关有用的数据集，分析数据集的分布，得出数据集的规律；3)根据步骤2)探索到数据分布和规律，对各个模态的数据类型进行特征提取，做特征工程，包括进行用户行为特征提取、文本特征提取、音频特征提取和视频特征提取；并对提取的不同模态特征融合，进行多模态特征融合，进行交互探索高阶特征，用XGBbosst算法选出有效的特征数据；4)根据步骤3)得到基础特征和高阶特征数据，将数据集划分为训练集、验证集和测试集，将提取的特征数据输入到融合模型中，采用训练集和验证集验证模型效果，选出效果最好的融合模型；5)根据步骤4)选定的最佳融合模型，将测试集数据输入到模型中，得到用户对项目的点击率，根据点击率进行分类，将分类好的数据推荐给相应的用户。所述的多模态特征融合，是将基本数据、文本数据、视频数据和音频数据类型进行处理并将其融合得到可输入到模型中的数据，在数据类型中，基本数据包括用户的年龄、城所在市；文件数据包括视频的标题、描述；视频数据包括是否有人脸数据；音频数据包括该视频的背景音乐。步骤3)中，所述的进行交互探索高阶特征，具体方法如下：用FM算法进行特征组合，通过两两特征组合，引入交叉项特征即二阶特征，提高模型得分通过引入隐向量，对参数矩阵进行分解，完成特征参数的估计；所述的FM算法为三层网络，它的核心部分是第二层的FMlayer，FMlayer由两部分组成，一部分是lr部分，令一部分是innerproduct部分，具体公式如下：其中，表示特征交互的值，w0是偏移量，wi是输入特征的参数，<vi,vj>是输入特征i、j间的交叉参数，xi是第i个特征值，xj是第j个特征值，vi是k维向量。步骤4)中，所述的融合模型，设计方法如下：4-1)采用一个修改后的xDeepFM模型，该模型可以接受多模态特征作为输入；4-2)指定如何整合所有修改后的模型以形成融合模型；4-3)基于xDeepFM模型，添加用于提取标题、音频和视频功能的模块，先将稀疏用户交互数据转换为稀疏特征，然后将密集用户交互数据转换为密集特征；4-4)将标题数据转换为序列特征，使用嵌入层来减小这些特征的维数并获得嵌入的特征向量，嵌入层的结果为宽的级联向量，表示如下：e＝[e1,e2,...,em]其中em是级联向量值；4-5)步骤4-4)获得的特征向量馈入三个模块：线性层，压缩交互网络CIN层和普通深度神经网络DNN层；CIN层的输入来自Embedding层，假设有m个field，每个field的embeddingvector维度为D，则输入表示为矩阵X0∈Rm*D，令表示第k层的输出，其中Hk表示第k层的向量个数，向量的维度始终为D，保持和输入层一致，具体计算方式如下：其中Xkh,*表示第k层的输出，1≤h≤Hk，表示第k层的第h个向量的权值矩阵，表示第k-1层特征向量第i个的特征值，是第0层特征向量第j个的特征值，o表示Hadamard乘积；4-6)对于视频和音频数据，首先使用主成分分析PCA提取原始特征的主成分并减小特征尺寸；4-7)白化模型来减少特征之间的相关性，然后使用嵌入层获取音频和视频特征的嵌入特征向量；最后将嵌入的音频特征向量和视频特征向量馈入两个不同的纯DNN层中，以进行进一步的特征提取，白化模型的输出是：其中是白化模型的输出，σ是sigmoid函数，是线性层的权值，是dnn层的权值，是cin层的权值，a是原始特征，和p分别是dnn层特征输出和cin层输出，b为可学习的参数。步骤5)中，所述的融合模型，预测是否推荐的概率公式具体如下：其中表示推荐的概率，fi表示第i个模型，wi表示第i个模型的权值；对应融合模型的损失函数如下：其中yi表示真实值，表示预测值，N是整个训练样本的个数。本专利技术提供的一种基于多模态特征交互深度融合推荐算法，该方法多模态特征进行相结合，解决了传统推荐的数据属性单一问题，提高了推荐精度和更好的挖掘了用户的兴趣爱好；并且模型不仅能同时以显式和隐式的方式自动学习高阶的特征交互，使特征交互发生在向量级，还兼具记忆与泛化的学习能力，并且可以进行多任务训练。附图说明图1为本专利技术深度融合推荐算法模型的体系结构图；图2为融合模型架构图。具体实施方式下面结合附图和实施例对本
技术实现思路
做进一步阐述，但不是对本专利技术的限定。实施例：一种基于多模态特征交互深度融合推荐方法，深度融合推荐算法模型的体系结构如图1所示，包括如下步骤：1)从用户行为日志中提取用户和项的行为数据，并将相关属性数据进行提取，组成可用的数据集；2)将步骤1)得到的数据集，进行预处理，得到相关有用的数据集，分析数据集的分布，得出数据集的规律；3)根据步骤2)探索到数据分布和规律，对各个模态的数据类型进行特征提取，做特征工程，包括进行用户行为特征提取、文本特征提取、音频特征提取和视频特征提取；并对提取的不同模态特征融合，进行多模态特征融合，进行交互探索高阶特征，用XGBbosst算法选出有效的特征数据；4)根据步骤3)得到基础特征和高阶特征数据，将数据集划分为训练集、验证集和测试集，将提取的特征数据输入到融合模型中，采用训练集和验证集验证模型效果，选出效果最好的融合模型；5)根据步骤4)选定的最佳融合模型，将测试集数据输入到模型中，得到用户对项目的点击率，根据点击率进行分类，将分类好的数据推荐给相应的用户。所述的多模态特征融合，是将基本数据、文本数据、视频数据和音频数据类型进行处理并将其融合得到可输入到模型中的数据，在数据类型中，基本数据包括用户的年龄、城所在本文档来自技高网...

【技术保护点】
1.一种基于多模态特征交互深度融合推荐方法，其特征在于，包括如下步骤：/n1)从用户行为日志中提取用户和项的行为数据，并将相关属性数据进行提取，组成可用的数据集；/n2)将步骤1)得到的数据集，进行预处理，得到相关有用的数据集，分析数据集的分布，得出数据集的规律；/n3)根据步骤2)探索到数据分布和规律，对各个模态的数据类型进行特征提取，做特征工程，包括进行用户行为特征提取、文本特征提取、音频特征提取和视频特征提取；并对提取的不同模态特征融合，进行多模态特征融合，进行交互探索高阶特征，用XGBbosst算法选出有效的特征数据；/n4)根据步骤3)得到基础特征和高阶特征数据，将数据集划分为训练集、验证集和测试集，将提取的特征数据输入到融合模型中，采用训练集和验证集验证模型效果，选出效果最好的融合模型；/n5)根据步骤4)选定的最佳融合模型，将测试集数据输入到模型中，得到用户对项目的点击率，根据点击率进行分类，将分类好的数据推荐给相应的用户。/n

【技术特征摘要】
1.一种基于多模态特征交互深度融合推荐方法，其特征在于，包括如下步骤：
1)从用户行为日志中提取用户和项的行为数据，并将相关属性数据进行提取，组成可用的数据集；
2)将步骤1)得到的数据集，进行预处理，得到相关有用的数据集，分析数据集的分布，得出数据集的规律；
3)根据步骤2)探索到数据分布和规律，对各个模态的数据类型进行特征提取，做特征工程，包括进行用户行为特征提取、文本特征提取、音频特征提取和视频特征提取；并对提取的不同模态特征融合，进行多模态特征融合，进行交互探索高阶特征，用XGBbosst算法选出有效的特征数据；
4)根据步骤3)得到基础特征和高阶特征数据，将数据集划分为训练集、验证集和测试集，将提取的特征数据输入到融合模型中，采用训练集和验证集验证模型效果，选出效果最好的融合模型；
5)根据步骤4)选定的最佳融合模型，将测试集数据输入到模型中，得到用户对项目的点击率，根据点击率进行分类，将分类好的数据推荐给相应的用户。


2.根据权利要求1所述的一种基于多模态特征交互深度融合推荐方法，其特征在于，所述的多模态特征融合，是将基本数据、文本数据、视频数据和音频数据类型进行处理并将其融合得到可输入到模型中的数据，在数据类型中，基本数据包括用户的年龄、城所在市；文件数据包括视频的标题、描述；视频数据包括是否有人脸数据；音频数据包括该视频的背景音乐。


3.根据权利要求1所述的一种基于多模态特征交互深度融合推荐方法，其特征在于，步骤3)中，所述的进行交互探索高阶特征，具体方法如下：
用FM算法进行特征组合，通过两两特征组合，引入交叉项特征即二阶特征，提高模型得分通过引入隐向量，对参数矩阵进行分解，完成特征参数的估计；所述的FM算法为三层网络，它的核心部分是第二层的FMlayer，FMlayer由两部分组成，一部分是lr部分，令一部分是innerproduct部分，具体公式如下：



其中，表示特征交互的值，w0是偏移量，wi是输入特征的参数，<vi,vj>是输入特征i、j间的交叉参数，xi是第i个特征值，xj是第j个特征值，vi是k维向量。


4.根据权利要求1所述的一种基于多模态特征交互深度融合推荐方法，其特征在于，步骤4)...

【专利技术属性】
技术研发人员：罗笑南，宋秀来，钟艳如，甘才军，曹良斌，蓝如师，李一媛，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：广西;45