内容推荐方法、装置、计算机可读存储介质和计算机设备制造方法及图纸

本申请实施例公开了内容推荐方法、装置、计算机可读存储介质和计算机设备；通过预设内容推荐模型在图像样本中提取第一视觉特征，在查询文本样本中提取查询文本词特征；基于第一视觉特征和查询文本词特征计算图像样本和查询文本样本的相似度，基于相似度确定第一损失信息；获取缺陷文本样本，在缺陷文本样本中提取缺陷文本词特征，获取图像样本的第二视觉特征；根据第二视觉特征和缺陷文本词特征预测缺陷词，并预测缺陷词的修正词；根据缺陷文本的缺陷词、修正词以及查询文本样本确定第二损失信息；基于第一损失信息和第二损失信息对预设内容推荐模型进行收敛处理；通过训练后内容推荐模型对查询文本进行内容推荐处理。以此，提升内容推荐准确性。升内容推荐准确性。升内容推荐准确性。

【技术实现步骤摘要】
内容推荐方法、装置、计算机可读存储介质和计算机设备


[0001]本申请涉及互联网
，具体涉及一种内容推荐方法、装置、计算机可读存储介质和计算机设备。

技术介绍

[0002]随着互联网技术的快速发展，网络上产生了大量的信息，例如各种各样的视频，然而大量的视频使得用户难以从中快速获得到真正需要的视频，降低了视频的推送效率。为了将用户需要的视频准确推送给用户，现有的内容推荐方法中大多通过采用深度学习模型计算图像、视频等候选内容的视觉特征与查询文本的文本特征之间的相似度，根据相似度在候选内容中筛选出与查询文本匹配的内容并推送给用户。
[0003]在对现有技术的研究和实践过程中发现，现有的根据候选内容的视觉特征与文本特征之间的相似度在候选内容中筛选出与查询文本匹配的内容进行推荐的内容推荐方法，无法准确的识别出图像与文本之间细粒度的语义关联，进而使得内容推荐的准确性较低。

技术实现思路

[0004]本申请实施例提供一种内容推荐方法、装置、计算机可读存储介质和计算机设备，可以提升内容推荐的准确性。
[0005]本申请实施例提供一种内容推荐方法，包括：
[0006]通过预设内容推荐模型在图像样本中提取出至少一种第一视觉特征，在所述图像样本对应的查询文本样本中提取出查询文本词特征；
[0007]基于所述第一视觉特征和所述查询文本词特征，计算所述图像样本和查询文本样本之间的相似度，基于所述相似度确定所述预设内容推荐模型对应的第一损失信息；
[0008]获取所述查询文本样本对应的缺陷文本样本，在所述缺陷文本样本中提取出缺陷文本词特征，获取所述图像样本对应的至少一种第二视觉特征；
[0009]根据所述第二视觉特征和缺陷文本词特征，预测所述缺陷文本样本中与所述图像样本不匹配的缺陷词，并预测所述缺陷词对应的修正词；
[0010]根据所述缺陷文本样本对应的所述缺陷词、所述修正词以及所述查询文本样本，确定所述预设内容推荐模型对应的第二损失信息；
[0011]基于所述第一损失信息以及所述第二损失信息，对所述预设内容推荐模型进行收敛处理，得到训练后内容推荐模型；
[0012]通过所述训练后内容推荐模型对查询文本进行内容推荐处理。
[0013]相应的，本申请实施例提供一种内容推荐装置，包括：
[0014]提取单元，用于通过预设内容推荐模型在图像样本中提取出至少一种第一视觉特征，在所述图像样本对应的查询文本样本中提取出查询文本词特征；
[0015]计算单元，用于基于所述第一视觉特征和所述查询文本词特征，计算所述图像样本和查询文本样本之间的相似度，基于所述相似度确定所述预设内容推荐模型对应的第一
损失信息；
[0016]获取单元，用于获取所述查询文本样本对应的缺陷文本样本，在所述缺陷文本样本中提取出缺陷文本词特征，获取所述图像样本对应的至少一种第二视觉特征；
[0017]预测单元，用于根据所述第二视觉特征和缺陷文本词特征，预测所述缺陷文本样本中与所述图像样本不匹配的缺陷词，并预测所述缺陷词对应的修正词；
[0018]确定单元，用于根据所述缺陷文本样本对应的所述缺陷词、所述修正词以及所述查询文本样本，确定所述预设内容推荐模型对应的第二损失信息；
[0019]收敛单元，用于基于所述第一损失信息以及所述第二损失信息，对所述预设内容推荐模型进行收敛处理，得到训练后内容推荐模型；
[0020]推荐单元，用于通过所述训练后内容推荐模型对查询文本进行内容推荐处理。
[0021]在一实施例中，所述第二视觉特征包括所述图像样本对应的全局视觉特征，所述预测单元，包括：
[0022]视觉特征融合子单元，用于将全局视觉特征以及所述缺陷文本词特征进行视觉特征融合处理，得到视觉融合后缺陷文本词特征；
[0023]第一目标缺陷文本词特征提取子单元，用于在所述视觉融合后缺陷文本词特征中提取出包含所述图像样本和所述缺陷文本样本之间的语义关联关系的第一目标缺陷文本词特征；
[0024]第一词预测子单元，用于基于所述第一目标缺陷文本词特征预测所述缺陷文本样本中与所述图像样本不匹配的缺陷词以及所述缺陷词对应的修正词。
[0025]在一实施例中，所述第一目标缺陷文本词特征提取子单元，包括：
[0026]第一关联特征提取模块，用于对所述视觉融合后缺陷文本词特征进行关联特征提取，得到所述视觉融合后缺陷文本词特征中每一词特征对应的第一关联特征；
[0027]第一关联权重确定模块，用于基于所述第一关联特征确定所述视觉融合后缺陷文本词特征中每一词特征对应的第一关联权重；
[0028]第一融合模块，用于根据所述第一关联权重对所述第一关联特征进行融合处理，得到包含所述图像样本和所述缺陷文本样本的语义关联关系的第一目标缺陷文本词特征。
[0029]在一实施例中，所述第二视觉特征包括所述图像样本对应的局部视觉特征，所述预测单元，包括：
[0030]目标缺陷文本词特征提取子单元，用于在所述缺陷文本词特征中提取出包含所述查询文本样本中每一词之间的关联关系的目标缺陷文本词特征；
[0031]特征融合子单元，用于将局部视觉特征以及所述目标缺陷文本词特征进行特征融合处理，得到第二目标缺陷文本词特征；
[0032]第二词预测子单元，用于根据所述第二目标缺陷文本词特征预测所述缺陷文本样本中与所述图像样本不匹配的缺陷词以及所述缺陷词对应的修正词。
[0033]在一实施例中，所述特征融合子单元，包括：
[0034]第二关联特征提取模块，用于对局部视觉特征以及所述目标缺陷文本词特征进行关联特征提取，得到所述局部视觉特征对应的视觉关联特征，以及所述目标缺陷文本词特征对应的文本关联特征；
[0035]第二关联权重确定模块，用于基于所述视觉关联特征以及所述文本关联特征，确
定所述视觉关联特征对应的第二关联权重；
[0036]第二融合模块，用于基于所述第二关联权重对所述视觉关联特征进行融合处理，得到第二目标缺陷文本词特征。
[0037]在一实施例中，所述计算单元，包括：
[0038]历史特征获取子单元，用于获取所述第一视觉特征对应的动量视觉特征，以及所述查询文本词特征对应的动量文本词特征；
[0039]样本对构建子单元，用于基于所述第一视觉特征、所述查询文本词特征、所述动量视觉特征以及所述动量文本词特征，构建所述预设内容推荐模型对应的负样本特征对以及正样本特征对；
[0040]相似度计算子单元，用于计算所述负样本特征对之间的第一相似度，以及所述正样本特征对之间的第二相似度，将所述第一相似度以及所述第二相似度确定为所述图像样本和查询文本样本之间的相似度。
[0041]在一实施例中，所述确定单元，包括：
[0042]差异词识别子单元，用于基于所述查询文本样本和所述缺陷词识别出查询文本样本中相较于所述缺陷文本样本的差异词；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种内容推荐方法，其特征在于，包括：通过预设内容推荐模型在图像样本中提取出至少一种第一视觉特征，在所述图像样本对应的查询文本样本中提取出查询文本词特征；基于所述第一视觉特征和所述查询文本词特征，计算所述图像样本和查询文本样本之间的相似度，基于所述相似度确定所述预设内容推荐模型对应的第一损失信息；获取所述查询文本样本对应的缺陷文本样本，在所述缺陷文本样本中提取出缺陷文本词特征，获取所述图像样本对应的至少一种第二视觉特征；根据所述第二视觉特征和缺陷文本词特征，预测所述缺陷文本样本中与所述图像样本不匹配的缺陷词，并预测所述缺陷词对应的修正词；根据所述缺陷文本样本对应的所述缺陷词、所述修正词以及所述查询文本样本，确定所述预设内容推荐模型对应的第二损失信息；基于所述第一损失信息以及所述第二损失信息，对所述预设内容推荐模型进行收敛处理，得到训练后内容推荐模型；通过所述训练后内容推荐模型对查询文本进行内容推荐处理。2.如权利要求1所述的内容推荐方法，其特征在于，所述第二视觉特征包括所述图像样本对应的全局视觉特征，所述根据所述第二视觉特征和缺陷文本词特征，预测所述缺陷文本样本中与所述图像样本不匹配的缺陷词，并预测所述缺陷词对应的修正词，包括：将全局视觉特征以及所述缺陷文本词特征进行视觉特征融合处理，得到视觉融合后缺陷文本词特征；在所述视觉融合后缺陷文本词特征中提取出包含所述图像样本和所述缺陷文本样本之间的语义关联关系的第一目标缺陷文本词特征；基于所述第一目标缺陷文本词特征预测所述缺陷文本样本中与所述图像样本不匹配的缺陷词以及所述缺陷词对应的修正词。3.如权利要求2所述的内容推荐方法，其特征在于，所述在所述视觉融合后缺陷文本词特征中提取出包含所述图像样本和所述缺陷文本样本之间的语义关联关系的第一目标缺陷文本词特征，包括：对所述视觉融合后缺陷文本词特征进行关联特征提取，得到所述视觉融合后缺陷文本词特征中每一词特征对应的第一关联特征；基于所述第一关联特征确定所述视觉融合后缺陷文本词特征中每一词特征对应的第一关联权重；根据所述第一关联权重对所述第一关联特征进行融合处理，得到包含所述图像样本和所述缺陷文本样本的语义关联关系的第一目标缺陷文本词特征。4.如权利要求1所述的内容推荐方法，其特征在于，所述第二视觉特征包括所述图像样本对应的局部视觉特征，所述根据所述第二视觉特征和缺陷文本词特征，预测所述缺陷文本样本中与所述图像样本不匹配的缺陷词，并预测所述缺陷词对应的修正词，包括：在所述缺陷文本词特征中提取出包含所述查询文本样本中每一词之间的关联关系的目标缺陷文本词特征；将局部视觉特征以及所述目标缺陷文本词特征进行特征融合处理，得到第二目标缺陷文本词特征；
根据所述第二目标缺陷文本词特征预测所述缺陷文本样本中与所述图像样本不匹配的缺陷词以及所述缺陷词对应的修正词。5.如权利要求4所述的内容推荐方法，其特征在于，所述将局部视觉特征以及所述目标缺陷文本词特征进行特征融合处理，得到第二目标缺陷文本词特征，包括：对局部视觉特征以及所述目标缺陷文本词特征进行关联特征提取，得到所述局部视...

【专利技术属性】
技术研发人员：陈禹昕，祁仲昂，张子琦，骆颖民，单瀛，原春锋，胡卫明，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：