一种基于图像和文本特征抽取的游记图文匹配方法组成比例

一种基于图像和文本特征抽取的游记图文匹配方法，对于图像特征抽取，首先使用深度网络从图像中检测物体，导出图像特征并对每个物体提取物体特征，然后联合物体特征和图像特征进行编码；对于文本特征抽取，首先对文本进行分词，然后使用深度网络分别从词语层面和语句层面导出文本特征，接着联合词语特征和语句特征进行编码；最后对编码后的图像特征和文本特征计算余弦相似度，根据图文的相似度设定阈值，在文本对应位置选择图片插入。本发明专利技术解决游记编辑时图片选择和插入需要花费大量精力的问题。的问题。的问题。

【技术实现步骤摘要】
一种基于图像和文本特征抽取的游记图文匹配方法


[0001]本专利技术属于多媒体计算领域，涉及图像物体识别和自然语言分析，具体为一种基于图像和文本特征抽取的游记图文匹配方法。

技术介绍

[0002]游记一般包括语义上相关的文字和图片，编辑者需要整理大量的图片并挑选和对应语句相关的图片与文字组成完整的游记内容。一篇内容详实，图文并茂的游记需要花费编辑者大量的精力。游记图文自动匹配可以帮助编辑者自动挑选图片插入到文字语义对应位置。
[0003]现有的游记生成方法分为两类，一类利用便携式设备如手机等移动终端，随时调用设备提供的GPS、时间等数据将图片整理汇合为游记。这类方法不能生成对应的描述性文字，仍需人工寻找合适的图片位置添加文字。另一类根据图片拍摄信息从已有游记文本中多个兴趣点数据中查找与图片匹配的兴趣点数据并插入到对应位置。这类游记编辑方法依赖详细的拍摄数据和游记的兴趣点数据，对于游记文字的编辑要求较高。同时，这些游记编辑方法都需要图片内容以外的数据，如拍摄时间、拍摄地点，在这些数据缺失的情况下无法准确生成符合现实情况的游记。
专本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像和文本特征抽取的游记图文匹配方法，其特征是对游记图文的图像和文本分别进行特征抽取和编码，然后计算图像语义特征和文本语义特征相似度，根据相似度对文本选择匹配的图片插入到文本对应位置；其中，对于图像语义特征，首先使用深度网络从图像中检测物体，导出图像特征并对每个物体提取物体特征，然后联合物体特征和图像特征进行编码得到图像语义特征，对于文本语义特征，首先对文本进行分词，然后使用深度网络分别从词语层面和语句层面导出文本特征，接着联合词语特征和语句特征进行编码得到文本语义特征；最后对图像语义特征和文本语义特征计算相似度，结合图文的相似度设定阈值，根据相似度在文本对应位置插入图像。2.根据权利要求1所述的一种基于图像和文本特征抽取的游记图文匹配方法，其特征是图像和文本的特征提取和特征编码包括：1)使用Faster R
‑
CNN和预训练参数对图像编码，导出图像特征和物体特征并融合编码为图像语义特征；2)使用RoBERTa和中文预训练参数对文本进行分词，对分词结果导出词语特征，对整个语句文本导出语句特征，并将词语特征和语句特征融合编码为文本语义特征；3)对步骤1)导出的图像语义特征和步骤2)导出的文本语义特征计算余弦相似度；4)根据每个文本和给定图片的相似度选择图片插入到文本所在位置。3.根据权利要求2所述的一种基于图像和文本特征抽取的游记图文匹配方法，其特...

【专利技术属性】
技术研发人员：任桐炜，黄蕾，于凡，贺云青，
申请(专利权)人：南京大学，
类型：发明
国别省市：