视觉隐喻挖掘方法、装置、电子设备及介质制造方法及图纸

本发明专利技术涉及自然语言领域，揭露一种视觉隐喻挖掘方法、装置、电子设备及存储介质，可用于金融领域金融产品的图文推销海报上，所述方法包括：构建图文数据训练集，利用所述图文数据训练集训练预设的隐喻关系识别模型，得到训练完成的隐喻关系识别模型，并获取所述图文数据训练集训练过程中的第一得分；利用训练完成的隐喻关系识别模型计算无标签图文数据的第二得分，将第一、第二得分大于预设阈值的文本数据及图片数据存储至预设主题的分布式存储知识库中，得到视觉隐喻知识库；当接收到搜索图文指令时，从所述视觉隐喻知识库中查询与所述搜索图文指令中关键词相匹配的图文数据，得到目标图文数据。本发明专利技术可以提高视觉隐喻挖掘的有效性及时效性。有效性及时效性。有效性及时效性。

【技术实现步骤摘要】
视觉隐喻挖掘方法、装置、电子设备及介质


[0001]本专利技术涉及自然语言领域，尤其涉及一种视觉隐喻挖掘方法、装置、电子设备及可读存储介质。

技术介绍

[0002]视觉隐喻是指是通过视觉图像来表示人、地点、事物或想法，用以表示特定关联或相似点，例如，在金融领域，可以采用图文结合的视觉隐喻方法对待推销的金融产品进行推广，从而达到使金融产品更容易被大众所接受的目的。
[0003]当前常见的视觉隐喻比较依赖视觉图像设计师的主观灵感、生活经验及专业理解，由于视觉图像设计师可能不熟悉金融领域的产品特征，容易脱离大部分金融用户的实际生活，很难避免过度抽象，导致金融用户无法完全理解设计师设计的视觉图像的含义，有时甚至需要设计师单独附注创意说明文字辅助消费者理解视觉隐喻的含义，造成视觉隐喻理解困难。因此，在金融领域可能存在金融产品跟配图不搭，或金融产品的配图过度抽象的问题。

技术实现思路

[0004]本专利技术提供一种视觉隐喻挖掘方法、装置、电子设备及可读存储介质，其目的在于提高视觉隐喻挖掘的有效性及时效性，以解决金融产品跟配图不搭，或本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视觉隐喻挖掘方法，其特征在于，所述方法包括：获取无标签图片数据及无标签文本数据，并利用预设网络爬虫爬取互联网中的原始图文数据；对所述原始图文数据进行数据增强，得到增强图文数据，并利用所述增强图文数据构建图文数据训练集；利用预设的隐喻关系识别模型中的编码层分别提取所述图文数据训练集中文本训练数据的语义特征及所述图文数据训练集中图片训练数据的图像特征，并融合所述语义特征与所述图像特征，得到图文双模态特征；利用所述隐喻关系识别模型中的全连接层计算所述图文双模态特征的匹配得分，并利用预设的损失函数计算所述匹配得分的损失值，根据所述损失值对所述隐喻关系识别模型进行参数迭代调整，直至所述损失值满足预设条件，得到训练完成的隐喻关系识别模型；提取所述图文数据训练集中匹配得分大于预设阈值的图文双模态特征对应的文本训练数据及图片训练数据，得到初始文本数据及初始图片数据，并将所述初始文本数据及所述初始图片数据存储至预设主题的分布式存储知识库中，得到视觉隐喻知识库；利用所述训练完成的隐喻关系识别模型计算所述无标签图片数据及所述无标签文本数据的匹配得分，并将匹配得分大于预设阈值的无标签图片数据及无标签文本数据存储至所述视觉隐喻知识库中；当接收到搜索图文指令时，从所述视觉隐喻知识库中查询与所述搜索图文指令中关键词相匹配的图文数据，得到目标图文数据。2.如权利要求1所述的视觉隐喻挖掘方法，其特征在于，所述利用预设的隐喻关系识别模型中的编码层分别提取所述图文数据训练集中文本训练数据的语义特征及所述图文数据训练集中图片训练数据的图像特征，包括：对所述图文数据训练集中文本训练数据进行分词处理，得到分词文本；利用预设的词向量学习算法计算所述分词文本的词向量，得到分词文本向量；按照文本顺序对所述分词文本向量进行编码排序，得到文本序列；利用预设的隐喻关系识别模型中编码层的长短期记忆网络提取所述文本序列的语义特征，得到所述图文数据训练集中文本训练数据的语义特征；设置预设个数的卷积核矩阵；获取述图文数据训练集中的图片训练数据，对所述图片训练数据进行高斯模糊处理，得到模糊训练图像；对所述模糊训练图像进行灰度化处理，得到所述图片训练数据的像素矩阵；利用每个所述卷积核矩阵对所述像素矩阵按照预设步长进行计算，得到特征图矩阵集；对所述特征图矩阵集中的特征图矩阵进行平均区域划分，得到多个相同子区域；提取每个所述子区域内像素值中的最大值，并将所述最大值代替所对应的子区域的像素值，得到所述图文数据训练集中图片训练数据的图像特征。3.如权利要求1所述的视觉隐喻挖掘方法，其特征在于，所述利用所述增强图文数据构建图文数据训练集，包括：对所述增强图文数据进行标记，得到正样本标记；
对所述增强图文数据进行拆分，得到增强文本数据及增强图片数据；从所述增强文本数据中任意选取一个目标增强文本数据，将所述目标增强文本数据与所述增强文本数据中除所述目标增强文本数据之外的其余增强文本数据进行组合，得到组合文本数据，并对所述组合文本数据进行标记，得到第一负样本标记；从所述增强图片数据中任意选取一个目标增强图片数据，将所述目标增强图片数据与所述增强图片数据中除所述目标增强图片数据之外的其余增强图片数据进行组合，得到组合图片数据，并对所述第二组合图片数据进行标记，得到第二负样本标记；将所述正样本标记与所述增强图文数据进行组合得到正样本数据；将所述第一负样本标记与所述组合文本数据进行组合，得到第一负样本数据，将所述第二负样本标记与所述组合图片数据进行组合，得到第二负样本数据；整合所述正样本数据、所述第一负样本数据及所述第二负样本数据，得到图文数据训练集。4.如权利要求1所述的视觉隐喻挖掘方法，其特征在于，所述融合所述语义特征与所述图像特征，得到图文双模态特征，包括：对所述图像特征进行转置处理，得到图像转置特征；将所述图像转置特征与所述语义特征进行点乘，...

【专利技术属性】
技术研发人员：舒畅，陈又新，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：