一种基于深度学习的图像个性化语义分析方法、装置及设备制造方法及图纸

本发明专利技术公开了一种基于深度学习的图像个性化语义分析方法，包括将原始图像信号导入卷积网络，生成高层抽象语义向量；将所述高层抽象语义向量进行相似度计算，得到一级语义向量；将所述一级语义向量进行序列到序列的转换，输出转换后的语义词向量；将所述语义词向量与特征词向量进行词向量融合，得到二级语义词向量；将所述二级语义词向量与先验集进行对照；当所述二级语义词向量在先验集限定的语义风格因子范围内时，输出所述二级语义词向量，得到图像语义的分析结果。本申请通过创新使用卷积神经网络与混合推荐，使系统对图像的自然语言解析更自然，更贴近我们基于本能的理解能力，并且能对不同的对象呈现不同的表达，即生成个性化语义分析。

【技术实现步骤摘要】
一种基于深度学习的图像个性化语义分析方法、装置及设备
本专利技术涉及图像语义分析领域，特别是涉及一种基于深度学习的图像个性化语义分析方法、装置、设备及计算机可读存储介质。
技术介绍
随着信息时代的来临，与日俱增的多媒体数据出现在人们日常的工作中、生活中。在人们日常的交流中，图像，音频，视频等作为主要的媒介，其中图像数据是人们信息沟通、情感表达的重要工具。图像数据从视觉上更加直观，情感表达上更加丰富。正是因为这样，人们在互联网上进行上传、下载的图像数据日益增加，这些大量的图像数据需要进行妥善的管理和存储，如何将图像自动的转化为我们熟悉的自然语言，便于各样理解与利用。同时，这些图像数据具有很大的挖掘价值，但它们大都没有标签批注，很难对其进行分类，所以需要对这些数据进行有效的自然语言转译。人工对图像数据进行自然语言标注，不仅消耗大量的时间和精力，同时效率也极其低下。因此，采用自动化的方式对图像数据进行自然语言转译等有效的管理和使用，一直是图像领域研究的人们话题。近年来，对图像数据进行自然语言转译领域，虽有一些技术方案，比如基于深度学习的图像推荐系统，或图像自然语言描述，可依旧存在图像信号噪本文档来自技高网...

【技术保护点】
1.一种基于深度学习的图像个性化语义分析方法，其特征在于，包括：将原始图像信号导入卷积网络，生成高层抽象语义向量；将所述高层抽象语义向量进行相似度计算，得到一级语义向量；将所述一级语义向量进行序列到序列的转换，输出转换后的语义词向量；将所述语义词向量与特征词向量进行词向量融合，得到二级语义词向量；将所述二级语义词向量与先验集进行对照；当所述二级语义词向量在先验集限定的语义风格因子范围内时，输出所述二级语义词向量，得到图像语义的分析结果。

【技术特征摘要】
1.一种基于深度学习的图像个性化语义分析方法，其特征在于，包括：将原始图像信号导入卷积网络，生成高层抽象语义向量；将所述高层抽象语义向量进行相似度计算，得到一级语义向量；将所述一级语义向量进行序列到序列的转换，输出转换后的语义词向量；将所述语义词向量与特征词向量进行词向量融合，得到二级语义词向量；将所述二级语义词向量与先验集进行对照；当所述二级语义词向量在先验集限定的语义风格因子范围内时，输出所述二级语义词向量，得到图像语义的分析结果。2.如权利要求1所述的基于深度学习的图像个性化语义分析方法，其特征在于，在将所述二级语义词向量与先验集进行对照之后，还包括：当所述二级语义词向量不全在先验集限定的语义风格因子范围内时，对所述二级语义词向量进行中文分词替换或去掉不在所述先验集范围内的词向量分量，输出处理后的词向量，得到图像语义的分析结果。3.如权利要求1所述的基于深度学习的图像个性化语义分析方法，其特征在于，在将所述二级语义词向量与先验集进行对照之后，还包括：当所述二级语义词向量不在先验集限定的语义风格因子范围内时，将所述二级语义词向量舍弃，并报错。4.如权利要求1所述的基于深度学习的图像个性化语义分析方法，其特征在于，所述将所述语义词向量与特征词向量进行词向量融合包括：将所述语义词向量与通过深度学习的推荐系统策略得出的特征词向量进行词向量融合。5.如权利要求1所述的基于深度学习的图像个性化语义分析方法，其特征在于，所述将所述一级语义向量进行序列到序列的转换包括：将所述一级语义向量通过长短时记忆网络进行序列到序列的转换。6.如权利要求1、2、4、5中任一项...

【专利技术属性】
技术研发人员：何立健，林穗，翁海瑞，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东,44