一种基于深度学习的图像个性化语义分析方法、装置及设备制造方法及图纸

本发明专利技术公开了一种基于深度学习的图像个性化语义分析方法，包括将原始图像信号导入卷积网络，生成高层抽象语义向量；将所述高层抽象语义向量进行相似度计算，得到一级语义向量；将所述一级语义向量进行序列到序列的转换，输出转换后的语义词向量；将所述语义词向量与特征词向量进行词向量融合，得到二级语义词向量；将所述二级语义词向量与先验集进行对照；当所述二级语义词向量在先验集限定的语义风格因子范围内时，输出所述二级语义词向量，得到图像语义的分析结果。本申请通过创新使用卷积神经网络与混合推荐，使系统对图像的自然语言解析更自然，更贴近我们基于本能的理解能力，并且能对不同的对象呈现不同的表达，即生成个性化语义分析。

【技术实现步骤摘要】
一种基于深度学习的图像个性化语义分析方法、装置及设备
本专利技术涉及图像语义分析领域，特别是涉及一种基于深度学习的图像个性化语义分析方法、装置、设备及计算机可读存储介质。
技术介绍
随着信息时代的来临，与日俱增的多媒体数据出现在人们日常的工作中、生活中。在人们日常的交流中，图像，音频，视频等作为主要的媒介，其中图像数据是人们信息沟通、情感表达的重要工具。图像数据从视觉上更加直观，情感表达上更加丰富。正是因为这样，人们在互联网上进行上传、下载的图像数据日益增加，这些大量的图像数据需要进行妥善的管理和存储，如何将图像自动的转化为我们熟悉的自然语言，便于各样理解与利用。同时，这些图像数据具有很大的挖掘价值，但它们大都没有标签批注，很难对其进行分类，所以需要对这些数据进行有效的自然语言转译。人工对图像数据进行自然语言标注，不仅消耗大量的时间和精力，同时效率也极其低下。因此，采用自动化的方式对图像数据进行自然语言转译等有效的管理和使用，一直是图像领域研究的人们话题。近年来，对图像数据进行自然语言转译领域，虽有一些技术方案，比如基于深度学习的图像推荐系统，或图像自然语言描述，可依旧存在图像信号噪声大致使生成结果不准确和无法针对不同对象生成不同的个性化描述的问题。
技术实现思路
本专利技术的目的是提供一种基于深度学习的图像个性化语义分析方法、装置、设备及计算机可读存储介质，以解决现有技术中图像语义分析表达生硬，且对不同对象生成的表达类似的问题。为解决上述技术问题，本专利技术提供一种基于深度学习的图像个性化语义分析方法，包括：将原始图像信号导入卷积网络，生成高层抽象语义向量；将所述高层抽象语义向量进行相似度计算，得到一级语义向量；将所述一级语义向量进行序列到序列的转换，输出转换后的语义词向量；将所述语义词向量与特征词向量进行词向量融合，得到二级语义词向量；将所述二级语义词向量与先验集进行对照；当所述二级语义词向量在先验集限定的语义风格因子范围内时，输出所述二级语义词向量，得到图像语义的分析结果。可选的，在将所述二级语义词向量与输出环境的先验集进行对照之后，还包括：当所述二级语义词向量不全在先验集限定的语义风格因子范围内时，对所述二级语义词向量进行中文分词替换或去掉不在所述先验集范围内的词向量分量，输出处理后的词向量，得到图像语义的分析结果。可选的，在将所述二级语义词向量与输出环境的先验集进行对照之后，还包括：当所述二级语义词向量不在先验集限定的语义风格因子范围内时，将所述二级语义词向量舍弃，并报错。可选的，所述将所述语义词向量与特征词向量进行词向量融合包括：将所述语义词向量与通过深度学习的推荐系统策略得出的特征词向量进行词向量融合。可选的，所述将所述一级语义向量进行序列到序列的转换包括：将所述一级语义向量通过长短时记忆网络进行序列到序列的转换。可选的，在所述得到图像语义的分析结果之后，还包括：输出所述二级语义词向量与先验集的匹配程度百分数。本专利技术还提供了一种基于深度学习的图像个性化语义分析装置，包括：卷积神经模块，用于将原始图像信号导入卷积网络，生成高层抽象语义向量；相似度计算模块，用于将所述高层抽象语义向量进行相似度计算，得到一级语义向量；序列转换模块，用于将所述一级语义向量进行序列到序列的转换，输出转换后的语义词向量；融合模块，用于将所述语义词向量与通过深度学习的推荐系统策略得出的特征词向量，进行词向量融合，得到二级语义词向量；对照模块，用于将所述二级语义词向量与输出环境的先验集进行对照，当所述二级语义词向量在先验集限定的语义风格因子范围内时，输出所述二级语义词向量，得到图像语义的分析结果。可选的，所述对照模块还用于：当所述二级语义词向量不全在先验集限定的语义风格因子范围内时，对所述二级语义词向量进行中文分词替换或去掉不在所述先验集范围内的词向量分量，输出处理后的词向量，得到图像语义的分析结果。本专利技术一种基于深度学习的图像个性化语义分析设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上述任一项所述的基于深度学习的图像个性化语义分析方法的步骤。本专利技术还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求上述任一项所述的基于深度学习的图像个性化语义分析方法的步骤。本专利技术所提供的基于深度学习的图像个性化语义分析方法，通过将原始图像信号导入卷积网络，生成高层抽象语义向量；将所述高层抽象语义向量进行相似度计算，得到一级语义向量；将所述一级语义向量进行序列到序列的转换，输出转换后的语义词向量；将所述语义词向量与特征词向量进行词向量融合，得到二级语义词向量；将所述二级语义词向量与先验集进行对照；当所述二级语义词向量在先验集限定的语义风格因子范围内时，输出所述二级语义词向量，得到图像语义的分析结果。本申请通过在图像数据进行序列到序列的转换前，先通过卷积网络生成可以表示图像的紧致的高层语义信息，提升了语义分析的准确度，同时通过加入混合推荐，使经序列到序列的转换后得到的语义词向量能针对不同对象呈现不同的表达，实现图像的个性化语义分析。本申请还提供了一种具有上述技术优点的装置、设备及计算机可读存储介质。附图说明为了更清楚的说明本专利技术实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术所提供的基于深度学习的图像个性化语义分析方法的具体实施方式1的流程图；图2为本专利技术所提供的基于深度学习的图像个性化语义分析方法的具体实施方式2的流程图；图3为本专利技术所提供的基于深度学习的图像个性化语义分析方法的具体实施方式3的流程图；图4为本专利技术所提供的基于深度学习的图像个性化语义分析方法的具体实施方式4的流程图；图5为本专利技术所提供的基于深度学习的图像个性化语义分析方法的具体实施方式5的流程图；图6为本专利技术所提供的基于深度学习的图像个性化语义分析方法的具体实施方式6的流程图；图7为本专利技术实施例所提供的基于深度学习的图像个性化语义分析装置的结构框图。具体实施方式本申请中的“个性化语义分析方法”，具体是指针对不同对象，能结合对象特点给出不同的语义分析。在现代生活中，图像数据正越来越多的出现在人们的日常会话与情感表达中，人们在处理如此庞大的图像数据时不可避免地要面对两个问题，一是如此庞大的数据如何归类存储，如果动用人力为图像手动添加标签进行归类恐怕难以胜任，二是如何挖掘这些图像数据背后的价值，通过对人们发送的图像数据的解析，不难得出人们眼中的关注点。问题一要求系统对图像的语义分析更加精准，能准确分析出图像内容，自动添加标签进行分类，问题二要求系统能够根据具体需求对不同对象导出不同结果，举例来说，使用者想知道现在市场上最受欢迎的宠物狗是什么种类，则系统在分析海量图像数据时，提取的分析结果要在一定程度上凸显图像中的狗的种类的描述，即实现对不同对象的个性化表达。为了使本
的人员更好地理解本专利技术方案，下面结合附图和具体实施方式对本专利技术作进一步的详细说明。显然，所描述的实施例仅仅是本专利技术一本文档来自技高网...

【技术保护点】
1.一种基于深度学习的图像个性化语义分析方法，其特征在于，包括：将原始图像信号导入卷积网络，生成高层抽象语义向量；将所述高层抽象语义向量进行相似度计算，得到一级语义向量；将所述一级语义向量进行序列到序列的转换，输出转换后的语义词向量；将所述语义词向量与特征词向量进行词向量融合，得到二级语义词向量；将所述二级语义词向量与先验集进行对照；当所述二级语义词向量在先验集限定的语义风格因子范围内时，输出所述二级语义词向量，得到图像语义的分析结果。

【技术特征摘要】
1.一种基于深度学习的图像个性化语义分析方法，其特征在于，包括：将原始图像信号导入卷积网络，生成高层抽象语义向量；将所述高层抽象语义向量进行相似度计算，得到一级语义向量；将所述一级语义向量进行序列到序列的转换，输出转换后的语义词向量；将所述语义词向量与特征词向量进行词向量融合，得到二级语义词向量；将所述二级语义词向量与先验集进行对照；当所述二级语义词向量在先验集限定的语义风格因子范围内时，输出所述二级语义词向量，得到图像语义的分析结果。2.如权利要求1所述的基于深度学习的图像个性化语义分析方法，其特征在于，在将所述二级语义词向量与先验集进行对照之后，还包括：当所述二级语义词向量不全在先验集限定的语义风格因子范围内时，对所述二级语义词向量进行中文分词替换或去掉不在所述先验集范围内的词向量分量，输出处理后的词向量，得到图像语义的分析结果。3.如权利要求1所述的基于深度学习的图像个性化语义分析方法，其特征在于，在将所述二级语义词向量与先验集进行对照之后，还包括：当所述二级语义词向量不在先验集限定的语义风格因子范围内时，将所述二级语义词向量舍弃，并报错。4.如权利要求1所述的基于深度学习的图像个性化语义分析方法，其特征在于，所述将所述语义词向量与特征词向量进行词向量融合包括：将所述语义词向量与通过深度学习的推荐系统策略得出的特征词向量进行词向量融合。5.如权利要求1所述的基于深度学习的图像个性化语义分析方法，其特征在于，所述将所述一级语义向量进行序列到序列的转换包括：将所述一级语义向量通过长短时记忆网络进行序列到序列的转换。6.如权利要求1、2、4、5中任一项...

【专利技术属性】
技术研发人员：何立健，林穗，翁海瑞，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东,44