一种基于分布词向量CNN网络的图像描述方法及系统技术方案

本发明专利技术提出了一种基于分布词向量CNN网络的图像描述方法及系统，涉及智能图像处理技术领域。包括预设语言库；对语言库进行词向量生成处理获得对应的词向量集；对每个词进行识别，利用互联网采集相关图片进行分类，分类后存储至原始图片库；利用CNN网络模型进行特征提取和分类，获得第一参照库；持续采集图片，继续利用CNN网络模型对处理得到第二参照库；将图片带入CNN网络模型进行特征提取，并进行分类，若分类结果不符合第二参照库内的所有图片，即非需要的图片；反之则输出图片的图像描述。其能够对参照库进行实时更新，由此即使随着时间的变迁，图片出现新的状态也能够进行有效的识别，并给出准确的图片描述，提高了准确性。性。性。

【技术实现步骤摘要】
一种基于分布词向量CNN网络的图像描述方法及系统


[0001]本专利技术涉及智能图像处理
，具体而言，涉及一种基于分布词向量CNN网络的图像描述方法及系统。

技术介绍

[0002]在计算机视觉领域中，随着图像分类、目标检测、语义分割等基本视觉任务不断突破。人们的兴趣逐渐转向图像描述这个更复杂、更高级的视觉任务。图像描述的具体任务是生成图像中语义信息的描述性语句，因此，不仅仅需要识别和理解(指动作)图像中的相关内容，而且要以自然语言的形式对其描述。在盲人辅助系统、图像检索、智能交互系统等实际应用中，这种用图像生成对应自然语言描述的能力至关重要。但现有技术中，基本采用一些开源的图片库作为图像描述训练的对象，虽然采用的数量较多，但由于现实生活中变化状态的图像远远大于开源库内的数量，由此必然会出现图像描述不准确的情况出现，由此需要一种基于分布词向量CNN网络的图像描述方法。

技术实现思路

[0003]本专利技术的目的在于提供一种基于分布词向量CNN网络的图像描述方法，其能够对参照库进行实时更新，由此即使随着时间的变迁，图片出现新的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布词向量CNN网络的图像描述方法，其特征在于，包括：预设语言库；对所述语言库进行词向量生成处理，获取所述语言库对应的词向量集；获取训练用的每张图片语义所对应的词向量，得到语义向量集；对所述语言库的每个词进行识别，获取固定长度的词向量并组成对应的词汇表；利用互联网采集所述语言库内词语语义的多个相关图片；对采集的图片进行分类，将同一语义相关的图片和词向量存储至同一个原始图片库内；利用CNN网络模型对所述原始图片库内的图片进行特征提取，并进行深度学习分类，获得第一参照库；持续在互联网采集图片，根据第一参照库，利用CNN网络模型对持续采集的图片，并进行循环深度学习分类，得到第二参照库；获取待处理图片；将所述待处理图片带入CNN网络模型进行特征提取，并进行分类，若分类结果不符合第二参照库内的所有图片，即非需要的图片；若分类结果符合所述第二参照库的图片，则输出所述图片对应语义内容的图像描述。2.如权利要求1所述的一种基于分布词向量CNN网络的图像描述方法，利用互联网采集所述语言库内词语语义的多个相关图片的步骤包括：在检索程序内依次输入所述语言库的文字，利用搜索引擎得到输入文字相关的图片后，进行下载采集。3.如权利要求1所述的一种基于分布词向量CNN网络的图像描述方法，所述CNN网络模型采用以Sobel为内核的可分离的卷积神经网络模型。4.如权利要求1所述的一种基于分布词向量CNN网络的图像描述方法，若分类结果不符合第二参照库内的所有图片，即非需要的图片后的步骤包括：将所述非需要的图片进行删除，并标记原下载地址，当再次检索至所述地址后，不再进行采集。5.如权利要求1所述的一种基于分布词向量CNN网络的图像描述方法，获取待处理图片的步骤包括：利用摄像头或从互联网下载获取待处理图片。6.如权利要求1所述的一种基于分布词向量CNN网络的图像描述方法，对所述语言库的每个词...

【专利技术属性】
技术研发人员：黄茂芹，
申请(专利权)人：广东赛昉科技有限公司，
类型：发明
国别省市：