图像分类方法、装置及终端制造方法及图纸

本发明专利技术实施例提供了一种图像分类方法、装置及终端，其中所述方法包括：通过卷积神经网络确定图像对应的图像特征向量；其中，所述图像对应有文字描述信息；通过双向循环神经网络对所述文字描述信息进行处理，得到文字特征向量；将所述图像特征向量和文字特征向量融合，得到目标特征向量；调用深度神经网络，由所述深度神经网络依据所述目标特征向量确定所述图像对应的分类。通过本发明专利技术实施例提供的图像分类方案，能够提升图像分类的准确性。

【技术实现步骤摘要】
图像分类方法、装置及终端
本专利技术涉及图像处理
，特别是涉及一种图像分类方法、装置及终端。
技术介绍
深度学习在视频图像、语音识别、自然语言处理等相关领域得到了广泛应用。卷积神经网络作为深度学习的一个重要分支，由于其超强的拟合能力以及端到端的全局优化能力，使得其在目标检测、分类等计算机视觉任务中所得预测结果的精度大幅提升。目前对图像进行分类时，依据图像自身的特征在预定的标签体系下匹配得到图像对应的标签，依据标签确定图像所属的分类，所得分类结果准确性差。而在实际应用场景中，用户在上传一个图像之后，还会为该图像追加一段简单的文字描述，而这段文字描述对图像的分类而言，也具有一定的参考价值。可见，如何获取图像的全面信息，依据所获取的全面信息对图像进行分类以提升图像分类的准确性，是目前本领域技术人员成为待解决的问题。
技术实现思路
本专利技术实施例提供一种图像分类方法、装置及终端，以解决现有技术中存在图像分类结果准确性差的问题。依据本专利技术的一个方面，提供了一种图像分类方法，所述方法包括：通过卷积神经网络确定图像对应的图像特征向量；其中，所述图像对应有文字描述信息；通过双向循环神经网络对所述文字描述信息进行处理，得到文字特征向量；将所述图像特征向量和文字特征向量融合，得到目标特征向量；调用深度神经网络，由所述深度神经网络依据所述目标特征向量确定所述图像对应的分类。可选地，所述通过双向循环神经网络对所述文字描述信息进行处理，得到文字特征向量的步骤，包括：去除所述文字描述信息中的停用词，得到多个分词；针对每个所述分词，确定所述分词在文字特征集合中的位置信息，依据所述位置信息生成分词对应的索引数值；其中，所述文字特征集合通过对样本图像对应的文字描述信息训练得到；调用嵌入网络，由所述嵌入网络依据各所述分词对应的索引数值确定各分词对应的特征向量；通过所述双向循环神经网络对各分词对应的特征向量进行处理，得到一个预设长度的文字特征向量。可选地，所述将所述图像特征向量和文字特征向量融合，得到目标特征向量的步骤，包括：将所述文字特征向量和所述图像特征向量，映射为维度相同的向量；将映射后的文字特征向量和图像特征向量逐维度融合，生成目标特征向量。可选地，在所述通过卷积神经网络确定图像对应的图像特征向量的步骤之前，所述方法还包括：获取各样本图像；针对每个样本图像，确定所述样本图像是否对应文字描述信息；若否，确定所述样本图像对应的文字特征子集合为空；若是，去除所述文字描述信息中的停用词得到多个分词，将各所述分词的集合作为所述样本图像对应的文字特征子集合；将各样本图像对应的文字特征子集合求并集，得到文字特征集合。依据本专利技术的另一个方面，提供了一种图像分类装置，所述装置包括：确定模块，被配置为通过卷积神经网络确定图像对应的图像特征向量；其中，所述图像对应有文字描述信息；向量生成模块，被配置为通过双向循环神经网络对所述文字描述信息进行处理，得到文字特征向量；融合模块，被配置为将所述图像特征向量和文字特征向量融合，得到目标特征向量；调用模块，被配置为调用深度神经网络，由所述深度神经网络依据所述目标特征向量确定所述图像对应的分类。可选地，所述向量生成模块包括：分词子模块，被配置为去除所述文字描述信息中的停用词，得到多个分词；索引值生成子模块，被配置为针对每个所述分词，确定所述分词在文字特征集合中的位置信息，依据所述位置信息生成分词对应的索引数值；其中，所述文字特征集合通过对样本图像对应的文字描述信息训练得到；第一调用子模块，被配置为调用嵌入网络，由所述嵌入网络依据各所述分词对应的索引数值确定各分词对应的特征向量；第二调用子模块，被配置为通过所述双向循环神经网络对各分词对应的特征向量进行处理，得到一个预设长度的文字特征向量。可选地，所述融合模块包括：映射子模块，被配置为将所述文字特征向量和所述图像特征向量，映射为维度相同的向量；融合子模块，被配置为将映射后的文字特征向量和图像特征向量逐维度融合，生成目标特征向量。可选地，所述装置还包括：获取模块，被配置为在所述确定模块通过卷积神经网络确定图像对应的图像特征向量之前，获取各样本图像；子集合确定模块，被配置为针对每个样本图像，确定所述样本图像是否对应文字描述信息；若否，确定所述样本图像对应的文字特征子集合为空；若是，去除所述文字描述信息中的停用词得到多个分词，将各所述分词的集合作为所述样本图像对应的文字特征子集合；特征集合确定模块，被配置为将各样本图像对应的文字特征子集合求并集，得到文字特征集合。根据本专利技术的再一方面，提供了一种终端，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像分类程序，所述图像分类程序被所述处理器执行时实现本专利技术中所述的任意一种图像分类方法的步骤。根据本专利技术的又一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有图像分类程序，所述图像分类程序被处理器执行时实现本专利技术中所述的任意一种图像分类方法的步骤。与现有技术相比，本专利技术具有以下优点：本专利技术实施例提供的图像分类方案，以卷积神经网络为基础作为图像特征提取的主干网络得到图像对应的图像特征向量，以双向循环神经网络为基础作为文字特征提取的主干网络得到图像所对应的文字描述信息的文字特征向量，以深度神经网络作为图像特征以及文本特征融合的主干网络，将图像特征向量和文字特征向量融合得到目标特征向量，依据目标特征向量确定图像在不同标签下的权重从而确定图像对应的分类，能够提升图像分类的准确性。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1是根据本专利技术实施例一的一种图像分类方法的步骤流程图；图2是根据本专利技术实施例二的一种图像分类方法的步骤流程图；图3是根据本专利技术实施例三的一种图像分类装置的结构框图；图4是根据本专利技术实施例四的一种终端的结构框图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。实施例一参照图1，示出了本专利技术实施例一的一种图像分类方法的步骤流程图。本专利技术实施例的图像分类方法可以包括以下步骤：步骤101：通过卷积神经网络确定图像对应的图像特征向量。其中，图像对应有文字描述信息。文字描述信息可以为用户在上传该图像之后，追加上传的文字描述信息，也可以为图像中包含的文字描述信息。本专利技术实施例中图像可以为视频中的单帧图像，也可以仅为一个多媒体图像。一张图像输入到卷积神经网络中，经过卷积层或者池化层之后会得到图像特征图向量，图像特征向量中包含多个点，每个点对应一张特征图以及一个权重值。对于将图像输入卷积神经网络中，得到图像对应的图像特征向本文档来自技高网...

【技术保护点】
1.一种图像分类方法，其特征在于，所述方法包括：通过卷积神经网络确定图像对应的图像特征向量；其中，所述图像对应有文字描述信息；通过双向循环神经网络对所述文字描述信息进行处理，得到文字特征向量；将所述图像特征向量和文字特征向量融合，得到目标特征向量；调用深度神经网络，由所述深度神经网络依据所述目标特征向量确定所述图像对应的分类。

【技术特征摘要】
1.一种图像分类方法，其特征在于，所述方法包括：通过卷积神经网络确定图像对应的图像特征向量；其中，所述图像对应有文字描述信息；通过双向循环神经网络对所述文字描述信息进行处理，得到文字特征向量；将所述图像特征向量和文字特征向量融合，得到目标特征向量；调用深度神经网络，由所述深度神经网络依据所述目标特征向量确定所述图像对应的分类。2.根据权利要求1所述的方法，其特征在于，所述通过双向循环神经网络对所述文字描述信息进行处理，得到文字特征向量的步骤，包括：去除所述文字描述信息中的停用词，得到多个分词；针对每个所述分词，确定所述分词在文字特征集合中的位置信息，依据所述位置信息生成分词对应的索引数值；其中，所述文字特征集合通过对样本图像对应的文字描述信息训练得到；调用嵌入网络，由所述嵌入网络依据各所述分词对应的索引数值确定各分词对应的特征向量；通过所述双向循环神经网络对各分词对应的特征向量进行处理，得到一个预设长度的文字特征向量。3.根据权利要求1所述的方法，其特征在于，所述将所述图像特征向量和文字特征向量融合，得到目标特征向量的步骤，包括：将所述文字特征向量和所述图像特征向量，映射为维度相同的向量；将映射后的文字特征向量和图像特征向量逐维度融合，生成目标特征向量。4.根据权利要求1所述的方法，其特征在于，在所述通过卷积神经网络确定图像对应的图像特征向量的步骤之前，所述方法还包括：获取各样本图像；针对每个样本图像，确定所述样本图像是否对应文字描述信息；若否，确定所述样本图像对应的文字特征子集合为空；若是，去除所述文字描述信息中的停用词得到多个分词，将各所述分词的集合作为所述样本图像对应的文字特征子集合；将各样本图像对应的文字特征子集合求并集，得到文字特征集合。5.一种图像分类装置，其特征在于，所述装置包括：确定模块，被配置为通过卷积神经网络确定图像对应的图像特征向量；其中，所述图像对应有文字描述信息；向量生成模块，被配置为通过双向循环神经网络对所述文字描述信息进行处理，得到文字特征向量；融合模块，被配置为将所述图像特征...

【专利技术属性】
技术研发人员：张志伟，杨帆，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京,11