图像识别方法、装置、计算机可读介质和电子设备制造方法及图纸

一种图像识别方法、装置、计算机可读介质和电子设备。该方法包括：基于预设的待识别图像的图像特征的知识图谱，对待训练的图神经网络模型进行训练；基于训练完成的图神经网络模型，根据输入的待识别图像，以及输入的与待识别图像中的图像特征对应的音频数据，对待识别图像进行识别，得到待识别图像的识别结果；其中，音频数据用于定义图像特征的特征属性。本申请实施例在对待识别图像进行识别过程中，融合了图像特征的音频数据，直接对待识别图像进行处理，而不需要再将图像转化为字符，提高了图像识别时的识别准确率。

【技术实现步骤摘要】
图像识别方法、装置、计算机可读介质和电子设备
本申请实施例涉及人工智能
，尤其涉及一种图像识别方法、图像识别装置、计算机可读介质和电子设备。
技术介绍
NLP(Neuro-LinguisticProgramming，自然语言处理)是计算机科学领域与人工智能领域中的一个重要方法，是一门融语言学、计算机科学、数学于一体的科学。在通过NLP方法对图像进行识别时，通常是利用训练图像样本对NLP模型进行训练，利用训练完成的NLP模型对图像进行识别。比如，基于OCR(OpticalCharacterRecognition，光学字符识别)方法，基于训练完成的识别模型，通过暗、亮模式检测待识别图像，确定待识别图像中特征的形状，然后用字符识别方法将形状转译为计算机可识别的字符，达到识别图像的目的。
技术实现思路
但是，在现有技术中，利用训练图像样本对NLP模型进行训练，训练完成的NLP模型通过字符对图像进行识别，在图像的识别过程中，存在着明显的局限。有鉴于此，本申请实施例提供一种图像识别方法、图像识别装置、计算机可读介质和电子设备。本申请实施例提供了一种图像识别方法，包括：基于预设的待识别图像的图像特征的知识图谱，对待训练的图神经网络模型进行训练；基于训练完成的所述图神经网络模型，根据输入的所述待识别图像，以及输入的与所述待识别图像中的图像特征对应的音频数据，对所述待识别图像进行识别，得到所述待识别图像的识别结果；其中，所述音频数据用于定义所述图像特征的特征属性。可选地，在本申请的任一实施例中，所述基于预设的待识别图像的图像特征的知识图谱，对待训练的图神经网络模型进行训练，包括：根据输入的多媒体样本数据中的多帧样本图像，以及所述多媒体样本数据中，与所述样本图像中的图像特征对应的音频样本数据，构建所述图像特征的知识图谱，其中，所述音频样本数据用于定义所述样本图像中的图像特征的特征属性；根据所述知识图谱，对待训练的所述图神经网络模型进行训练。可选地，在本申请的任一实施例中，所述根据输入的多媒体样本数据中的多帧样本图像，以及所述多媒体样本数据中，与所述样本图像中的图像特征对应的音频样本数据，构建所述图像特征的知识图谱，包括：选取多帧所述样本图像中包含有所述图像特征的一帧所述样本图像进行分割，生成N个样本子图像，其中，N为正整数；根据N个所述样本子图像，以及与所述图像特征对应的所述音频样本数据，构建包含N+1个节点的所述知识图谱。可选地，在本申请的任一实施例中，所述根据N个所述样本子图像，以及与所述图像特征对应的所述音频样本数据，构建包含N+1个节点的所述知识图谱，包括：基于预设的卷积神经网络模型，对N个所述样本子图像分别进行特征提取，得到每个所述样本子图像的图像样本特征编码；基于所述卷积神经网络模型，对所述音频样本数据进行特征提取，得到所述音频样本数据的音频样本特征编码；根据所述音频样本特征编码和N个所述图像样本特征编码，构建包含N+1个节点的所述知识图谱。可选地，在本申请的任一实施例中，所述根据所述知识图谱，对待训练的所述神经网络模型进行训练，包括：根据所述知识图谱中节点之间的属性关系，对待训练的所述图神经网络模型进行训练。可选地，在本申请的任一实施例中，所述基于训练完成的所述图神经网络模型，根据输入的待识别图像，以及输入的与所述待识别图像中的图像特征对应的音频数据，对所述待识别图像进行识别，得到所述待识别图像的识别结果，包括：对输入的所述待识别图像进行分割，生成多个子图像；提取多个所述子图像的图像特征，以及所述音频数据的音频特征；基于所述图神经网络模型，根据所述图像特征和所述音频特征，得到所述待识别图像的特征编码；对所述待识别图像的特征编码进行解码，得到所述待识别图像的识别结果。可选地，在本申请的任一实施例中，所述对所述待识别图像的特征编码进行解码，得到所述待识别图像的识别结果，包括：对所述待识别图像的特征编码进行硬解码和/或软解码，得到所述待识别图像的识别结果。本申请实施例还提供一种图像识别装置，包括：模型准备单元，配置为基于预设的待识别图像的图像特征的知识图谱，对待训练的图神经网络模型进行训练；识别单元，配置为基于训练完成的所述图神经网络模型，根据输入的所述待识别图像，以及与所述待识别图像中的图像特征对应的音频数据，对所述待识别图像进行识别，得到所述待识别图像的识别结果；其中，所述音频数据用于定义所述图像特征的特征属性。可选地，在本申请的任一实施例中，所述模型准备单元，包括：图谱子单元，配置为根据输入的多媒体样本数据中的多帧样本图像，以及所述多媒体样本数据中，与所述样本图像中的图像特征对应的音频样本数据，构建所述图像特征的知识图谱，其中，所述音频样本数据用于定义所述样本图像中的图像特征的特征属性；训练子单元，配置为根据所述知识图谱，对待训练的图神经网络模型进行训练。可选地，在本申请的任一实施例中，所述图谱子单元，包括：样本分割模块，配置为选取多帧所述样本图像中包含有所述图像特征的一帧所述样本图像进行分割，生成N个样本子图像，其中，N为正整数；构建模块，配置为根据N个所述样本子图像，以及与所述图像特征对应的所述音频样本数据，构建包含N+1个节点的所述知识图谱。可选地，在本申请的任一实施例中，所述构建模块，包括：第一提取子模块，配置为基于预设的卷积神经网络模型，对N个所述样本子图像分别进行特征提取，得到每个所述样本子图像的图像样本特征编码；第二提取子模块，配置为基于所述卷积神经网络模型，对所述音频样本数据进行特征提取，得到所述音频样本数据的音频样本特征编码；图谱建立子模块，配置为根据所述音频样本特征编码和N个所述图像样本特征编码，构建包含N+1个节点的所述知识图谱。可选地，在本申请的任一实施例中，所述训练子单元，进一步配置为：根据所述知识图谱中节点之间的属性关系，对待训练的所述图神经网络模型进行训练。可选地，在本申请的任一实施例中，所述识别单元，包括：识别分割子单元，配置为对输入的所述待识别图像进行分割，生成多个子图像；提取子单元，配置为提取多个所述子图像的图像特征，以及所述音频数据的音频特征；编码子单元，配置为基于所述图神经网络模型，根据所述图像特征和所述音频特征，得到所述待识别图像的特征编码；解码子单元，配置为对所述待识别图像的特征编码进行解码，得到所述待识别图像的识别结果。可选地，在本申请的任一实施例中，所述解码子单元，进一步配置为，对所述待识别图像的特征编码进行硬解码和/或软解码，得到所述待识别图像的识别结果。本申请实施例还提供一种计算机可读介质，其上存储有计算机程序，所述程序为上述任一实施例所述的图像识别方法。本申请实施例还提供一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的程序，所述处理器执行所述程序时实现如下步骤：基于预设的待识别图像的图像特征的知识图谱，对待训练的图神经网络模型进行训练；基于训练完成的所述图神经网络模型，根据输入的所述待识别图像，以及输入的与所述本文档来自技高网...

【技术保护点】
1.一种图像识别方法，其特征在于，包括：/n基于预设的待识别图像的图像特征的知识图谱，对待训练的图神经网络模型进行训练；/n基于训练完成的所述图神经网络模型，根据输入的所述待识别图像，以及输入的与所述待识别图像中的图像特征对应的音频数据，对所述待识别图像进行识别，得到所述待识别图像的识别结果；其中，所述音频数据用于定义所述图像特征的特征属性。/n

【技术特征摘要】
1.一种图像识别方法，其特征在于，包括：
基于预设的待识别图像的图像特征的知识图谱，对待训练的图神经网络模型进行训练；
基于训练完成的所述图神经网络模型，根据输入的所述待识别图像，以及输入的与所述待识别图像中的图像特征对应的音频数据，对所述待识别图像进行识别，得到所述待识别图像的识别结果；其中，所述音频数据用于定义所述图像特征的特征属性。


2.根据权利要求1所述的方法，其特征在于，所述基于预设的待识别图像的图像特征的知识图谱，对图神经网络模型进行训练，包括：
根据输入的多媒体样本数据中的多帧样本图像，以及所述多媒体样本数据中，与所述样本图像中的图像特征对应的音频样本数据，构建所述图像特征的知识图谱；其中，所述音频样本数据用于定义所述样本图像中的图像特征的特征属性；
根据所述知识图谱，对待训练的所述图神经网络模型进行训练。


3.根据权利要求2所述的方法，其特征在于，所述根据输入的多媒体样本数据中的多帧样本图像，以及所述多媒体样本数据中，与所述样本图像中的图像特征对应的音频样本数据，构建所述图像特征的知识图谱，包括：
选取多帧所述样本图像中包含有所述图像特征的一帧所述样本图像进行分割，生成N个样本子图像，其中，N为正整数；
根据N个所述样本子图像，以及与所述图像特征对应的所述音频样本数据，构建包含N+1个节点的所述知识图谱。


4.根据权利要求3所述的方法，其特征在于，所述根据N个所述样本子图像，以及与所述图像特征对应的所述音频样本数据，构建包含N+1个节点的所述知识图谱，包括：
基于预设的卷积神经网络模型，对N个所述样本子图像分别进行特征提取，得到每个所述样本子图像的图像样本特征编码；
基于所述卷积神经网络模型，对所述音频样本数据进行特征提取，得到所述音频样本数据的音频样本特征编码；
根据所述音频样本特征编码和N个所述图像样本特征编码，构建包含N+1个所述节点的所述知识图谱。


5.根据权利要求2所述的方法，其特征在于，所述根据所述知识图谱，对待训练的所述图神经网络模型进行训练，包括：根据所述...

【专利技术属性】
技术研发人员：陈志熙，
申请(专利权)人：南京星火技术有限公司，
类型：发明
国别省市：江苏;32