模型训练方法、系统、计算机可读介质和电子设备技术方案

一种模型训练方法、系统、计算机可读介质和电子设备。该模型训练方法包括：根据输入的多媒体数据中的多帧视频图像，以及所述多媒体数据中，与所述视频图像中的图像特征对应的音频数据，构建所述图像特征的知识图谱；其中，所述音频数据用于定义所述图像特征的特征属性；根据所述知识图谱，对待训练的神经网络模型进行训练。该方法避免了使用单一的训练图像对神经网络模型进行训练，同时对图像和声音采样并提取特征，避免了转化成字符的过程，提高了神经网络模型训练的精度和质量。

【技术实现步骤摘要】
模型训练方法、系统、计算机可读介质和电子设备
本申请实施例涉及人工智能
，尤其涉及一种模型训练方法、模型训练系统、计算机可读介质和电子设备。
技术介绍
NLP(Neuro-LinguisticProgramming，自然语言处理)是计算机科学领域与人工智能领域中的一个重要方法，是一门融语言学、计算机科学、数学于一体的科学。在通过NLP方法对图像进行识别时，通常是利用训练图像对NLP模型进行训练，利用训练完成的NLP模型对图像进行识别。比如，基于OCR(OpticalCharacterRecognition，光学字符识别)方法，基于训练完成的识别模型，通过暗、亮模式检测待识别图像，确定待识别图像中特征的形状，然后用字符识别方法将形状转译为计算机可识别的字符，达到识别图像的目的。
技术实现思路
但是，在现有技术中，利用训练图像对NLP模型进行训练，通过这种方法训练完成的NLP模型在图像的识别过程中，存在着明显的局限。有鉴于此，本申请实施例提供一种模型训练方法、系统、计算机可读介质和电子设备。本申请实施例提供了一种模型训练方法，包括：根据输入的多媒体数据中的多帧视频图像，以及所述多媒体数据中，与所述视频图像中的图像特征对应的音频数据，构建所述图像特征的知识图谱；其中，所述音频数据用于定义所述图像特征的特征属性；根据所述知识图谱，对待训练的神经网络模型进行训练。可选地，在本申请的任一实施例中，所述根据输入的多媒体数据中的多帧视频图像，以及所述多媒体数据中，与所述视频图像中的图像特征对应的音频数据，构建所述图像特征的知识图谱，包括：选取多帧所述视频图像中包含有所述图像特征的一帧所述视频图像进行分割，生成N个视频子图像，其中，N为正整数；根据N个所述视频子图像，以及与所述图像特征对应的所述音频数据，构建包含N+1个节点的所述知识图谱。可选地，在本申请的任一实施例中，所述根据N个所述视频子图像，以及与所述图像特征对应的所述音频数据，构建包含N+1个节点的所述知识图谱，包括：基于预设的卷积神经网络模型，对N个所述视频子图像分别进行特征提取，得到每个所述视频子图像的图像特征编码；基于所述卷积神经网络模型，对所述音频数据进行特征提取，得到所述音频数据的音频特征编码；根据所述音频特征编码和N个所述图像特征编码，构建包含N+1个节点的所述知识图谱。可选地，在本申请的任一实施例中，所述根据所述知识图谱，对待训练的神经网络模型进行训练，包括：根据所述知识图谱中节点之间的属性关系，对待训练的所述神经网络模型进行训练。可选地，在本申请的任一实施例中，待训练的所述神经网络模型为图神经网络模型。本申请实施例还提供一种模型训练系统，包括：图谱单元，配置为根据输入的多媒体数据中的多帧视频图像，以及所述多媒体数据中，与所述视频图像中的图像特征对应的音频数据，构建所述图像特征的知识图谱；其中，所述音频数据用于定义所述图像特征的特征属性；训练单元，配置为根据所述知识图谱，对待训练的神经网络模型进行训练。可选地，在本申请的任一实施例中，所述图片单元，包括：分割子单元，配置为选取多帧所述视频图像中包含有所述图像特征的一帧所述视频图像进行分割，生成N个视频子图像，其中，N为正整数；构建子单元，配置为根据N个所述视频子图像，以及与所述图像特征对应的所述音频数据，构建包含N+1个节点的所述知识图谱。可选地，在本申请的任一实施例中，所述构建子单元，包括：第一提取模块，配置为基于预设的卷积神经网络模型，对N个所述视频子图像分别进行特征提取，得到每个所述视频子图像的图像特征编码；第二提取模块，配置为基于所述卷积神经网络模型，对所述音频数据进行特征提取，得到所述音频数据的音频特征编码；图谱建立模块，配置为根据所述音频特征编码和N个所述图像特征编码，构建包含N+1个节点的所述知识图谱。可选地，在本申请的任一实施例中，所述训练单元，进一步配置为：根据所述知识图谱中节点之间的属性关系，对待训练的神经网络模型进行训练。本申请实施例还提供一种计算机可读介质，其上存储有计算机程序，所述程序为上述任一实施例所述的模型训练方法。本申请实施例还提供一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的程序，所述处理器执行所述程序时实现如下步骤：根据输入的多媒体数据中的多帧视频图像，以及所述多媒体数据中，与所述视频图像中的图像特征对应的音频数据，构建所述图像特征的知识图谱；其中，所述音频数据用于定义所述图像特征的特征属性；根据所述知识图谱，对待训练的神经网络模型进行训练。可选地，在本申请的任一实施例中，所述处理器执行所述根据输入的多媒体数据中的多帧视频图像，以及所述多媒体数据中，与所述视频图像中的图像特征对应的音频数据，构建所述图像特征的知识图谱的步骤，包括：选取多帧所述视频图像中包含有所述图像特征的一帧所述视频图像进行分割，生成N个视频子图像，其中，N为正整数；根据N个所述视频子图像，以及与所述图像特征对应的所述音频数据，构建包含N+1个节点的所述知识图谱。可选地，在本申请的任一实施例中，所述处理器执行所述根据N个所述视频子图像，以及与所述图像特征对应的所述音频数据，构建包含N+1个节点的所述知识图谱的步骤，包括：基于预设的卷积神经网络模型，对N个所述视频子图像分别进行特征提取，得到每个所述视频子图像的图像特征编码；基于所述卷积神经网络模型，对所述音频数据进行特征提取，得到所述音频数据的音频特征编码；根据所述音频特征编码和N个所述图像特征编码，构建包含N+1个节点的所述知识图谱。可选地，在本申请的任一实施例中，所述处理器执行所述根据所述知识图谱，对待训练的神经网络模型进行训练的步骤，包括：根据所述知识图谱中节点之间的属性关系，对待训练的所述神经网络模型进行训练。在本申请实施例的技术方案中，根据输入的多媒体数据中的多帧视频图像，以及多媒体数据中，与视频图像中的图像特征对应的音频数据，构建图像特征的知识图谱，使构建的知识图谱中融合了图像特征的环境信息，即与图像特征的特征属性对应的音频数据；进而，根据融合了图像特征的环境信息的知识图谱，对待训练的神经网络模型进行训练，避免了使用单一的训练图像对神经网络模型进行训练，同时对图像和声音进行采样，提高了神经网络模型训练的精度和质量。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。图1为根据本申请的一些实施例提供的应用场景示意图；图2A为根据本申请的另一些实施例提供的应用场景示意图；图2B为根据本申请的另一些实施例提供的应用场景示意图；图3A为根据本申请的一些实施例提供的模型训练方法的流程示意图；图3B为根据本申请的一些实施例提供的模型训练方法中步骤S301本文档来自技高网...

【技术保护点】
1.一种模型训练方法，其特征在于，包括：/n根据输入的多媒体数据中的多帧视频图像，以及所述多媒体数据中，与所述视频图像中的图像特征对应的音频数据，构建所述图像特征的知识图谱；其中，所述音频数据用于定义所述图像特征的特征属性；/n根据所述知识图谱，对待训练的神经网络模型进行训练。/n

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：
根据输入的多媒体数据中的多帧视频图像，以及所述多媒体数据中，与所述视频图像中的图像特征对应的音频数据，构建所述图像特征的知识图谱；其中，所述音频数据用于定义所述图像特征的特征属性；
根据所述知识图谱，对待训练的神经网络模型进行训练。


2.根据权利要求1所述的方法，其特征在于，所述根据输入的多媒体数据中的多帧视频图像，以及所述多媒体数据中，与所述视频图像中的图像特征对应的音频数据，构建所述图像特征的知识图谱，包括：
选取多帧所述视频图像中包含有所述图像特征的一帧所述视频图像进行分割，生成N个视频子图像，其中，N为正整数；
根据N个所述视频子图像，以及与所述图像特征对应的所述音频数据，构建包含N+1个节点的所述知识图谱。


3.根据权利要求2所述的方法，其特征在于，所述根据N个所述视频子图像，以及与所述图像特征对应的所述音频数据，构建包含N+1个节点的所述知识图谱，包括：
基于预设的卷积神经网络模型，对N个所述视频子图像分别进行特征提取，得到每个所述视频子图像的图像特征编码；
基于所述卷积神经网络模型，对所述音频数据进行特征提取，得到所述音频数据的音频特征编码；
根据所述音频特征编码和N个所述图像特征编码，构建包含N+1个节点的所述知识图谱。


4.根据权利要求1所述的方法，其特征在于，所述根据所述知识图谱，对待训练的神经网络模型进行训练，包括：根据所述知识图谱中节点之间的属性关系，对待训练的所述神经网络模型进行训练。


5.根据权利要求1-4任一所述的方法，其特征在于，待训练的所述神经网络模型为图神经网络模型。


6.一种模型训练系统，其特征在于，包括：
图谱单元，配置为根据输入的多媒体数据中的多帧视频图像，以及所述多媒体数据中，与所述视频图像中的...

【专利技术属性】
技术研发人员：陈志熙，
申请(专利权)人：南京星火技术有限公司，
类型：发明
国别省市：江苏;32