一种图像识别方法、装置以及相关设备制造方法及图纸

本发明专利技术实施例公开了一种图像识别方法、装置以及相关设备，方法包括：根据多个样本视频以及与所述多个样本视频关联的多个辅助数据，生成识别模型的调整辅助参数；根据所述多个样本视频的分类误差参数以及所述调整辅助参数调整识别模型，当调整辅助参数和分类误差参数之和小于目标阈值时，将调整后的识别模型确定为用于识别视频中对象的属性类型的目标识别模型。采用本发明专利技术，可以提高图像识别的准确率。

An Image Recognition Method, Device and Related Equipment

【技术实现步骤摘要】
一种图像识别方法、装置以及相关设备
本专利技术涉及计算机
，尤其涉及一种图像识别方法、装置以及相关设备。
技术介绍
动作识别是通过相关技术对视频或者图像序列中的运动行为提取出具有分辨能力的特征并进行识别分析。动作识别在视频监控、运动分析、虚拟现实、辅助医疗、人机智能交互等领域具有广泛的作用。例如，在视频监控中可以实现目标检测和异常事件识别，有效遏制犯罪，保证场所内人们的人身、财产安全；在体育竞技领域中，可以提供精确的数据分析和支持，提升竞技领域的公正性。基于深度学习对动作识别的流程是：首先将视频图像数据输入到卷积神经网络模型中，用前向传播的方法通过神经元传递信息，然后用基于反向传播的方法更新卷积神经网络模型的权值参数。训练完成后的卷积神经网络模型可以自动地从视频图像中学习动作特征，并利用这些动作特征进行后续的分类识别。基于一种模态的数据训练识别模型，数据类型单一，造成识别模型在识别图像过程中缺少提取出更具有判别了的特征的能力，进而图像识别的准确率低下。
技术实现思路
本专利技术实施例提供一种图像识别方法、装置以及相关设备，可以提高图像识别的准确率。本专利技术一方面提供了一种图像识别方法，包括：根据多个样本视频以及与所述多个样本视频关联的多个辅助数据，生成识别模型的调整辅助参数；根据所述多个样本视频的分类误差参数以及所述调整辅助参数调整识别模型，当调整辅助参数和分类误差参数之和小于目标阈值时，将调整后的识别模型确定为用于识别视频中对象的属性类型的目标识别模型。其中，所述根据多个样本视频以及与所述多个样本视频关联的多个辅助数据，生成识别模型的调整辅助参数包括：根据所述多个样本视频，生成每个样本视频分别对应的样本时空特征信息；根据所述多个辅助数据，生成每个辅助数据分别对应的辅助时序特征信息；根据所述多个样本视频和所述多个辅助数据之间的属性关联关系、多个样本时空特征信息、多个辅助时序特征信息，生成所述识别模型的调整辅助参数。其中，所述根据所述多个样本视频，生成每个样本视频分别对应的样本时空特征信息，包括：获取所述多个样本视频，在所述每个样本视频中提取多个样本视频帧图像，并生成与每个样本视频帧图像分别对应的样本光流图像序列；根据所述每个样本视频中的所述样本视频帧图像，生成所述每个样本视频分别对应的第一时空特征信息，并根据所述每个样本视频中的所述样本光流图像序列，生成所述每个样本视频分别对应的第二时空特征信息；将所述第一时空特征信息和所述第二时空特征信息均作为所述样本时空特征信息。其中，所述生成与每个样本视频帧图像分别对应的样本光流图像序列，包括：根据样本视频帧图像和与所述样本视频帧图像相邻的视频帧图像，生成多个样本光流图像，并将所述多个样本光流图像组合为所述样本光流图像序列；将所述样本光流图像序列中的样本光流图像的分辨率与所述样本视频帧图像的分辨率均调整至目标分辨率。其中，所述根据所述每个样本视频中的所述样本视频帧图像，生成所述每个样本视频分别对应的第一时空特征信息，并根据所述每个样本视频中的所述样本光流图像序列，生成所述每个样本视频分别对应的第二时空特征信息，包括：基于所述识别模型中的卷积神经网络，对每个样本视频帧图像以及每个样本光流图像序列分别进行卷积处理，提取所述每个样本视频帧图像分别对应的空间特征信息，以及提取每个样本光流图像序列分别对应的空间特征信息；基于所述识别模型中的递归神经网络，对所述每个样本视频帧图像的空间特征信息以及所述每个样本光流图像序列的空间特征信息分别进行时序处理，得到所述每个样本视频帧图像和每个样本光流图像序列分别对应的时空特征信息；根据所述每个样本视频中的所述样本视频帧图像对应的时空特征信息，生成所述每个样本视频分别对应的第一时空特征信息；以及根据所述每个样本视频中的所述样本光流图像序列对应的时空特征信息，生成所述每个样本视频分别对应的所述第二时空特征信息。其中，所述根据所述多个辅助数据，生成每个辅助数据分别对应的辅助时序特征信息，具体包括：获取与所述多个样本视频关联的多个辅助数据，并基于辅助递归神经网络模型，对每个辅助数据分别进行时序处理，得到所述每个辅助数据分别对应的辅助时序特征信息。其中，所述调整辅助参数包括第一辅助参数和第二辅助参数；所述分类误差参数包括第一分类误差子参数和第二分类误差子参数；所述目标阈值包括第一阈值和第二阈值；所述根据所述多个样本视频的分类误差参数以及所述调整辅助参数调整识别模型，当调整辅助参数和分类误差参数之和小于目标阈值时，将调整后的识别模型确定为用于识别视频中对象的属性类型的目标识别模型，包括：根据所述第一辅助参数和第一分类误差子参数之和、所述第二辅助参数和第二分类误差子参数之和，调整所述识别模型，当所述第一辅助参数和所述第一分类误差子参数之和小于所述第一阈值，且所述第二辅助参数和所述第二分类误差子参数之和小于所述第二阈值时，将调整后的识别模型确定为用于识别视频中对象的属性类型的目标识别模型。其中，所述根据所述多个样本视频和所述多个辅助数据之间的属性关联关系、多个样本时空特征信息、多个辅助时序特征信息，生成识别模型的调整辅助参数，包括：若所述多个样本视频和所述多个辅助数据之间为样本对应关系，则根据属于相同对象内容的样本时空特征信息和辅助时序特征信息之间的特征空间距离，计算所述调整辅助参数；若所述多个样本视频和所述多个辅助数据之间为类别对应关系，则根据属于相同属性类型的样本时空特征信息和辅助时序特征信息之间的特征空间距离，计算所述调整辅助参数；若所述多个样本视频和所述多个辅助数据之间为模态对应关系，则根据所有样本时空特征信息与所有辅助时序特征信息之间的特征空间距离，计算所述调整辅助参数。其中，所述根据属于相同对象内容的样本时空特征信息和辅助时序特征信息之间的特征空间距离，计算所述调整辅助参数，包括：分别计算属于相同对象内容的第一时空特征信息与辅助时序特征信息之间的欧式距离，并将与所述第一时空特征信息对应的所有欧式距离的平均值，确定为所述第一辅助参数；分别计算属于相同对象内容的第二时空特征信息与辅助时序特征信息之间的欧式距离，并将与所述第二时空特征信息对应的所有欧式距离的平均值，确定为所述第二辅助参数。其中，所述根据属于相同属性类型的样本时空特征信息和辅助时序特征信息之间的特征空间距离，计算所述调整辅助参数，包括：分别计算属于相同属性类型的第一时空特征信息与辅助时序特征信息之间的最大平均差异值，并将与所述第一时空特征信息对应的所有最大平均差异值之和，确定为所述第一辅助参数；分别计算属于相同属性类型的第二时空特征信息与辅助时序特征信息之间的最大平均差异值，并将与所述第二时空特征信息对应的所有最大平均差异值之和，确定为所述第二辅助参数。其中，所述根据所有样本时空特征信息与所有辅助时序特征信息之间的特征空间距离，计算所述调整辅助参数，包括：计算所有第一时空特征信息与所有辅助时序特征信息之间的最大平均差异值，作为所述第一辅助参数；计算所有第二时空特征信息与所有辅助时序特征信息之间的最大平均差异值，作为所述第二辅助参数。其中，还包括：分别识别每个第一时空特征信息与所述识别模型中多个属性类型特征之间的匹配度，将由所述每个第一时空特征信息得到的匹配度与所述识别模型本文档来自技高网...

【技术保护点】
1.一种图像识别方法，其特征在于，包括：根据多个样本视频以及与所述多个样本视频关联的多个辅助数据，生成识别模型的调整辅助参数；根据所述多个样本视频的分类误差参数以及所述调整辅助参数调整识别模型，当调整辅助参数和分类误差参数之和小于目标阈值时，将调整后的识别模型确定为用于识别视频中对象的属性类型的目标识别模型。

【技术特征摘要】
1.一种图像识别方法，其特征在于，包括：根据多个样本视频以及与所述多个样本视频关联的多个辅助数据，生成识别模型的调整辅助参数；根据所述多个样本视频的分类误差参数以及所述调整辅助参数调整识别模型，当调整辅助参数和分类误差参数之和小于目标阈值时，将调整后的识别模型确定为用于识别视频中对象的属性类型的目标识别模型。2.根据权利要求1所述的方法，其特征在于，所述根据多个样本视频以及与所述多个样本视频关联的多个辅助数据，生成识别模型的调整辅助参数包括：根据所述多个样本视频，生成每个样本视频分别对应的样本时空特征信息；根据所述多个辅助数据，生成每个辅助数据分别对应的辅助时序特征信息；根据所述多个样本视频和所述多个辅助数据之间的属性关联关系、多个样本时空特征信息、多个辅助时序特征信息，生成所述识别模型的调整辅助参数。3.根据权利要求2所述的方法，其特征在于，所述根据所述多个样本视频，生成每个样本视频分别对应的样本时空特征信息，包括：获取所述多个样本视频，在所述每个样本视频中提取多个样本视频帧图像，并生成与每个样本视频帧图像分别对应的样本光流图像序列；根据所述每个样本视频中的所述样本视频帧图像，生成所述每个样本视频分别对应的第一时空特征信息，并根据所述每个样本视频中的所述样本光流图像序列，生成所述每个样本视频分别对应的第二时空特征信息；将所述第一时空特征信息和所述第二时空特征信息均作为所述样本时空特征信息。4.根据权利要求3所述的方法，其特征在于，所述根据所述每个样本视频中的所述样本视频帧图像，生成所述每个样本视频分别对应的第一时空特征信息，并根据所述每个样本视频中的所述样本光流图像序列，生成所述每个样本视频分别对应的第二时空特征信息，包括：基于所述识别模型中的卷积神经网络，对每个样本视频帧图像以及每个样本光流图像序列分别进行卷积处理，提取所述每个样本视频帧图像分别对应的空间特征信息，以及提取每个样本光流图像序列分别对应的空间特征信息；基于所述识别模型中的递归神经网络，对所述每个样本视频帧图像的空间特征信息以及所述每个样本光流图像序列的空间特征信息分别进行时序处理，得到所述每个样本视频帧图像和每个样本光流图像序列分别对应的时空特征信息；根据所述每个样本视频中的所述样本视频帧图像对应的时空特征信息，生成所述每个样本视频分别对应的第一时空特征信息；以及根据所述每个样本视频中的所述样本光流图像序列对应的时空特征信息，生成所述每个样本视频分别对应的所述第二时空特征信息。5.根据权利要求4所述的方法，其特征在于，所述调整辅助参数包括第一辅助参数和第二辅助参数；所述分类误差参数包括第一分类误差子参数和第二分类误差子参数；所述目标阈值包括第一阈值和第二阈值；所述根据所述多个样本视频的分类误差参数以及所述调整辅助参数调整识别模型，当调整辅助参数和分类误差参数之和小于目标阈值时，将调整后的识别模型确定为用于识别视频中对象的属性类型的目标识别模型，包括：根据所述第一辅助参数和所述第一分类误差子参数之和、所述第二辅助参数和所述第二分类误差子参数之和，调整所述识别模型，当所述第一辅助参数和所述第一分类误差子参数之和小于所述第一阈值，且所述第二辅助参数和所述第二分类误差子参数之和小于所述第二阈值时，将调整后的识别模型确定为用于识别视频中对象的属性类型的目标识别模型。6.根据权利要求5所述的方法，其特征在于，所述根据所述多个样本视频和所述多个辅助数据之间的属性关联关系、多个样本时空特征信息、多个辅助时序特征信息，生成所述识别模型的调整辅助参数，包括：若所述多个样本视频和所述多个辅助数据之间为样本对应关系，则根据属于相同对象内容的样本时空特征信息和辅助时序特征信息之间的特征空间距离，计算所述调整辅助参数；若所述多个样本视频和所述多个辅助数据之间为类别对应关系，则根据属于相同属性类型的样本时空特征信息和辅助时序特征信息之间的特征空间距离，计算所述调整辅助参数；若所述多个样本视频和所述多个辅助数据之间为模态对应关系，则根据所有样本时空特征信息与所有辅助时序特征信息之间的特征空间距离，计算所述调整辅助参数。7.根据权利要求6所述的方法，其特征在于，所述根据属于相同对象内容的样本时空特征信息和辅助时序特征信息之间的特征空间距离，计算所述调整辅助参数，包括：分别计算属于相同对象内容的第一时空特征信息与辅助时序特征信息之间的欧式距离，并将与所述第一时空特征信息对应的所有欧式距离的平均值，确定为所述第一辅助参数；分别计算属于相同对象内容的第二时空特征信息与辅助时序特征信息之间的欧式距离，并将与所述第二时空特征信息对应的所有欧式距离的平均值，确定为所述第二辅助...

【专利技术属性】
技术研发人员：刘家瑛，宋思捷，厉扬豪，马林，刘威，王巨宏，黄婷婷，
申请(专利权)人：北京大学，腾讯科技深圳有限公司，
类型：发明
国别省市：北京,11