本申请公开了一种动作检测方法和动作检测模型的训练方法及相关装置，其中，动作检测方法包括：对待测图像序列进行特征提取，得到待处理特征；并对模板图像序列的模板特征和待处理特征进行匹配处理，得到匹配特征；再基于匹配特征进行预测，确定待测图像序列的动作检测结果，动作检测结果包括待测图像序列是否存在模板图像序列对应的模板动作。上述方案，能够提高动作检测的适用性。够提高动作检测的适用性。够提高动作检测的适用性。
【技术实现步骤摘要】
动作检测方法和动作检测模型的训练方法及相关装置
[0001]本申请涉及图像处理
，特别是涉及一种动作检测方法和动作检测模型的训练方法及相关装置。
技术介绍
[0002]在现实生活中，对动作进行识别或查找在众多场景中格外重要。例如，在图像搜索场景中，通过动作检测，有助于相关人员快速缩小搜索范围；或者，在视频查找场景中，通过对视频中的帧图像进行动作检测，有助于快速定位到对应视频内容，如此种种，不一而足。
[0003]目前，动作检测一般是采用深度学习模型对待测图像进行直接预测，该预测的动作类别只能是在对深度学习模型进行训练的过程中样本数据的动作类别。若需添加新的检测动作类别时，必须采用新动作类别的样本数据对深度学习模型进行重新训练，降低了动作检测的效率。有鉴于此，如何提高动作检测的适用性成为亟待解决的问题。
技术实现思路
[0004]本申请主要解决的技术问题是提供一种动作检测方法和动作检测模型的训练方法及相关装置，能够提高动作检测的适用性。
[0005]为了解决上述技术问题，本申请第一方面提供了一种动作检测方法，包括：对待测图像序列进行特征提取，得到待处理特征，并对模板图像序列的模板特征和待处理特征进行匹配处理，得到匹配特征，再利用匹配特征进行预测，确定待测图像序列的动作检测结果，动作检测结果包括待测图像序列是否存在模板图像序列对应的模板动作。
[0006]为了解决上述技术问题，本申请第二方面提供了一种动作检测模型的训练方法，包括：利用动作检测模型的特征提取网络分别对样本待测图像序列和样本模板图像序列进行特征提取，得到样本待测图像序列样本待测特征和样本模板图像序列的样本模板特征；并利用匹配模块对样本模板特征和样本待测特征进行匹配处理，得到样本匹配特征；再利用预测模块基于样本匹配特征进行预测，确定样本待测图像序列的样本动作检测结果；最后，基于样本动作检测结果，调整动作检测模型的网络参数。
[0007]为了解决上述技术问题，本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，存储器中存储有程序指令，处理器用于执行程序指令以实现上述第一方面中的动作检测方法或上述第二方面中的动作检测模型的训练方法。
[0008]为了解决上述技术问题，本申请第四方面提供了一种计算机可读存储介质，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面中的动作检测方法或上述第二方面中的动作检测模型的训练方法。
[0009]上述方案，通过对待测图像序列进行特征提取，得到待处理特征，并对模板图像序列的模板特征和待处理特征进行匹配处理，得到匹配特征。在此基础上，利用匹配特征进行预测，确定待测图像序列的动作检测结果，动作检测结果包括待测图像序列是否存在模板图像序列对应的模板动作，一方面通过对基于待处理特征与模板特征得到的匹配特征进行
预测，实现对待测图像序列是否存在模板图像序列中的模板动作的检测，相比于直接利用待测图像序列的图像特征进行预测，能够提高动作检测的准确性，而且由于直接利用待测图像序列的图像特征进行预测，预测网络只能预测已知模板动作，而本方案通过匹配特征确定待测图像序列是否存在模板图像序列中的模板动作，即使预测网络在预测之前未知模板图像序列中的模板动作，也可实现其模板动作的检测，即实现对预测网络在预测之前未知的模板动作的检测，进而提高动作检测的适用性；另一方面，利用匹配特征进行预测，能够尽可能地提高动作检测的简单性和高效性。
[0010]此外，本申请方案的动作检测过程可以采用动作检测模型执行，由于本申请方案通过匹配特征确定待测图像序列是否存在模板图像序列中的模板动作，故即使该模板图像序列中的模板动作未在动作检测模型的训练过程中出现过，也能够直接利用当前动作检测模型实现该未知模板动作的检测，且无需重新训练，故提高动作检测的适用性，且提高动作检测的效率。
[0011]再者，本申请方案的动作检测过程采用动作检测模型执行时，在对动作检测模型训练过程中，还利用两个相同的特征提取网络对样本待测图像序列和样本模板图像序列进行特征提取，并对提取到的特征进行匹配，进而预测得到样本检测结果，最后基于样本检测结果对模型进行调整，能够使训练好的动作检测模型泛化效果更好。
附图说明
[0012]图1是本申请动作检测方法一实施例的流程示意图；图2是模板特征和待处理特征匹配得到匹配特征一实施例的示意图；图3是动作检测模型一实施例的示意图；图4是本申请动作检测模型的训练方法一实施例的流程示意图；图5是对动作检测模型进行测试一实施例的示意图；图6是本申请动作检测装置一实施例的框架示意图；图7是本申请动作检测模型的训练装置一实施例的框架示意图；图8是本申请电子设备一实施例的框架示意图；图9是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
[0013]下面结合说明书附图，对本申请实施例的方案进行详细说明。
[0014]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
[0015]本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
[0016]请参阅图1，图1是本申请动作检测方法一实施例的流程示意图。具体而言，可以包括如下步骤：步骤S11：对待测图像序列进行特征提取，得到待处理特征。
[0017]在一个实施场景中，待测图像序列包括若干待测图像，该待测图像序列的待处理特征包含各待测图像的特征。该若干待测图像可以是通过拍摄器件在若干时刻对待测场景分别进行拍摄的若干张图像，也可以是从通过拍摄器件对待测场景进行拍摄的视频中选取的若干视频帧，通常该若干视频帧可以选择视频中最大时间间隔小于预设时间间隔的若干视频帧，例如从视频中选择连续的若干视频帧。待测图像序列可以根据实际情况进行选择，在此不做具体限定。
[0018]在一个实施场景中，可以通过LBP算法(Local Binary Patterns，局部二值模式)对待测图像序列进行特征提取，还可以通过HOG特征提取算法（Histogram of Oriented Gradient，方向梯度直方图）对待测图像序列进行特征提取，也可以通过特征提取网络对待测图像序列进行特征提取，示例性地，特征提取网络可以是CNN（convolution neural network，卷积神经网络），也可以是RCNN（Region based Convolutional Neural Network，基于区域的卷积神经网络）等。特征提取方式可以根据实际情况进行选择，在此不做具体限定。
[0019]步骤S12：对模板图像序列的模板特征和待处理特征进行匹配处理，得到匹配特征。
[002本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种动作检测方法，其特征在于，包括：对待测图像序列进行特征提取，得到待处理特征；对模板图像序列的模板特征和所述待处理特征进行匹配处理，得到匹配特征；基于所述匹配特征进行预测，确定所述待测图像序列的动作检测结果，所述动作检测结果包括所述待测图像序列是否存在所述模板图像序列对应的模板动作。2.根据权利要求1所述的方法，其特征在于，所述动作检测结果包括所述待测图像序列中存在所述模板动作的位置信息和所述位置信息的置信度。3.根据权利要求1所述的方法，其特征在于，所述对模板图像序列的模板特征和所述待处理特征进行匹配处理，得到匹配特征，包括：利用所述模板特征和所述待处理特征进行第一融合处理，得到相似度特征；以及利用所述模板特征和所述待处理特征进行互相关处理，得到互相关特征；对所述相似度特征和互相关特征进行第二融合处理，得到所述匹配特征。4.根据权利要求3所述的方法，其特征在于，所述利用所述模板特征和所述待处理特征进行第一融合处理，得到相似度特征，包括：对所述模板特征进行降采样处理；对所述降采样处理后的模板特征与所述待处理特征进行所述第一融合处理，得到所述相似度特征。5.根据权利要求4所述的方法，其特征在于，所述对所述模板特征进行降采样处理，包括：对所述模板特征分别进行第一池化处理和第二池化处理，对应得到第一池化特征和第二池化特征；融合所述第一池化特征和第二池化特征，得到所述降采样处理后的模板特征。6.根据权利要求5所述的方法，其特征在于，所述模板特征和所述待处理特征、所述第一池化特征、所述第二池化特征、所述降采样处理后的模板特征的维度均为预设维度;所述融合所述第一池化特征和第二池化特征，得到所述降采样处理后的模板特征，包括：对所述第一池化特征和第二池化特征进行拼接，得到维度为所述预设维度的两倍的拼接特征；对所述拼接特征进行降维处理，得到所述预设维度的所述降采样处理后的模板特征。7.根据权利要求1所述的方法，其特征在于，所述对待测图像序列进行特征提取，得到待处理特征；对模板图像序列的模板特征和所述待处理特征进行匹配处理，得到匹配特征；基于所述匹配特征进行预测，确定所述待测图像序列的动作检测结果的步骤，包括：利用动作检测模型的特征提取网络对待测图像序列进行特征提取，得到待处理特征；利用所述动作检测模型的匹配网络对模板图像序列的模板特征和所述待处理特征进行匹配处理，得到匹配特征；利用所述动作检测模型的预测网络基于所述匹配特征进行预测，确定所述待测图像序列的动作检测结果。8.根据权利要求7所述的方法，其特征在于，所述模板特征是利用所述特征提取网络或模板特征提取网络对模板图像序列进行特征提取得到的，所述模板特征...
【专利技术属性】
技术研发人员：潘国雄，蔡宁，赵雷，潘华东，殷俊，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。