姿态分类方法和姿态分类模型的训练方法、装置制造方法及图纸

本公开提供了一种姿态分类方法和姿态分类模型的训练方法、装置、设备、介质，涉及人工智能领域，具体涉及计算机视觉和深度学习技术领域。姿态分类方法包括：提取包括至少一个目标对象的待处理图像的特征，得到第一特征图；针对至少一个目标对象中的每个目标对象，基于第一特征图，确定针对每个目标对象的位置信息；以及基于针对每个目标对象的位置信息和第一特征图，确定每个目标对象的姿态类别。确定每个目标对象的姿态类别。确定每个目标对象的姿态类别。

【技术实现步骤摘要】
姿态分类方法和姿态分类模型的训练方法、装置


[0001]本公开涉及人工智能领域，具体涉及计算机视觉和深度学习
，更具体地涉及一种姿态分类方法和姿态分类模型的训练方法、装置、电子设备和存储介质。

技术介绍

[0002]在姿态识别中，通常需要目标检测、关键点检测和姿态分类等多个阶段。通常，多个阶段中的每个阶段都需要运行一个处理模型。因此，存在需要消耗较多算力资源和耗时较长的技术问题。

技术实现思路

[0003]提供了一种降低算力资源的消耗和计算时长的姿态分类方法、姿态分类模型的训练方法、装置、电子设备和存储介质。
[0004]本公开的一个方面提供了一种姿态分类方法，包括：提取包括至少一个目标对象的待处理图像的特征，得到第一特征图；针对至少一个目标对象中的每个目标对象，基于第一特征图，确定针对每个目标对象的位置信息；以及基于针对每个目标对象的位置信息和第一特征图，确定每个目标对象的姿态类别。
[0005]本公开的另一个方面提供了一种姿态分类模型的训练方法，其中，姿态分类模型包括特征提取网络、位置确定网络和类别预测网络；该训练方法包括：将样本图像输入特征提取网络，得到第二特征图，样本图像包括至少一个目标对象中每个目标对象的实际位置信息和实际姿态类别；将第二特征图输入位置确定网络，得到至少一个预测位置信息；基于实际位置信息和第二特征图，采用类别预测网络确定每个目标对象的预测姿态类别；以及基于预测姿态类别、实际姿态类别、至少一个预测位置信息和实际位置信息，对对象分类模型进行训练。
[0006]本公开的另一个方面提供了一种姿态分类装置，包括：第一特征提取模块，用于提取包括至少一个目标对象的待处理图像的特征，得到第一特征图；第一位置确定模块，用于针对至少一个目标对象中的每个目标对象，基于第一特征图，确定针对每个目标对象的位置信息；以及第一姿态确定模块，用于基于针对每个目标对象的位置信息和第一特征图，确定每个目标对象的姿态类别。
[0007]本公开的另一个方面提供了一种姿态分类模型的训练装置，其中，姿态分类模型包括特征提取网络、位置确定网络和类别预测网络；该训练装置包括：第二特征提取模块，用于将样本图像输入特征提取网络，得到第二特征图，样本图像包括至少一个目标对象中每个目标对象的实际位置信息和实际姿态类别；第二位置确定模块，用于将第二特征图输入位置确定网络，得到至少一个预测位置信息；第二姿态确定模块，用于基于实际位置信息和第二特征图，采用类别预测网络确定每个目标对象的预测姿态类别；以及模型训练模块，用于基于预测姿态类别、实际姿态类别、至少一个预测位置信息和实际位置信息，对对象分类模型进行训练。
[0008]本公开的另一个方面提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的姿态分类方法和/或姿态分类模型的训练方法。
[0009]根据本公开的另一个方面提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的姿态分类方法和/或姿态分类模型的训练方法。
[0010]根据本公开的另一个方面提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开提供的姿态分类方法和/或姿态分类模型的训练方法。
[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0012]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0013]图1是根据本公开实施例的姿态分类方法和姿态分类模型的训练方法的应用场景示意图；
[0014]图2是根据本公开实施例的姿态分类模型的训练方法的流程示意图；
[0015]图3是根据本公开一实施例中姿态分类模型的训练方法的原理示意图；
[0016]图4是根据本公开另一实施例中姿态分类模型的训练方法的原理示意图；
[0017]图5是根据本公开实施例的姿态分类方法的流程示意图；
[0018]图6是根据本公开实施例的姿态分类方法的原理示意图；
[0019]图7是根据本公开实施例的姿态分类模型的训练装置的结构框图；
[0020]图8是根据本公开实施例的姿态分类装置的结构框图；以及
[0021]图9是用来实施本公开实施例的姿态分类方法和/或姿态分类模型的训练方法的电子设备的结构框图。
具体实施方式
[0022]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0023]本公开提供了一种姿态分类方法，该方法包括特征提取阶段、位置预测阶段和姿态预测阶段。在特征提取阶段中，提取包括至少一个目标对象的待处理图像的特征，得到第一特征图。在位置预测阶段中，针对至少一个目标对象中的每个目标对象，基于第一特征图，确定针对每个目标对象的位置信息。在姿态预测阶段中，基于针对每个目标对象的位置信息和第一特征图，确定每个目标对象的姿态类别。
[0024]以下将结合图1对本公开提供的方法和装置的应用场景进行描述。
[0025]图1是根据本公开实施例的姿态分类方法和姿态分类模型的训练方法的应用场景
示意图。
[0026]如图1所示，该实施例的应用场景100可以包括电子设备110，该电子设备110可以为具有处理功能的任意电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和服务器等等。
[0027]该电子设备110例如可以对输入的待处理图像120进行分类，得到分类结果130。例如可以识别待处理图像120中的目标对象，根据识别得到的目标对象的姿态类别来对待处理图像120进行分类。该分类结果130例如可以包括图像中目标对象属于多个预定姿态类别中每个姿态类别的概率。目标对象例如可以包括整个对象(例如人)，也可以为对象的某个部位。预定姿态类别例如可以为坐姿类别，也可以为手势类别等，本公开对此不做限定。
[0028]根据本公开的实施例，如图1所示，该应用场景100还可以包括服务器140。电子设备110可以通过网络与服务器140通信连接，该网络可以包括无线或有线通信链路。
[0029]示例性地，服务器140可以用于训练姿态分类模型，并响应于电子设备110发送的模型获取请求，将训练好的姿态分类模型150发送给电子设备110，便于电子设备110对图像进行分类。在一实施例中，电子设备110还可以通过网络将图像发送给服务器140，由服务器根据训练好的姿态分类模型对获得的待处理图像120进行分类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种姿态分类方法，包括：提取包括至少一个目标对象的待处理图像的特征，得到第一特征图；针对所述至少一个目标对象中的每个目标对象，基于所述第一特征图，确定针对所述每个目标对象的位置信息；以及基于针对所述每个目标对象的位置信息和所述第一特征图，确定所述每个目标对象的姿态类别。2.根据权利要求1所述的方法，其中，所述基于针对所述每个目标对象的位置信息和所述第一特征图，确定所述每个目标对象的姿态类别包括：基于所述位置信息，确定所述第一特征图中针对所述每个目标对象的局部特征；以及基于所述局部特征，确定所述每个目标对象的姿态类别。3.根据权利要求2所述的方法，其中，所述基于所述局部特征，确定所述每个目标对象的姿态类别包括：对所述局部特征进行区域对齐处理，得到处理后特征；以及基于所述处理后特征，采用卷积运算确定所述每个目标对象的姿态类别。4.一种姿态分类模型的训练方法，其中，所述姿态分类模型包括特征提取网络、位置确定网络和类别预测网络；所述方法包括：将样本图像输入所述特征提取网络，得到第二特征图，所述样本图像包括至少一个目标对象中每个目标对象的实际位置信息和实际姿态类别；将所述第二特征图输入所述位置确定网络，得到至少一个预测位置信息；基于所述实际位置信息和所述第二特征图，采用所述类别预测网络确定所述每个目标对象的预测姿态类别；以及基于所述预测姿态类别、所述实际姿态类别、所述至少一个预测位置信息和所述实际位置信息，对所述姿态分类模型进行训练。5.根据权利要求4所述的方法，其中，所述基于所述实际位置信息和所述第二特征图，采用所述类别预测网络确定所述每个目标对象的预测姿态类别包括：基于所述每个目标对象的实际位置信息，确定所述第二特征图中针对所述每个目标对象的局部特征，得到至少一个局部特征；以及基于所述至少一个局部特征，采用所述类别预测网络得到至少一个预测姿态类别，所述至少一个预测姿态类别与所述至少一个目标对象一一对应。6.根据权利要求4所述的方法，其中，所述基于所述实际位置信息和所述第二特征图，采用所述类别预测网络确定所述每个目标对象的预测姿态类别包括：基于所述至少一个预测位置信息和所述至少一个目标对象的至少一个实际位置信息，确定所述至少一个预测位置信息中的每个预测位置信息与实际位置信息之间的匹配关系；基于所述至少一个预测位置信息，确定所述第二特征图中针对所述至少一个目标对象的至少一个局部特征；基于所述至少一个局部特征，采用所述类别预测网络得到至少一个预测姿态类别；以及基于所述匹配关系，确定所述至少一个预测姿态类别中所述每个目标对象的预测姿态类别。
7.根据权利要求5或6所述的方法，其中，所述基于所述至少一个局部特征，采用所述类别预测网络得到至少一个预测姿态类别包括：对所述至少一个局部特征分别进行区域对齐处理，得到至少一个处理后特征；以及将所述至少一个处理后特征输入所述类别预测网络，得到所述至少一个预测姿态类别。8.根据权利要求6所述的方法，其中，确定所述至少一个预测位置信息中的每个预测位置信息与实际位置信息之间的匹配关系包括：针对所述至少一个预测位置信息中的每个预测位置信息，确定所述至少一个实际位置信息中与所述每个预测位置信息的交并比最高的位置信息，作为与所述每个预测位置信息相匹配的实际位置信息。9.根据权利要求4所述的方法，其中，所述基于所述预测姿态类别、所述实际姿态类别、所述至少一个预测位置信息和所述实际位置信息，对所述姿态分类模型进行训练包括：基于所述至少一个预测位置信息和所述实际位置信息，对所述特征提取网络和所述位置确定网络进行训练；以及基于预测姿态类别和所述实际姿态类别，对所述特征提取网络、所述位置确定网络和所述类别预测网络进行训练。10.一种姿态分类装置，包括：第一特征提取模块，用于提取包括至少一个目标对象的待处理图像的特征，得到第一特征图；第一位置确定模块，用于针对所述至少一个目标对象中的每个目标对象，基于所述第一特征图，确定针对所述每个目标对象的位置信息；以及第一姿态确定模块，用于基于针对所述...

【专利技术属性】
技术研发人员：卢子鹏，王健，孙昊，丁二锐，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：