【技术实现步骤摘要】
涉及神经网络，尤其涉及一种基于分类和蒸馏的人体姿态估计方法、装置及电子设备。
技术介绍
1、2d人体姿态估计作为计算机视觉的基础任务之一，是一个非常重要的研究领域。指从一张2d图像中，自动地识别和定位出人体的关键点(例如头部、手臂、腿部等)的技术。其目的是从静态图像中推断出人体的姿势和运动状态。它在计算机视觉领域中具有重要的应用价值和意义。2d人体姿态估计可以应用于许多方向如人机交互，通过识别和跟踪人体姿态，可以实现更加自然和直观的人机交互方式，例如手势识别、身体动作控制等。如健身训练，可以用于健身训练领域，自动评估和纠正健身者的动作姿势，提高训练的效果和安全性。如增强现实，可以应用于增强现实领域，实时跟踪人体姿态和运动状态，提供更加真实和自然的增强现实体验。总之，2d人体姿态估计技术具有广泛的应用前景和商业价值，未来还有很多可能的拓展方向和应用场景。
2、最近关于2d姿态估计的研究在公共基准测试中取得了优异的性能，但2d姿态估计技术在复杂环境下的表现仍然不够理想。例如，当存在遮挡、光照不足、背景复杂等情况时，2d姿态估计模型容易出现误检、漏检等问题，并且在实际应用仍然存在模型参数繁重和延迟高的问题，这对于实际应用来说是不可接受的。
3、其次2d姿态估计技术仍然存在一些精度和效率方面的问题。例如在一些需要实时处理的场景下，2d姿态估计算法的运行速度和精度之间存在着一定的矛盾，需要进行权衡。
4、因此实际的应用产品中，对模型的速度与精度的要求往往很高，为了更好的开阔市场，使受众用户更多，2d姿态
技术实现思路
1、本专利技术实施例提供一种基于分类和蒸馏的人体姿态估计方法、装置及电子设备，可以使用基于回归蒸馏的方式，可以将一个复杂的模型转化为一个轻量级的模型，从而大大提高模型的性能，提高模型对困难动作或恶劣环境下的检测性能，提高模型的鲁棒性和泛化能力。不同于特征蒸馏的方式，可以减少对模型的结构的修改，加快模型落地的速度，更加便于模型的部署和产品的应用。
2、为达到上述目的，本专利技术采用如下技术方案：
3、第一方面，提供一种基于分类和蒸馏的人体姿态估计方法，应用于人体姿态估计系统，所述方法包括：获取待识别图像；基于轻量级神经网络算法对待识别图像的每个像素点的特征进行卷积，获得输出值；对输出值进行关键点坐标分类，得到水平和垂直坐标；使用回归蒸馏的方式提高轻量化模型的精度；基于提高精度后的模型对所述水平和垂直坐标进行识别，得到人体姿态估计。
4、结合第一方面，在一种可能的设计方案中，所述基于轻量级神经网络算法对待识别图像的每个像素点的特征进行卷积，获得输出值之前，还包括：采用mobileone作为基础骨干网络；mobileoneblock使用结构重参数化技术，通过一个参数量大的模型结构下获得高精度的模型；再通过结构重参数化技术获得一个参数量小的模型。
5、结合第一方面，在一种可能的设计方案中，所述mobileoneblock使用结构重参数化技术，通过一个参数量大的模型结构下获得高精度的模型，包括：模型训练时mobileoneblock有两个基本模块分别为rdw模块和rpw模块，输入值通过rdw模块后连接一个relu激活函数后再通过一个rpw模块，获得输出值。
6、结合第一方面，在一种可能的设计方案中，所述模型训练时mobileoneblock有两个基本模块分别为rdw模块和rpw模块，输入值通过rdw模块后连接一个relu激活函数后再通过一个rpw模块，获得输出值，包括：rdw模块由1x1的逐点卷积(pw)、1个3x3的逐通道卷积(dw)和bn模块组成，输入值分别通过这三个模块并进行shortcut操作，获得输出值；rpw模块由1个1x1的逐点卷积(pw)和bn模块组成，输入值分别通过这两个模块并进行shortcut，获得输出值。
7、结合第一方面，在一种可能的涉及方案中，所述基于轻量级神经网络算法对待识别图像的每个像素点的特征进行卷积，获得输出值，包括：模型推理的时候，对rdw模块和rpw模块进行重参数化分别对应dw模块与pw模块；逐点卷积(pw)是一个卷积核大小为1×1的卷积操作；逐通道卷积(dw)是在每个输入通道上分别进行卷积操作。
8、结合第一方面，在一种可能的涉及方案中，所述对输出值进行关键点坐标分类，得到水平和垂直坐标，包括：关键点坐标分类模块有两个fc层，y分别通过fc1层和fc2层，fc1输出n个关键点的水平轴坐标分类信息ox，fc2输出n个关键点的的垂直轴坐标分类信息oy。
9、结合第一方面，在一种可能的设计方案中，所述方法还包括：第i个关键点的预测坐标计算方法为：
10、结合第一方面，在一种可能的设计方案中，所述使用回归蒸馏的方式提高轻量化模型的精度，包括：基于轻量级神经网络算法模块的模型作为学生模型，选择常见基于resnet101主干模块的模型作为教师模型；使用教师模型对学生模型进行回归蒸馏。
11、第二方面，提供一种实现基于分类和蒸馏的人体姿态估计装置，应用于人体姿态估计系统，所述装置包括：图像采集模块，用于获取待识别图像；轻量级神经网络算法模块，用于基于轻量级神经网络算法对待识别图像的每个像素点的特征进行卷积，获得输出值；关键点坐标分类模块，用于对输出值进行关键点坐标分类，得到水平和垂直坐标；知识蒸馏训练策略模块，用于使用回归蒸馏的方式提高轻量化模型的精度；基于提高精度后的模型对所述水平和垂直坐标进行识别，得到人体姿态估计。
12、第三方面，本专利技术实施例提供了一种电子设备。包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行如第一方面所述的方法。
13、本申请实施例提供的一种基于分类和蒸馏的人体姿态估计方法，可以使用基于回归蒸馏的方式，可以将一个复杂的模型转化为一个轻量级的模型，从而大大提高模型的性能，提高模型对困难动作或恶劣环境下的检测性能，提高模型的鲁棒性和泛化能力。不同于特征蒸馏的方式，可以减少对模型的结构的修改，加快模型落地的速度，更加便于模型的部署和产品的应用。
14、附图说明
15、图1示出了本申请实施例提供的基于分类和蒸馏的人体姿态估计方法；
16、图2示出了本申请实施例提供的轻量级神经网络算法模块和关键点坐标分类模块的结构框图；
17、图3示出了本申请实施例中推理的重参数化过程；
18、图4示出了本申请实施例提供的实现基于分类和蒸馏的人体姿态估计装置的结构框图；
19、图5示出了本申请实施例提供的电子设备的结构框图。
本文档来自技高网...【技术保护点】
1.一种基于分类和蒸馏的人体姿态估计方法，其特征在于，应用于人体姿态估计系统，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于轻量级神经网络算法对待识别图像的每个像素点的特征进行卷积，获得输出值之前，还包括：
3.根据权利要求2所述的方法，其特征在于，所述MobileOneBlock使用结构重参数化技术，通过一个参数量大的模型结构下获得高精度的模型，包括：
4.根据权利要求3所述的方法，其特征在于，所述模型训练时MobileOneBlock有两个基本模块分别为RDW模块和RPW模块，输入值通过RDW模块后连接一个Relu激活函数后再通过一个RPW模块，获得输出值，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于轻量级神经网络算法对待识别图像的每个像素点的特征进行卷积，获得输出值，包括：
6.根据权利要求1所述的方法，其特征在于，所述对输出值进行关键点坐标分类，得到水平和垂直坐标，包括：
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
8.根据权利1所述的方法
9.一种基于分类和蒸馏的人体姿态估计装置，其特征在于，应用于人体姿态估计系统，所述装置包括：
10.一种电子设备，其特征在于，包括：
...【技术特征摘要】
1.一种基于分类和蒸馏的人体姿态估计方法，其特征在于，应用于人体姿态估计系统，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于轻量级神经网络算法对待识别图像的每个像素点的特征进行卷积，获得输出值之前，还包括：
3.根据权利要求2所述的方法，其特征在于，所述mobileoneblock使用结构重参数化技术，通过一个参数量大的模型结构下获得高精度的模型，包括：
4.根据权利要求3所述的方法，其特征在于，所述模型训练时mobileoneblock有两个基本模块分别为rdw模块和rpw模块，输入值通过rdw模块后连接一个relu激活函数后再通过一个rpw模...
【专利技术属性】
技术研发人员：李观喜，苏鹏，张磊，梁倬华，
申请(专利权)人：广州紫为云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。