一种基于结构重参数化的轻量级人体姿态估计算法制造技术

本发明专利技术涉及计算机视觉技术领域，具体涉及一种基于结构重参数化的轻量级人体姿态估计算法，包括，本发明专利技术的基于结构重参数化的轻量级人体姿态估计算法包括：获取数据集，并进行人工标注；构建人体姿态估计模型；将进行人工标注后的数据集代入到人体姿态估计模型进行结构重参数化训练；将待检测的图像代入重参数化后的人体姿态估计模型中，得到关键点热图；将关键点热图进行坐标解码，得到关键点坐标。本发明专利技术能够解决模型参数量较多的问题，能够减少模型参数的同时不影响模型的准确性，也能够提升模型的训练速度，降低模型的开发成本。降低模型的开发成本。降低模型的开发成本。

【技术实现步骤摘要】
一种基于结构重参数化的轻量级人体姿态估计算法


[0001]本专利技术涉及目标检测
，具体涉及一种基于结构重参数化的轻量级人体姿态估计算法。

技术介绍

[0002]人体姿态估计任务作为计算机视觉领域中的一个基础并且重要的任务，人体姿态估计的应用场景十分丰富，例如人机交互，通过对人体各种不同姿态的识别实现机器进行相应的控制，在如今的电影动画制作工作中，往往会涉及到很多对人体姿态进行采集的任务，传统的方法是在人体各个关键点处放置传感器进行动作采集。
[0003]现有技术中，主流的人体姿态估计方法都是通过深度学习来实现的，利用多阶段的深度卷积网络提取图片中的全局特征，利用卷积神经网络热图结构模型对人体关键点进行基于热图的回归的方法，对人体姿态进行估计。随着模型的精度的提升，姿态估计模型的参数量也在成倍地增加，随之而来的是计算成本的不断提高，这让模型的开发和应用都有更高的硬件要求。为了解决这个问题，对人体姿态估计模型的轻量化任务也就开始兴起。对于轻量级小模型来说，模型的参数量有限，模型的拟合能力相较于大模型有差距，而结构重参数化是一个十分有效的提升轻量级模型性能的方法。在训练期间采用多分支的结构，多分支可以用于将不同的输入信息整合在一起，从而提供更全面的信息表达。有助于网络更好地理解和利用输入数据的各个方面。不同的分支可以对输入数据的不同层次的特征进行提取和处理，从而充分利用深度网络的优势。这有助于网络更好地捕捉数据的细节和抽象特征，提高模型的表现能力。但是多分支必然会导致模型的参数量增加，导致模型的参数较多，模型的训练速度也会降低。
[0004]因此有必要提供新的一种基于结构重参数化的轻量级人体姿态估计算法。

技术实现思路

[0005]基于现有技术中存在的上述问题，本专利技术实施例的目的在于提供一种基于结构重参数化的轻量级人体姿态估计算法，用于解决模型参数量较多的问题，能够减少模型参数的同时不影响模型的准确性，也能够提升模型的训练速度，降低模型的开发成本。
[0006]为实现上述目的，本专利技术采用的技术方案是：一种基于结构重参数化的轻量级人体姿态估计算法，包括：S1，获取数据集，并进行人工标注；S2，构建人体姿态估计模型；S3，将进行人工标注后的数据集代入到人体姿态估计模型进行结构重参数化训练；S4，将待检测的图像代入结构重参数化后的人体姿态估计模型中进行推理，得到关键点热图；S5，将关键点热图进行坐标解码，得到关键点坐标。
[0007]进一步的，S1中，所述获取数据集，包括：数据集中的图片是随机抽取的包含人体的图片，图片内容有单人，也有多人，输入图像统一为jpg格式，用数字按照顺序将图片命名，放到图片文件夹中。
[0008]进一步的，S1中，所述进行人工标注，包括：将数据集中的图片由人工利用标签标注工具对数据进行标签标注，标记出人体的16个关键点。
[0009]进一步的，S2中，所述人体姿态估计模型包括两种，一种是网络深度为18的结构重参数化高分辨率网络，另一种为网络深度为30的结构重参数化高分辨率网络。
[0010]进一步的，所述结构重参数化高分辨网络包括4类Stage，分别为Stage1、Stage2、Stage3和Stage4，Stage1中包括一个高分辨率分支，Stage2、Stage3和Stage4为递进增加的低分辨率分支。
[0011]进一步的，每个所述分辨率分支由2个结构重参数化混洗模块堆叠而成，各Stage之间用轻量级特征融合层进行连接，同类型Stage会重复叠加。
[0012]进一步的，所述结构重参数化混洗模块包括shuffle block通道拆分和通道混洗结构，所述结构重参数化混洗模块的输入F
in
模块的输入F
in
先通过通道拆分，将其拆分成两组特征图和，输入结构重参数化模块进行卷积，输出特征图后经过Relu激活函数后得到，与拼接后作为模块的最终输出。
[0013]进一步的，所述结构重参数化模块采用多分支结构，各分支依次为3
×
3卷积、1
×
1卷积、1
×
1卷积与3
×
3卷积串联和1
×
1卷积与池化层串联，每一路分支之后连接一个BN层为该层增加非线性，最后将各分支特征图加和后输出。
[0014]进一步的，所述轻量级特征融合层采用加权融合的方式，给各分辨率的特征图不同权重。
[0015]进一步的，所述人体姿态估计模型输出为Stage4中最高分辨率的特征图，即关键点热图。
[0016]本专利技术的有益效果是：本专利技术的基于结构重参数化的轻量级人体姿态估计算法包括：获取数据集，并进行人工标注；构建人体姿态估计模型；将进行人工标注后的数据集代入到人体姿态估计模型进行结构重参数化训练；将待检测的图像代入重参数化后的人体姿态估计模型中，得到关键点热图；将关键点热图进行坐标解码，得到关键点坐标。本专利技术能够解决模型参数量较多的问题，能够减少模型参数的同时不影响模型的准确性，也能够提升模型的训练速度，降低模型的开发成本。
附图说明
[0017]下面结合附图和实施例对本专利技术作进一步说明。
[0018]图中：图1为本专利技术实施例一提供的基于结构重参数化的轻量级人体姿态估计算法的流程图；图2为本专利技术实施例一提供的结构重参数化高分辨网络的示意图；图3为本专利技术实施例一提供的结构重参数化混洗模块的示意图；图4为本专利技术实施例一提供的结构重参数化模块的示意图；
图5为本专利技术实施例一提供的轻量级特征融合层的示意图；图6为本专利技术实施例一提供的结构重参数化计算方式的示意图；图7为本专利技术的实施例二提供的基于结构重参数化的轻量级人体姿态估计算法的结构示意图。
具体实施方式
[0019]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0020]第一实施方式：本专利技术的第一实施方式提供了一种基于结构重参数化的轻量级人体姿态估计算法，包括：获取数据集，并进行人工标注；构建人体姿态估计模型；将进行人工标注后的数据集代入到人体姿态估计模型进行结构重参数化训练；将待检测的图像代入重参数化后的人体姿态估计模型中，得到关键点热图；将关键点热图进行坐标解码，得到关键点坐标。本专利技术能够解决模型参数量较多的问题，能够减少模型参数的同时不影响模型的准确性，也能够提升模型的训练速度，降低模型的开发成本。
[0021]下面对本实施方式的基于结构重参数化的轻量级人体姿态估计算法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，本实施方式的具体流程如图1所示，本实施方式应用于基于结构重参数化的轻量级人体姿态估计算法。
[0022]步骤S1，获取数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于结构重参数化的轻量级人体姿态估计算法，其特征在于，包括：S1，获取数据集，并进行人工标注；S2，构建人体姿态估计模型；S3，将进行人工标注后的数据集代入到人体姿态估计模型进行结构重参数化训练；S4，将待检测的图像代入结构重参数化后的人体姿态估计模型中进行推理，得到关键点热图；S5，将关键点热图进行坐标解码，得到关键点坐标。2.根据权利要求1所述的基于结构重参数化的轻量级人体姿态估计算法，其特征在于，S1中，所述获取数据集，包括：数据集中的图片是随机抽取的包含人体的图片，图片内容有单人，也有多人，输入图像统一为jpg格式，用数字按照顺序将图片命名，放到图片文件夹中。3.根据权利要求1所述的基于结构重参数化的轻量级人体姿态估计算法，其特征在于，S1中，所述进行人工标注，包括：将数据集中的图片由人工利用标签标注工具对数据进行标签标注，标记出人体的16个关键点。4.根据权利要求1所述的基于结构重参数化的轻量级人体姿态估计算法，其特征在于，S2中，所述人体姿态估计模型包括两种，一种是网络深度为18的结构重参数化高分辨率网络，另一种为网络深度为30的结构重参数化高分辨率网络。5.根据权利要求4所述的基于结构重参数化的轻量级人体姿态估计算法，其特征在于，所述结构重参数化高分辨网络包括4类Stage，分别为Stage1、Stage2、Stage3和Stage4，Stage1中包括一个高分辨率分支，Stage2、Stage3和Stage4为递进增加的低分辨率分支。6.根据权利要求5所述的基于结...

【专利技术属性】
技术研发人员：钟良琪，周翔，李鹏，彭丽君，项兰兰，闫胜业，
申请(专利权)人：江苏源驶科技有限公司，
类型：发明
国别省市：