一种基于制造技术

本发明专利技术涉及一种基于

【技术实现步骤摘要】
一种基于S
‑
HRNet模型的轻量型二维人体姿态估计方法


[0001]本专利技术属于计算机视觉技术，特别涉及一种轻量型二维人体姿态估计方法
。

技术介绍

[0002]二维人体姿态估计主要目标是从图像或视频中推断出人体的关键点位置或区域，例如肩部
、
膝盖和手腕等
。
随着神经网络的高速发展，传统的二维人体姿态估计方法由于可扩展性差
、
对姿态变化不敏感和难以处理复杂背景等问题，已经基本被神经网络的方法所取代
。
以下是现有的两种轻量型二维人体姿态估计方法：一种方法是
Small HRNet(Small High Resolution Network
，轻量级化高分辨率网络，其基于
HRNet(High Resolution Network
，高分辨率网络
)
使用了更少的通道数和更小的模型尺寸
。
另一种方法是
spatial shortcut network(SSN
，空间快捷网络
)
，其基于
ResNet(Residual Network
，残差网络
)
结构提出了一种针对于姿态估计任务的空间连接网络，使信息在空间上的流动更容易
。
[0003]但是上述提到的两种基于神经网络的轻量型二维人体姿态估计方法存在以下问题：第一，对于轻量型网络来说，上述两种网络存在参数量和计算量较高，推理速度较慢的问题，导致人体姿态估计速度较慢；第二，减小网络通道数
、
尺寸以及以
ResNet
为结构，使网络损失了一些空间语义信息，导致人体姿态估计准确率低
。

技术实现思路

[0004]针对基于
HRNet
的轻量型人体姿态估计方法参数量
、
计算量较高
、
推理速度较慢和基于
ResNet
的轻量型人体姿态估计方法准确度较低的问题，提出了一种基于
S
‑
HRNet
的轻量型二维人体姿态估计方法，
S
‑
HRNet
中，
S
代表
small
和
Sandglass
结构，
HRNet
为高分辨率网络；其中，
small
意思是变得小巧
、
清凉；
Sandglss
结构意思是将
Sandglass
这个模块用于改进
HRNet
，
Sandglass
结构可以翻译为沙漏模型
。
[0005]本专利技术的技术方案为：
[0006]一种基于
S
‑
HRNet
模型的轻量型二维人体姿态估计方法，包括以下步骤：
[0007]S1
：下载
COCO
数据集，从
COCO
数据集中取自然场景下的
N
张人的彩色图像，每张人的彩色图像都包含了人体关键点标签，将这些人的彩色图像随机划分为训练集
、
验证集和测试集；
[0008]S2
：对
HRNet
模型进行轻量化改进得到
S
‑
HRNet
模型：先将
HRNet
模型的第一阶段的卷积核扩大；然后将
HRNet
模型的其余卷积核均替换为深度可分离卷积，再将
HRNet
模型中的基本块中的
ResNet
结构替换为
Sandglass
结构；最后在基本块中引入注意力机制；得到
S
‑
HRNet
模型；
[0009]S3
：将训练集中的人的彩色图像输入到
S
‑
HRNet
模型中进行训练；通过验证集进行验证，得到训练好的
S
‑
HRNet
模型；
[0010]S4
：将测试集输入训练好的
S
‑
HRNet
模型；输出人体姿态估计结果
。
[0011]进一步的，步骤
S2
的具体操作为：
[0012]S2.1
：将
HRNet
模型的第一阶段的两个
3x3
卷积分别替换为
7x7
和
5x5
卷积；
[0013]S2.2
：将
HRNet
模型的其余
3x3
卷积均替换为深度可分离卷积，深度可分离卷积由先进行
3x3
的深度卷积，再进行
1x1
的逐点卷积；
[0014]S2.3
：将
HRNet
模型中的基本块中的
ResNet
结构替换为
Sandglass
结构；在这种
Sandglass
结构中，输入先通过一个下采样操作进行降维处理，然后再通过一个上采样操作进行升维处理，输出的尺寸恢复至与原始输入相同的尺寸；
[0015]S2.4
：在基本块中引入包括挤压和激励两个步骤的注意力机制，以得到具有更强表达能力的特征图；
[0016]S2.5
：对
HRNet
模型进行步骤
2.1
‑
2.4
轻量化改进得到
S
‑
HRNet
模型
。
[0017]进一步的，步骤
S2.3
的具体操作为：
[0018]将
HRNet
模型中的基本块中的
ResNet
结构替换为
Sandglass
结构；
[0019]Sandglass
结构由两个方向相反的金字塔状结构组成，在这种
Sandglass
结构中，输入先通过一个下采样操作进行降维处理，然后再通过一个上采样操作进行升维处理，输出的尺寸恢复至与原始输入相同的尺寸
。
[0020]进一步的，步骤
S2.4
的具体操作为：
[0021]在基本块中引入注意力机制，以得到具有更强表达能力的特征图；注意力机制由两个步骤组成：挤压和激励；
[0022]第一个步骤称为挤压：在这一步骤中，全局平均池化操作被应用在输入的特征图上，将每个通道的特征进行降维处理，得到一个单一的数值；
[0023]第二个步骤称为激励：在这一步骤中，使用一个或多个全连接层或卷积层来对挤压后的特征进行非线性变换；这些层的目的是学习每个通道的权重，即激励值；然后，通过将激励值本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
S
‑
HRNet
模型的轻量型二维人体姿态估计方法，其特征在于，包括以下步骤：
S1
：下载
COCO
数据集，从
COCO
数据集中取自然场景下的
N
张人的彩色图像，每张人的彩色图像都包含了人体关键点标签，将这些人的彩色图像随机划分为训练集
、
验证集和测试集；
S2
：对
HRNet
模型进行轻量化改进得到
S
‑
HRNet
模型：先将
HRNet
模型的第一阶段的卷积核扩大；然后将
HRNet
模型的其余卷积核均替换为深度可分离卷积，再将
HRNet
模型中的基本块中的
ResNet
结构替换为
Sandglass
结构；最后在基本块中引入注意力机制；得到
S
‑
HRNet
模型；
S3
：将训练集中的人的彩色图像输入到
S
‑
HRNet
模型中进行训练；通过验证集进行验证，得到训练好的
S
‑
HRNet
模型；
S4
：将测试集输入训练好的
S
‑
HRNet
模型；输出人体姿态估计结果
。2.
根据权利要求1所述的基于
S
‑
HRNet
模型的轻量型二维人体姿态估计方法，其特征在于，步骤
S2
的具体操作为：
S2.1
：将
HRNet
模型的第一阶段的两个
3x3
卷积分别替换为
7x7
和
5x5
卷积；
S2.2
：将
HRNet
模型的其余
3x3
卷积均替换为深度可分离卷积，深度可分离卷积由先进行
3x3
的深度卷积，再进行
1x1
的逐点卷积；
S2.3
：将
HRNet
模型中的基本块中的
ResNet
结构替换为
Sandglass
结构；在这种
Sandglass
结构中，输入先通过一个下采样操作进行降维处理，然后再通过一个上采样操作进行升维处理，输出的尺寸恢复至与原始输入相同的尺寸；
S2.4
：在基本块中引入包括挤压和激励两个步骤的注意力机制，以得到具有更强表达能力的特征图；
S2.5
：对
HRNet
模型进行步骤
2.1
‑
2.4
轻量化改进得到
S
‑
HRNet
模型
。3.
根据权利要求2所述的基于
S
‑
HRNet
模型的轻量型二维人体姿态估计方法，其特征在于，步骤
S2.3
的具体操作为：将
HRNet
模型中的基本块中的
ResNet
结构替换为
Sandglass
结构；
Sandglass
结构由两个方向相反的金字塔状结构组成，在这种
Sandglass
结构中，输入先通过一个下采样操作进行降维处理，然后再通过一个上采样操作进行升维处理，输出的尺寸恢复至与原始输入相同的尺寸
。4.
根据权利要求2所述的基于
S
‑
HRNet
模型的轻量型二维人体姿态估计方法，其特征在于，步骤
S2.4
的具体操作为：在基本块中引入注意力机制，以得到具有更强表达能力的特征图；注意力机制由两个步骤组成：挤压和激励；第一个步骤称为挤压：在这一步骤中，全局平均池化操作被应用在输入的特征图上，将每个通道的特征进行降维处理，得到一个单一的数值；第二个步骤称为激励：在这一步骤中，使用一个或多个全连接层或卷积层来对挤压后的特征进行非线性变换；这些层的目的是学习每个通道的权重，即激励值；然后，通过将激励值乘以原始特征，可以调整每个通道的权重，增强有用特征的表示，并抑制无关紧要的特征
。
5.
根据权利要求1所述的基于
S
‑
HRNet
模型的轻量型二维人体姿态估计方法，其特征在于，步骤
S3
的具体操作为：
S3.1
：将训练集中的人的彩色图像大小调整为
256x192
，将人的彩色图像随机分成多个
batch
，使每个
batch
中包含
batchsize
张人的彩色图像，若训练集中的人的彩色图像总数能被
batchsize
整除，则分成人的彩色图像总数
/batchsize
个
batch
，若训练集中的人的彩色图像总数不能被
...

【专利技术属性】
技术研发人员：宋智礼，华佳杰，
申请(专利权)人：上海应用技术大学，
类型：发明
国别省市：