本发明专利技术运用改进的PolarMask进行人形轮廓检测和姿态识别的方法，采用改进的PolarMask模型，基于人形轮廓特点，进行人形轮廓极坐标建模的设计；然后构建改进的PolarMask模型作为人形轮廓分割模型，加入通道注意力机制模块，在原基于YOLOV7的特征金字塔网络中添加了跳跃连接，弥补了在特征融合过程中损失的细节信息，最后，采取基于弱标签的训练策略，用于训练出一个能够识别出包含人形位置信息的矩形框和人的姿态类型的初级人形轮廓分割模型；在正式训练过程中，使用预训练出的提前学习了人形轮廓的相关信息的预训练权重进行迁移学习，在对真实的人形轮廓进行学习的过程中，使得对预测出的人形轮廓不断收敛，准确地识别出人形轮廓和姿态类型。轮廓和姿态类型。轮廓和姿态类型。
【技术实现步骤摘要】
运用改进的PolarMask进行人形轮廓检测和姿态识别的方法
[0001]本专利技术属于图像识别领域，尤其涉及运用改进的PolarMask进行人形轮廓检测和姿态识别的方法。
技术介绍
[0002]随着国内计算机技术和成像技术的发展，人形轮廓检测和姿态识别方法受到越来越多的关注。各个领域对人形轮廓的识别和姿态识别提出了更高的需求，人形轮廓检测和姿态识别技术能够在改善人机交互、运动分析、健康监测、虚拟现实和增强现实以及安全监控等多个领域起到关键的作用。它们为各种应用场景提供了更直观、高效和沉浸式的解决方案，推动了人工智能技术在实际应用中的发展。特别是针对人体的行为识别与智能监控存在的需求，现有视频图像中对人体行为识别与监控大多数基于目标识别方法，大致识别出人所在位置以及人体当时的状态，这些状态包括直立或者跌倒。通过目标识别和姿态识别的方法，首先获取包含人形的目标框，通过人体骨骼节点的坐标识别人体的姿态。虽然目前的方法在一定程度上可以起到识别人体位置及其状态的效果，但是无法对人体的轮廓进行准确的识别。因此需要一种人形轮廓识别方法，不仅能够准确识别人体，还能对人体轮廓进行准确分割，为判断人体的姿态提供更多有用的信息，从而提高人体的姿态识别的准确性，同时更有利于将该技术运用到更多的相关领域。
[0003]基于PolarMask的实例分割方法其精确度远远低于其他例如Mask R
‑
CNN等实例分割方法。并且由于是深度学习模型，PolarMask需要大量的数据集进行训练才能达到预想的成果，而对一张图片进行分割类型的标记是十分费时费力的，平均标记一张图片需要1分钟的时间，因此训练模型也需要投入大量的成本。
技术实现思路
[0004]本专利技术的目的在于提供一种运用改进的PolarMask进行人形轮廓检测和姿态识别方法，实现人体的轮廓分割和姿态识别的目的，该方法不仅可以极大程度地降低成本，同时也能节省训练的时间，加快推理速度。
[0005]本专利技术运用改进的PolarMask进行人形轮廓检测和姿态识别的方法，采用改进的PolarMask模型，基于人形轮廓特点，将Polarmask模型识别出的人形包围框的长和宽的比值来分配包围框中每个区域的射线数，进行人形轮廓极坐标建模的设计；然后构建改进的PolarMask模型作为人形轮廓分割模型，在特征金字塔网络进行特征融合前，在每个不同尺度的特征后加入通道注意力机制模块，在原基于YOLOV7的特征金字塔网络中添加了跳跃连接，弥补了在特征融合过程中损失的细节信息，最后，采取基于弱标签的训练策略，使用Box类型的弱标签数据集进行人形轮廓分割模型的预训练，用于训练出一个能够识别出包含人形位置信息的矩形框和人的姿态类型的初级人形轮廓分割模型；在正式训练过程中，使用预训练出的提前学习了人形轮廓的相关信息的预训练权重进行迁移学习，在对真实的人形轮廓进行学习的过程中，使得对预测出的人形轮廓不断收敛，准确地识别出人形轮廓和姿
态类型；所述构建改进的PolarMask模型作为人形轮廓分割模型，以原PolarMask模型为基础，以YOLOV7的网络结构为依据，设计出YOLOAT_FPN特征金字塔网络替换原PolarMask模型的FPN网络结构，改进了原PolarMask模型的骨干网络和特征金字塔结构；人形轮廓分割模型由一个编码器和三个解码器组成；所述编码器采用YOLOAT_FPN特征金字塔网络，该YOLOAT_FPN特征金字塔网络以YOLOV7的主干网络为基础进行如下改进：（1）替换了原卷积模块的激活函数，将原激活函数SiLU替换为一种运用于自然语言处理的非线性的激活函数GELU；（2）在特征金字塔中进行特征融合前加入了通道注意力机制模块；（3）将原YOLOV7的主干网络提取出的多个尺度的特征图通过通道注意力机制模块进一步提取重要的细节信息，并通过1
×
1的卷积核将浅层信息与生成信息进行跳跃连接，补全了经过特征融合所丢失的细节信息；所述三个解码器指的是三条分支，分别为分类分支、中心度分支和极坐标掩膜分支，其中，分类分支使用4
×
4的Conv和1
×
1的Conv进行特征的提取，产生H
×
W
×
N的特征图进行N种姿态的预测，实现对分割目标类别的预测，H、W分别代表输入的特征图的长和宽，N代表需要预测的姿态的种类；中心度分支使用4
×
4的Conv和1
×
1的Conv进行特征的提取，产生H
×
W
×
1的特征图进行极坐标中心点的预测；极坐标掩膜分支使用4
×
4的Conv和1
×
1的Conv进行特征提取，产生H
×
W
×
60的特征图对极坐标的60根射线的距离进行预测。
[0006]所述采用改进的PolarMask模型，基于人形轮廓特点，将Polarmask模型识别出的人形包围框的长和宽的比值来分配包围框中每个区域的射线数，进行人形轮廓极坐标建模的设计，具体为：将Polarmask模型识别出的人形包围框的四个顶点A、B、C、D与人体中心O构成四个区域，按照识别出的包围框的长和宽的比值来分配每个区域的射线数，进行人形轮廓极坐标建模的设计，计算公式如公式（2）所示：(2)其中，O为人形中心点，人形包围框的四个顶点A、B、C、D与人形中心点O构成四个区域，分别为AOB区域、BOC区域、COD区域和AOD区域，该表示 AOB区域中为了构建人体轮廓所需要的射线数量，其他3个Number同理；N表示总射线数；Y表示包围框的高；X表示包围框的宽。
[0007]所述通道注意力机制模块，选取SENet模型，该SENet 模型包括压缩和激励两个阶段，在压缩阶段对全局空间信息进行压缩，然后在通道维度进行特征学习，从而形成各个通道的注意力权重，最后在激励阶段将压缩阶段生成的注意力权重作用于相应的通道上，具体为：先进行压缩阶段，使用Global pooling 将H
×
W
×
C的输入压缩为1
×1×
C的输出，随后进行激励阶段，包括两个全连接层，第一个全连接层有C/r个神经元，输出为1
×1×
(C/r)，并使用激活函数ReLU；第二个全连接层有C个神经元，将输出恢复为1
×1×
C，并使用激活函数Sigmoid，其中r为第一个全连接层的压缩值；在激励阶段，通过学习每个通道的特征
信息，生成每个通道的注意力权重，并将最终输出的1
×1×
C的通道注意力权重与原特征图相对应的通道相乘。
[0008]一种运用改进的PolarMask进行人形轮廓检测和姿态识别设备，所述设备包括处理器及存储器；所述存储器用于存储计算机程序；所述处理器用于根据所述计算机程序执行上述任意一种运用改进的PolarMask进行人形轮廓检测和姿态识别的方法。
[0009]一种计算机可读存储介质，所述计算机可本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.运用改进的PolarMask进行人形轮廓检测和姿态识别的方法，其特征在于：采用改进的PolarMask模型，基于人形轮廓特点，将Polarmask模型识别出的人形包围框的长和宽的比值来分配包围框中每个区域的射线数，进行人形轮廓极坐标建模的设计；然后构建改进的PolarMask模型作为人形轮廓分割模型，在特征金字塔网络进行特征融合前，在每个不同尺度的特征后加入通道注意力机制模块，在原基于YOLOV7的特征金字塔网络中添加了跳跃连接，弥补了在特征融合过程中损失的细节信息，最后，采取基于弱标签的训练策略，使用Box类型的弱标签数据集进行人形轮廓分割模型的预训练，用于训练出一个能够识别出包含人形位置信息的矩形框和人的姿态类型的初级人形轮廓分割模型；在正式训练过程中，使用预训练出的提前学习了人形轮廓的相关信息的预训练权重进行迁移学习，在对真实的人形轮廓进行学习的过程中，使得对预测出的人形轮廓不断收敛，准确地识别出人形轮廓和姿态类型；所述构建改进的PolarMask模型作为人形轮廓分割模型，以原PolarMask模型为基础，以YOLOV7的网络结构为依据，设计出YOLOAT_FPN特征金字塔网络替换原PolarMask模型的FPN网络结构，改进了原PolarMask模型的骨干网络和特征金字塔结构；人形轮廓分割模型由一个编码器和三个解码器组成；所述编码器采用YOLOAT_FPN特征金字塔网络，该YOLOAT_FPN特征金字塔网络以YOLOV7的主干网络为基础进行如下改进：（1）替换了原卷积模块的激活函数，将原激活函数SiLU替换为一种运用于自然语言处理的非线性的激活函数GELU；（2）在特征金字塔中进行特征融合前加入了通道注意力机制模块；（3）将原YOLOV7的主干网络提取出的多个尺度的特征图通过通道注意力机制模块进一步提取重要的细节信息，并通过1
×
1的卷积核将浅层信息与生成信息进行跳跃连接，补全了经过特征融合所丢失的细节信息；所述三个解码器指的是三条分支，分别为分类分支、中心度分支和极坐标掩膜分支，其中，分类分支使用4
×
4的Conv和1
×
1的Conv进行特征的提取，产生H
×
W
×
N的特征图进行N种姿态的预测，实现对分割目标类别的预测，H、W分别代表输入的特征图的长和宽，N代表需要预测的姿态的种类；中心度分支使用4
×
4的Conv和1
×
1的Conv进行特征的提取，产生H
×
W
×
1的特征图进行极坐标中心点的预测；极坐标掩膜分支使用4
×
4的Conv和1
×
1的Conv进行特征提取，产生H
×
W
×
6...
【专利技术属性】
技术研发人员：温廷羲，童斌斌，侯晴霏，陈雨萍，谢建华，曾焕强，
申请(专利权)人：福建环宇通信息科技股份公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。