基于骨骼点检测的人体状态判断方法技术

本发明专利技术公开了一种基于骨骼点检测的人体状态判断方法，首先，构建CNN_Hourglass网络结构，提取对分类/检测/识别任务有帮助的特征；其次，通过Hourglass模块捕捉人体每个尺度下的信息，预测在每个像素处存在关节的概率，构成特征图；然后，在特征图上对每个像素点做概率预测，计算该像素是某个关节点的概率；最后，将检测到的关节点与已知状态的骨骼点形态进行最小化比对，获取最接近的形态，判断出人体状态。应用CCN_Hourglass网络结构，多尺度特征来识别姿态，提高了识别精度。采用姿态训练集进行比对，可以快速正确的判断出，骨骼点检测出的结果处于什么状态。应用到各个领域，提高检测的精确度。检测的精确度。检测的精确度。

【技术实现步骤摘要】
基于骨骼点检测的人体状态判断方法


[0001]本专利技术属于骨骼点检测图像处理
，具体涉及一种基于骨骼点检测的人体状态判断方法。

技术介绍

[0002]在现代化建筑工地中，使用爬架围挡在建筑的周围，随着楼层的不断升高，爬架也跟着升高，顶层工作面的情况无法反馈给工地管理者，从而产生了不安全因素。架设监控摄像头是现行比较多的做法，但只能事后回放，无法预警或者提醒工地管理者，无法避免悲剧的发生。

技术实现思路

[0003]本专利技术所要解决的技术问题是：提供一种基于骨骼点检测的人体状态判断方法，解决了现有技术中建筑施工场所架设监控摄像头无法实时预警的问题。
[0004]本专利技术为解决上述技术问题采用以下技术方案：
[0005]基于骨骼点检测的人体状态判断方法，包括如下步骤：
[0006]步骤1、构建CNN_Hourglass网络结构，提取对分类/检测/识别任务有帮助的特征；
[0007]步骤2、通过Hourglass模块捕捉人体每个尺度下的信息，预测在每个像素处存在关节的概率，构成特征图；
[0008]步骤3、在特征图上对每个像素点做概率预测，计算该像素是某个关节点的概率；
[0009]步骤4、将检测到的关节点与已知状态的骨骼点形态进行最小化比对，获取最接近的形态，即可以判断出图像中的人体状态。
[0010]步骤2在Hourglass模块中，应用多个卷积和步骤将特征降到低分辨率，当达到最低分辨率的时候，网络开始上采样。
[0011]上采样部分应用最邻近采样方式。
[0012]Hourglass模块中间连接部分跨接一个Residual模块，用于对上采样后的图特征进行提取。
[0013]所述上采样应用最临近插值的方法，然后再将两个特征集按元素位置相加。
[0014]Hourglass模块的网络输出为一组拥有关键点的热图。
[0015]当到达输出分辨率的时候，再接两个1
×
1的卷积层来进行最后的预测。
[0016]还包括中间监督模块，用于网络中间部分的监督训练。
[0017]步骤2中，利用LSP的验证集，测试了一系列图片的结果构成特征图。
[0018]步骤4中，根据已知骨骼点的图像信息，进行骨骼点的比对，概率超过6.5时，判定该骨骼点属于哪个关节点的位置。
[0019]与现有技术相比，本专利技术具有以下有益效果：
[0020]1、本专利技术骨骼点检测使用人体姿态估计中的一种CCN_Hourglass网络结构，多尺度特征来识别姿态，提高了识别精度。
[0021]2、采用姿态训练集进行比对，可以快速正确的判断出，骨骼点检测出的结果处于什么状态。
[0022]3、本专利技术骨骼点检测方法可以应用到建筑施工领域，通过架设在爬架四周的图像采集设备，采集顶层工作面的图像，同时在后台服务器上进行图像处理，通过骨骼点检测的技术判断工作面工人的工作状态，达到预警作用，消除不安全因素，防止工伤事故的发生。
[0023]4、基于骨骼点检测的人体状态的技术，可根据视频监控中人员的姿态，做出判断，从而可以后台预警给管理者，让管理者及时介入，防止人员摔倒或者昏迷，长时间无人发现，导致无法及时医治的悲剧发生。
附图说明
[0024]图1为CCN_Hourglass网络结构示意图。
[0025]图2为本专利技术Hourglass模块示意图。
[0026]图3为本专利技术Residual模块示意图。
[0027]图4为本专利技术中间监督模块示意图。
[0028]图5为本专利技术热图示意图。
具体实施方式
[0029]下面结合附图对本专利技术的结构及工作过程作进一步说明。
[0030]基于骨骼点检测的人体状态判断方法，包括如下步骤：
[0031]步骤1、构建CNN_Hourglass网络结构，提取对分类/检测/识别任务有帮助的特征；
[0032]步骤2、通过Hourglass模块捕捉人体每个尺度下的信息，预测在每个像素处存在关节的概率，构成特征图；
[0033]步骤3、在特征图上对每个像素点做概率预测，计算该像素是某个关节点的概率；
[0034]步骤4、将检测到的关节点与已知状态的骨骼点形态进行最小化比对，获取最接近的形态，即可以判断出图像中的人体状态。
[0035]该方法的详细运算及处理过程，如图1至图5所示，
[0036]基于骨骼点检测的人体状态判断方法，包括如下步骤：
[0037]第一步、构建CNN_Hourglass网络(深度卷积网络)结构，自动提取对分类/检测/识别任务有帮助的特征；CNN通常含有很深的网络层，每一层代表对图像的特征提取，被称为feature map(热图)的卷积网络对图像特征的提取，是随着网络的层数的加深，而从低层特征描述逐渐抽象为高层特征描述，正常情况下需要几十层更细致的特征来代替才能达到好的识别效果，如图1。
[0038]第二步、通过Hourglass模块捕捉人体每个尺度下的信息，预测在每个像素处存在关节的概率，构成特征图；Hourglass模块是为了捕捉每个尺度下的信息，因为捕捉像脸、手这些部分的时候需要局部的特征，在Hourglass模块中，卷积和max pooling被用来将特征降到一个很低的分辨率，在每一个max pooling步骤中，网络产生分支并在原来提前池化的分辨率下使用更多的卷积，
[0039]当到达最低的分辨率的时候，网络开始up_sample(上采样)并结合不同尺度下的特征，这里up_sample(上采样)采用的方法是最邻近插值，之后再将两个特征集按元素位置
相加；
[0040]当到达输出分辨率的时候，再接两个1
×
1的卷积层来进行最后的预测，网络的输出是一组heat map，对于给定的heat map，网络预测在每个像素处存在关节的概率，如图2。
[0041]图2中每个模块是Residual，来避免深度网络导致的梯度消失，中间连接部分，跨接一个Residual模块下采样后的图特征进行提取，上采样部分应用最邻近采样方式，网络输出为拥有关键点的热图，不同的数据集，给出的参考关键点个数是不同的，如图3。
[0042]传统的识别或者检测网络，loss只比较最后的预测与ground truth之间的差异。由于堆叠沙漏网络的每一个子沙漏网络都会有heat map作为预测，所以本方案将每个沙漏输出的heat map参与到loss中，预测精确度要远远好于只考虑最后一个沙漏预测的loss，这种考虑网络中间部分的监督训练方式，就叫做中间监督(Intermediate Supervision)，如图4。
[0043]第三步、大部分姿态检测的最后一步，在特征图上对每个像素点做概率预测，计算该像素是某个关节点的概率；根据已知骨骼点的图像信息，进行骨骼点的比对，概率超过6.5时，判定关节点的位置；。
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于骨骼点检测的人体状态判断方法，其特征在于：包括如下步骤：步骤1、构建CNN_Hourglass网络结构，提取对分类/检测/识别任务有帮助的特征；步骤2、通过Hourglass模块捕捉人体每个尺度下的信息，预测在每个像素处存在关节的概率，构成特征图；步骤3、在特征图上对每个像素点做概率预测，计算该像素是某个关节点的概率；步骤4、将检测到的关节点与已知状态的骨骼点形态进行最小化比对，获取最接近的形态，即可以判断出图像中的人体状态。2.根据权利要求1所述的基于骨骼点检测的人体状态判断方法，其特征在于：步骤2在Hourglass模块中，应用多个卷积和步骤将特征降到低分辨率，当达到最低分辨率的时候，网络开始上采样。3.根据权利要求2所述的基于骨骼点检测的人体状态判断方法，其特征在于：上采样部分应用最邻近采样方式。4.根据权利要求3所述的基于骨骼点检测的人体状态判断方法，其特征在于：Hourglass模块中间连接部分跨接一个Residual模块，用于对上采样后的图特征...

【专利技术属性】
技术研发人员：姚竝，赵强，
申请(专利权)人：上海祐云信息技术有限公司，
类型：发明
国别省市：