基于端到端的人体关节点检测与分类方法技术

本发明专利技术公开了基于端到端的人体关节点检测与分类方法，其实现方法具体包括：构造深度学习网络、对输入图片数据进行训练及测试。深度学习网络包含基础网络层结构、金字塔池化残差模块、堆栈式沙漏型模块。在训练阶段：对输入图像进行预处理操作以及网络参数的初始化，将处理后的图像输入到基于堆栈式沙漏型以及条件随机场理论的深度学习网络中进行训练，根据Softmax损失函数对网络权值参数进行更新；测试阶段：使用学习得到的深度学习网络模型参数对测试图片进行前向传播，得到测试关节点的概率分布情况，利用已知准则将各个关节点依次连接起来，得到结果图像。

【技术实现步骤摘要】
基于端到端的人体关节点检测与分类方法
本专利技术涉及图像分割、模式识别及计算机视觉领域，尤其是涉及了一种基于端到端的人体关节点检测与分类方法。
技术介绍
计算机视觉的核心任务就是解决检测与分类两个问题，而人体姿态估计，作为现代智能识别领域中热门研究之一，其不仅对学术研究领域有着深远的研究意义，也对我们日常生活中的安全检测，例如在人流量较多的街道、各类公共产生危险动作的检测都有着深刻的现实意义。人体姿态估计其首要目标就在于从一幅图片中估计出身体关键节点的具体位置，并从多人场景中将归属于同一人的节点分类出来。自神经网络发展以来，传统神经网络被广泛地应用到人体姿态估计中。相对于传统神经网络而言卷积神经网络学习能力更强。对于单人场景下的人体姿态估计，目前已有非常多基于卷积神经网络的分割与分类方法，在现有公开的数据集中都有着较高的正确率。但对于多人场景，无论是从特征提取还是关节点分类，其表现结果都还有较大的发展空间。传统的姿态估计方法一般是输入一张原始RGB图片，在像素级别利用神经网络提取诸如纹理特征、空间信息等，最终回归出关节点的坐标。该种输出方式具有较弱的鲁棒性，且在训练过程中对于结果的显本文档来自技高网...

【技术保护点】
1.基于端到端的人体关节点检测与分类方法，其特征在于：包括依次进行的以下步骤：S1、构建基于堆栈式沙漏型以及条件随机场理论的深度学习网络，并对该网络进行初始化操作；S2、对网络参数进行训练，通过前向传播得到适应于人体姿态估计的网络权值参数；S3、将预处理得到的图片输入到已经训练好的沙漏型神经网络中，通过前向传播得到相应关节点的热力图分布，再利用条件随机场模型强化各个节点之间的空间位置关系，最终得到每个节点出现的概率统计分布，将输出的预测结果利用预先设定的规则将关节点连接起来，就可以实现端到端的人体姿态估计。

【技术特征摘要】
1.基于端到端的人体关节点检测与分类方法，其特征在于：包括依次进行的以下步骤：S1、构建基于堆栈式沙漏型以及条件随机场理论的深度学习网络，并对该网络进行初始化操作；S2、对网络参数进行训练，通过前向传播得到适应于人体姿态估计的网络权值参数；S3、将预处理得到的图片输入到已经训练好的沙漏型神经网络中，通过前向传播得到相应关节点的热力图分布，再利用条件随机场模型强化各个节点之间的空间位置关系，最终得到每个节点出现的概率统计分布，将输出的预测结果利用预先设定的规则将关节点连接起来，就可以实现端到端的人体姿态估计。2.根据权利要求1所述的基于端到端的人体关节点检测与分类方法，其特征在于：所述步骤S1中构建的深度学习网络包括堆栈模块以及条件随机场模型，整个网络结构包括依次连接的：图像输入端口、与图像输入端口连接的卷积层、一个金字塔残差池化模块和一个金字塔残差层，紧接着是由残差网络堆栈形成的沙漏型堆栈模块以及利用条件随机场判别模型实现的卷积层和一个全连接层。3.根据权利要求2所述的基于端到端的人体关节点检测与分类方法，其特征在于：所述金字塔残差模块由两个部分并联组成：一个恒等映射模块，一个卷积模块；恒等映射层不改变原尺度信息，卷积模块由两个非线性卷积层、五种不同比例的下采样层以及一个上采样层构成。4.根据权利要...

【专利技术属性】
技术研发人员：程建，林莉，王艳旗，苏炎洲，白海伟，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51