人体姿势估计方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及计算机视觉领域，公开了一种人体姿势估计方法、装置、设备及存储介质，用于解决现有的人体姿势估计方式成本高和计算效率低的问题。人体姿势估计方法包括：通过预置的人体特征处理网络结构和热度图网络结构，构建深度学习网络模型，人体特征处理网络结构包括网络输入层、具有一个卷积核大小为3*3、多个卷积核大小为1*1和一个最大池化核大小为2*2的茎网络层Stem以及卷积核大小均为1*1的初始网络层Inception‑A，热度图网络结构用于指示两个特征拼接阶段的残差网络ResNet；通过人体特征处理网络结构对获取的人体图像信息进行特征提取获得人体特征；通过热度图网络结构生成人体特征的人体热度图；对人体热度图进行人体姿态估计获得人体的关键点。

Method, device, equipment and storage medium of human posture estimation

【技术实现步骤摘要】
人体姿势估计方法、装置、设备及存储介质
本专利技术涉及计算机视觉领域，尤其涉及一种人体姿势估计方法、装置、设备及存储介质。
技术介绍
随着机器视觉和深度学习的人工智能技术的快速发展，人体姿势估计技术也随之快速发展，且在虚拟现实技术、三维虚拟场景人机交互技术或其他体姿交互的应用领域中具有重要意义。人体姿势估计技术广泛应用于基于机器视觉对人体进行定位识别，结合深度学习或其他技术进行人体姿态估计的项目中，例如：多人姿态估计系统Alphapose的人体姿势估计项目、姿态识别系统kinect的姿态识别项目和肢体语言识别系统OpenPose的人体检测项目。在现有技术中，结合深度学习或其他技术进行人体姿态估计的项目在一些应用场景下都各有优点，但也存在着一些缺点，比如：姿态识别系统kinect需要深度相机开发成本和硬件成本较高，开发者不能从底层进行开发，只能基于姿态识别系统kinect的基础上进行开发；多人姿态估计系统Alphapose和肢体语言识别系统OpenPose存在着计算量大、对显卡资源需求很高的缺点。由于现有的人体姿势估计方式需要采用深度相机本文档来自技高网...

【技术保护点】
1.一种人体姿势估计方法，其特征在于，所述人体姿势估计方法包括：/n通过预置的人体特征处理网络结构和热度图网络结构，构建深度学习网络模型，所述人体特征处理网络结构包括网络输入层、茎网络层Stem和初始网络层Inception-A，所述网络输入层用于将尺寸大小为368*368*3的人体特征图输入到所述茎网络层Stem中，所述茎网络层Stem包括一个卷积核大小为3*3的卷积层、多个卷积核大小为1*1的卷积层和两个最大池化层，所述两个最大池化层中的一个最大池化层的最大池化核大小为2*2，所述初始网络层Inception-A包括多个卷积核大小均为1*1的卷积层和一个均值池化核大小为1*1的均值池化层，...

【技术特征摘要】
1.一种人体姿势估计方法，其特征在于，所述人体姿势估计方法包括：
通过预置的人体特征处理网络结构和热度图网络结构，构建深度学习网络模型，所述人体特征处理网络结构包括网络输入层、茎网络层Stem和初始网络层Inception-A，所述网络输入层用于将尺寸大小为368*368*3的人体特征图输入到所述茎网络层Stem中，所述茎网络层Stem包括一个卷积核大小为3*3的卷积层、多个卷积核大小为1*1的卷积层和两个最大池化层，所述两个最大池化层中的一个最大池化层的最大池化核大小为2*2，所述初始网络层Inception-A包括多个卷积核大小均为1*1的卷积层和一个均值池化核大小为1*1的均值池化层，所述热度图网络结构包括第一特征拼接阶段的残差网络ResNet和第二特征拼接阶段的残差网络ResNet；
获取人体图像训练数据集，根据所述人体图像训练数据集对所述深度学习网络模型进行训练，获得人体姿态估计模型；
获取待处理的人体图像信息，通过所述人体姿态估计模型中的人体特征处理网络结构对所述待处理的人体图像信息进行特征提取，获得人体特征；
通过所述人体姿态估计模型中的热度图网络结构，生成所述人体特征的人体热度图；
对所述人体热度图进行人体姿态估计，获得人体的关键点。


2.根据权利要求1所述的人体姿势估计方法，其特征在于，所述茎网络层Stem包括第一特征拼接层、第二特征拼接层和第三特征拼接层，所述第一特征拼接层包括一个卷积核大小为3*3的卷积层、三个卷积核大小为1*1的卷积层和一个最大池化核大小为2*2的最大池化层，所述第二特征拼接层包括六个卷积核大小为1*1的卷积层，所述第三特征拼接层包括一个步长为2的最大池化层和一个卷积核大小为1*1的卷积层。


3.根据权利要求2所述的人体姿势估计方法，其特征在于，所述获取待处理的人体图像信息，通过所述人体姿态估计模型中的人体特征处理网络结构对所述待处理的人体图像信息进行特征提取，获得人体特征，包括：
获取待处理的人体图像信息，对所述待处理的人体图像信息进行尺寸大小转换处理并进行归一化处理，获得尺寸大小为368*368*3的人体特征图；
通过所述人体姿态估计模型中所述人体特征处理网络结构的网络输入层，将所述尺寸大小为368*368*3的人体特征图输入到所述茎网络层Stem中；
通过所述第一特征拼接层、所述第二特征拼接层和所述第三特征拼接层对所述尺寸大小为368*368*3的人体特征图进行卷积处理、池化处理和特征拼接处理，获得尺寸大小为46*46*384的人体特征图；
通过所述初始网络层Inception-A对所述尺寸大小为46*46*384的人体特征图进行卷积处理、均值池化处理和特征拼接处理，获得人体特征。


4.根据权利要求3所述的人体姿势估计方法，其特征在于，所述通过所述第一特征拼接层、所述第二特征拼接层和所述第三特征拼接层对所述尺寸大小为368*368*3的人体特征图进行卷积处理、池化处理和特征拼接处理，获得尺寸大小为46*46*384的人体特征图，包括：
通过所述第一特征拼接层对所述大小为368*368*3的人体特征图分别进行第一预设卷积处理和第一预设池化处理，获得第一卷积特征和第一池化特征，对所述第一卷积特征和所述第一池化特征进行特征拼接处理，获得尺寸大小为92*92*160的人体特征图；
通过所述第二特征拼接层对所述尺寸大小为92*92*160的人体特征图分别进行第二预设卷积处理和第三预设卷积处理，获得第二卷积特征和第三卷积特征，对所述第二卷积特征和所述第三卷积特征进行特征拼接处理，获得尺寸大小为92*92*192的人体特征图；<...

【专利技术属性】
技术研发人员：黄少光，许秋子，
申请(专利权)人：深圳市瑞立视多媒体科技有限公司，
类型：发明
国别省市：广东;44