一种针对物体遮挡场景的人体形状和姿态估计方法技术

本发明专利技术公开了一种针对物体遮挡场景的人体形状和姿态估计方法,将计算得到的弱透视投影参数转换到相机坐标下，获得不带遮挡情况下包含人体形状信息的UV图像；对人体二维图像加入随机物体图片遮挡，并获取遮挡情况下的人体掩膜；将获得的虚拟遮挡数据训练编码‑解码结构的UV贴图修复网络；输入真实物体遮挡人体彩色图像，以掩膜图像作为真值构建编码‑解码结构的显著性检测网络；使用编码得到的隐空间特征监督人体编码网络训练；输入遮挡人体彩色图像，得到完整的UV图像；使用UV图像与人体三维模型的顶点对应关系恢复出遮挡情况下的人体三维模型。本发明专利技术将遮挡人体形状估计转化为二维UV贴图的图像修复问题，进而实现遮挡场景下人体的实时、动态重建。

A method of human shape and pose estimation for occluded scenes

【技术实现步骤摘要】
一种针对物体遮挡场景的人体形状和姿态估计方法
本专利技术属于计算机视觉及三维视觉领域，具体涉及一种针对物体遮挡场景下的人体形状和姿态估计方法。
技术介绍
从单张图像中估计三维人体的形状和姿态是近年来三维视觉领域的一个研究热点。它在人体运动捕捉、虚拟试衣和人体动画等虚拟现实技术的应用方面有着重要的作用。近年来，深度学习技术简化了从单张图像恢复人体整体形状的求解方式，特别是在SMPL模型被提出并得到广泛应用以后，单目图像三维人体形状和姿态估计经历了多个阶段的蓬勃发展，包括(1)通过匹配二维视觉特征来优化求解SMPL参数；使(2)用卷积神经网络(CNN)直接回归SMPL参数；(3)利用二维UV贴图表示SMPL表面三维点，进而将三维人体形状估计转化成基于CNN的图像翻译问题。深度神经网络凭借其准确性和运行效率成为三维人体形状估计的主流方法，它们能够在特定场景下获得较好的重建结果。然而，现有方法大多都没有考虑人和物体之间的遮挡这一常见的现象。如果不明确考虑遮挡，这类方法就不能直接转移到处理遮挡场景下的人体估计。这导致它们对带遮挡甚至轻微物体遮挡的场景十分本文档来自技高网...

【技术保护点】
1.一种针对物体遮挡场景的人体形状和姿态估计方法，其特征在于，包括以下步骤：/n(1)在数据准备阶段，利用三维人体数据集人体三维关节点与二维关节点之间的对应关系计算弱透视投影参数；/n(2)根据计算得到的弱透视投影参数，通过三维旋转、平移将人体三维模型转换到相机坐标下；/n(3)将相机坐标下的人体三维模型顶点x,y,z坐标值归一化到-0.5至0.5范围内后存入UV贴图的R,G,B三个通道中，获得不带遮挡情况下包含人体形状信息的UV贴图；/n(4)对人体二维图像加入随机物体图片遮挡，并获取遮挡情况下的人体掩膜；/n(5)重复步骤(3)，使用弱透视投影后落在掩膜区域之外的三维点为视觉遮挡下的三维点...

【技术特征摘要】
1.一种针对物体遮挡场景的人体形状和姿态估计方法，其特征在于，包括以下步骤：
(1)在数据准备阶段，利用三维人体数据集人体三维关节点与二维关节点之间的对应关系计算弱透视投影参数；
(2)根据计算得到的弱透视投影参数，通过三维旋转、平移将人体三维模型转换到相机坐标下；
(3)将相机坐标下的人体三维模型顶点x,y,z坐标值归一化到-0.5至0.5范围内后存入UV贴图的R,G,B三个通道中，获得不带遮挡情况下包含人体形状信息的UV贴图；
(4)对人体二维图像加入随机物体图片遮挡，并获取遮挡情况下的人体掩膜；
(5)重复步骤(3)，使用弱透视投影后落在掩膜区域之外的三维点为视觉遮挡下的三维点，其x,y,z坐标固定设为-0.5，获得对应遮挡下的UV贴图；
(6)在训练阶段，基于步骤(1)至步骤(5)获得的虚拟遮挡数据训练编码-解码结构的UV贴图修复网络；所述修复网络以与完整人体UV图之间的L1损失，相邻像素之间的拉普拉斯平滑项以及UV连接处一致性作为约束；
(7)利用真实物体遮挡人体彩色图像作为输入，以掩膜图像作为真值构建编码-解码结构的显著性检测网络；
(8)将遮挡人体彩色图片与显著性图连接后送入人体编码网络，同时将相应遮挡下的UV贴图使用步骤(6)训练好的修复网络进行编码，使用编码得到的隐空间特征监督人体编码网络训...

【专利技术属性】
技术研发人员：王雁刚，黄步真，张天舒，彭聪，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32