【技术实现步骤摘要】
本申请涉及三维视觉与重建，尤其涉及基于光流的单视频双手动态三维运动捕捉方法和装置。
技术介绍
1、三维重建是计算机视觉中的热门领域，在产学研结合方面有着广泛的研究和应用潜力。其中人类运动相关的三维重建技术在工业、娱乐等领域都有不可或缺的应用价值，而人手的三维重建是人体重建的一个重要组成部分，其在vr/ar，裸眼3d等场景相关的人机交互中有着重要的应用。现有的三维人手重建算法大多依赖于人手在图片中的中间位置并占据图片的大部分，或者只能重建单手的情况。而在现有的实际应用情况中，人手的重建往往与人体的重建共用一套图片采集系统，采集的图片中人手不占主体部分；并且实际的人手运动中往往存在着大量诸如鼓掌、握手、双手交叉等双手有着紧密交互的情况。
技术实现思路
1、本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
2、为此，本申请的第一个目的在于提出一种基于光流的单视频双手动态三维运动捕捉方法，解决了现有方法仅对人体整体重建，人手不占主体的技术问题，实现了在单视角采集的上半身或者全身图片中捕捉完整的双手运动并实时重建完整的人手三维模型。
3、本申请的第二个目的在于提出一种基于光流的单视频双手动态三维运动捕捉装置。
4、本申请的第三个目的在于提出一种计算机设备。
5、本申请的第四个目的在于提出一种非临时性计算机可读存储介质。
6、为达上述目的，本申请第一方面实施例提出了一种基于光流的单视频双手动态三维运动捕捉方法，包括：步骤s1：
7、本申请实施例的基于光流的单视频双手动态三维运动捕捉方法，通过拍摄单视角人的双手图片，构建双手的粗略姿态，并构建人手的粗略纹理贴图，进一步通过可微渲染器进行渲染，并构建拍摄图片与人手模型的光流模型，优化后续视频人手的姿态。本申请适用于单视角人手的动作捕捉系统，并能与人体的运动捕捉算法结合，构建完整的动作捕捉。
8、可选地，在本申请的一个实施例中，采集单视角人手图片，包括：
9、使用rgb相机拍摄人手图片，并在拍摄时通过人手检测算法检测人手区域，获得单视角人手图片；
10、双手重建算法为基于单视角rgb图片的双手二维检测和姿态估计算法，使用双手重建算法确定图片对应的双手姿态，包括：
11、检测图片中人手所在的区域，并确定区域置信度，其中，人手所在的区域通过人手二维包围盒的顶点坐标表示；
12、对人手所在的区域对应的子图进行人手重建，确定人手模型及其运动参数作为双手姿态。
13、可选地，在本申请的一个实施例中，根据采集的图片和确定的双手姿态、人手纹理的先验知识，确定人手纹理贴图，包括：
14、使用人手纹理数据库，通过统计学方法构建人手纹理的基纹理图；
15、通过基纹理图的加权平均拟合人手纹理，得到人手纹理贴图；
16、对人手纹理贴图进行渲染，得到渲染后的图片，包括：
17、使用可微渲染的方式将人手模型与人手纹理贴图渲染为二维图片，得到渲染后的二维图片；
18、其中，通过基纹理图的加权平均拟合人手纹理，得到人手纹理贴图，包括：
19、通过优化求解人手各基纹理图的系数得到人手纹理贴图，优化目标为使渲染后的二维图片和真实拍摄图片一致，在优化时通过梯队下降算法来优化各基纹理图的加权系数。
20、可选地，在本申请的一个实施例中，通过光流模型计算真实拍摄图片和渲染出的图片之间的光流和光流误差，包括：
21、确定真实拍摄的二维图片和渲染出的二维图片之间的像素对应关系作为光流，并确定光流误差；
22、对双手姿态进行优化，包括：
23、根据光流误差以及渲染结果的可微性构建损失函数，并基于构建的损失函数优化人手模型的运动参数，确定优化后的双手姿态。
24、为达上述目的，本专利技术第二方面实施例提出了一种基于光流的单视频双手动态三维运动捕捉装置，包括图片采集模块、姿态重建模块、误差确认模块、姿态优化模块，其中，
25、图片采集模块，用于采集单视角人手图片，并使用双手重建算法确定图片对应的双手姿态；
26、姿态重建模块，用于根据采集的图片和确定的双手姿态、人手纹理的先验知识，确定人手纹理贴图，并对人手纹理贴图进行渲染，得到渲染后的图片；
27、误差确认模块，用于通过光流模型计算真实拍摄图片和渲染出的图片之间的光流和光流误差，并根据光流误差优化双手姿态；
28、姿态优化模块，用于重复调用姿态重建模块和误差确认模块，不断优化双手姿态，直至误差小于预设阈值或达到最大迭代次数，确定最优双手姿态。
29、可选地，在本申请的一个实施例中，采集单视角人手图片，包括：
30、使用rgb相机拍摄人手图片，并在拍摄时通过人手检测算法检测人手区域，获得单视角人手图片；
31、双手重建算法为基于单视角rgb图片的双手二维检测和姿态估计算法，使用双手重建算法确定图片对应的双手姿态，包括：
32、检测图片中人手所在的区域，并确定区域置信度，其中，人手所在的区域通过人手二维包围盒的顶点坐标表示；
33、对人手所在的区域对应的子图进行人手重建，确定人手模型及其运动参数作为双手姿态。
34、可选地，在本申请的一个实施例中，根据采集的图片和确定的双手姿态、人手纹理的先验知识，确定人手纹理贴图，包括：
35、使用人手纹理数据库，通过统计学方法构建人手纹理的基纹理图；
36、通过基纹理图的加权平均拟合人手纹理，得到人手纹理贴图；
37、对人手纹理贴图进行渲染，得到渲染后的图片，包括：
38、使用可微渲染的方式将人手模型与人手纹理贴图渲染为二维图片，得到渲染后的二维图片。
39、可选地，在本申请的一个实施例中，通过光流模型计算真实拍摄图片和渲染出的图片之间的光流和光流误差，包括：
40、确定真实拍摄的二维图片和渲染出的二维图片之间的像素对应关系作为光流，并确定光流误差；
41、对双手姿态进行优化，包括：
42、根据光流误差以及渲染结果的可微性构建损失函数，并基于构建的损失函数优化人手模型的运动参数，确定优化后的双手姿态。
43、为达上述目的，本专利技术第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现本文档来自技高网...
【技术保护点】
1.一种基于光流的单视频双手动态三维运动捕捉方法，其特征在于，包括以下步骤：
2.如权利要求1所述的方法，其特征在于，所述采集单视角人手图片，包括：
3.如权利要求2所述的方法，其特征在于，所述根据采集的图片和确定的双手姿态、人手纹理的先验知识，确定人手纹理贴图，包括：
4.如权利要求3所述的方法，其特征在于，所述通过光流模型计算真实拍摄图片和渲染出的图片之间的光流和光流误差，包括：
5.一种基于光流的单视频双手动态三维运动捕捉装置，其特征在于，包括图片采集模块、姿态重建模块、误差确认模块、姿态优化模块，其中，
6.如权利要求5所述的装置，其特征在于，所述采集单视角人手图片，包括：
7.如权利要求6所述的装置，其特征在于，所述根据采集的图片和确定的双手姿态、人手纹理的先验知识，确定人手纹理贴图，包括：
8.如权利要求7所述的装置，其特征在于，所述通过光流模型计算真实拍摄图片和渲染出的图片之间的光流和光流误差，包括：
9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上
10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4中任一所述的方法。
...【技术特征摘要】
1.一种基于光流的单视频双手动态三维运动捕捉方法，其特征在于，包括以下步骤：
2.如权利要求1所述的方法，其特征在于，所述采集单视角人手图片，包括：
3.如权利要求2所述的方法，其特征在于，所述根据采集的图片和确定的双手姿态、人手纹理的先验知识，确定人手纹理贴图，包括：
4.如权利要求3所述的方法，其特征在于，所述通过光流模型计算真实拍摄图片和渲染出的图片之间的光流和光流误差，包括：
5.一种基于光流的单视频双手动态三维运动捕捉装置，其特征在于，包括图片采集模块、姿态重建模块、误差确认模块、姿态优化模块，其中，
6.如权利要求5所述的装置，其特征在于，所述采集...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。