一种用于沉浸式模拟器的手部模型实时生成方法技术

本发明专利技术提出了一种用于沉浸式模拟器的手部模型实时生成方法，包括以下步骤：S1、采集含有手部数据的彩色图像和深度图，分析所述深度图的连续性和连通性，获取近景连通图；S2、利用椭圆皮肤模型分析所述彩色图像，获取具有皮肤特征的连通图；S3、将所述近景连通图和具有皮肤特征的连通图做交运算，获得包括一个或多个重叠区域的重叠连通图；S4、根据有效条件从重叠连通图中选取有效手部区域，并进行手部数据填补；S5、利用有效手部区域内的数据构建三角网格，生成手部轻量级三维模型。本发明专利技术方法能够实时获取轻量化人手模型，计算量较小，成本较低，易于推广使用。

A real-time generation method of hand model for immersion simulator

【技术实现步骤摘要】
一种用于沉浸式模拟器的手部模型实时生成方法
本专利技术涉及一种应用于沉浸式模拟器的轻量级手部模型实时生成方法，属于计算机视觉、计算机图形学

技术介绍
实时人手模型的生成是计算机视觉与计算机图像学领域中一个重要且基础的问题，它在虚拟现实及混合现实等领域有着非常广泛的应用。在虚拟现实中，通过引入人手模型，再利用实时获得的人手运动进行驱动，可以获得更佳的交互体验；在混合现实中，将实际人手的模型以及运动进行重建并添加到虚拟场景中，可满足多种多样的应用需求，比如沉浸式训练模拟器要求能看到操作人员的双手，就需要用到实时人手模型。沉浸式的模拟训练要求通过VR头盔所见的舱内近景与真实近景高度一致。而且，在模拟器中，模拟训练涉及到大量手与各种操纵单元的交互。因此，生成真实人手的模型和运动是一个重要且具有挑战性的问题，人手模型的重建研究具有极高的科研和应用价值。
技术实现思路
本专利技术提出了一种用于沉浸式模拟器的手部模型实时生成方法，采集彩色-深度图像数据，获取深度数据的连续性以及彩色数据的皮肤区域，综合分析深度图的近景连通图和彩色图的皮肤区域连通图，提取有效的手部区域和数据，进而获得手部三维模型。本专利技术方法计算过程简单，可以实时生成手部模型，进一步的，通过渲染引擎可直接将生成的人手模型渲染到沉浸式训练模拟器的头盔中，增加训练过程的真实感。为解决上述技术问题，本专利技术采用了如下技术手段：一种用于沉浸式模拟器的手部模型实时生成方法，包括以下步骤：S1、采集含有手部数据的彩色图像和深度图，分析所述深度图的连续性和连通性，获取近景连通图；S2、利用椭圆皮肤模型分析所述彩色图像，获取具有皮肤特征的连通图；S3、将所述近景连通图和具有皮肤特征的连通图做交运算，获得包括一个或多个重叠区域的重叠连通图；S4、根据有效条件从重叠连通图中选取有效手部区域，并进行手部数据填补；S5、利用有效手部区域内的数据构建三角网格，生成手部轻量级三维模型。进一步的，所述步骤S1的具体操作如下：S11、采集含有手部数据的彩色图像和深度图；S12、将所述深度图中每个像素的深度值与设定的深度阈值比较，并去除深度值大于深度阈值的像素，获得近景深度图；S13、分析近景深度图中每个像素的连续性，获得近景深度图的连续性表征图；S14、分析连续性表征图的连通性，获得包含一个或多个连通区域的连续性连通图；S15、比较连续性连通图中每块连通区域的面积，将面积小于阈值Fa的连通区域的数据删除，获得近景连通图。进一步的，所述步骤S13的具体操作包括：1)、以近景深度图中某一像素(u,v)为中心像素，(u,v)为该像素的坐标，计算像素(u,v)的邻域像素中有效像素的数量Ns，所述有效像素指深度值大于0的像素：2)、计算像素(u,v)与其邻域像素的深度值差值ΔI：ΔI＝|I(u,v)-I(i,j)|(1)其中，I(u,v)为像素(u,v)的深度值，I(i,j)为邻域像素的深度值，(i,j)为邻域像素的坐标；当所述深度值差值ΔI小于阈值T，认为邻域像素(i,j)与像素(u,v)的深度值接近，获得近景深度图中与像素(u,v)深度值接近的邻域像素的数量Nn；3)、重复上述步骤1)、2)，直到处理完近景深度图中的所有像素；4)、当Nn大于设置的阈值G且该像素的深度值I(u,v)小于深度阈值时，该像素为近景连通像素，否则，该像素为孤立像素。计算近景深度图的连续性表征图LD-C，连续性表征图中坐标为(u,v)的像素的灰度值为LD-C(u,v)，具体公式如下：其中，ID-N(u,v)表示近景深度图中坐标为(u,v)的像素的深度值。进一步的，所述邻域像素为中心像素的八连通域内的像素。进一步的，所述步骤S2，利用椭圆皮肤模型分析所述彩色图像，获取具有皮肤特征的连通图，具体操作如下：S21、将彩色图像从RGB空间变换到YCbCr空间，检测图像内所有像素点的(Cb,Cr)坐标；S22、基于椭圆皮肤模型分析图像中每个像素的(Cb,Cr)坐标，当某一像素的(Cb,Cr)坐标位于椭圆皮肤模型内，该像素点为皮肤点，令该像素点的灰度值为255，否则该像素点为非皮肤点，令该像素点的灰度值为0，分析所有像素得到皮肤标记图；S23、对皮肤标记图进行闭运算，去除皮肤标记图中皮肤区域内的漏洞，即将漏洞处像素点的灰度值设置为255；S24、分析步骤S23处理后的皮肤标记图的连通性，并去除面积小于阈值Fb的连通区域的数据，获得具有皮肤特征的连通图。进一步的，所述步骤S4，根据有效条件从重叠连通图中选取有效手部区域，并进行手部数据填补，具体操作为：计算重叠连通图中所有重叠区域的面积，当重叠区域的面积大于设置的面积阈值Fc，该重叠区域为有效手部区域，获取所有有效手部区域，并将区域内像素点的深度信息和颜色信息填补到有效手部区域内。进一步的，所述步骤S5中三角网格的三维顶点坐标的计算公式如下：其中，(x,y,z)为三角网格的三维顶点坐标，K-1为相机内参矩阵。采用以上技术手段后可以获得以下优势：本专利技术提出了一种用于沉浸式模拟器的手部模型实时生成方法，本方法分别处理具有深度数据的深度图和具有皮肤彩色数据的彩色图，获得近景范围内深度数据的连续区域和彩色数据中符合皮肤特征的区域，即近景连通图和皮肤连通图，然后综合分析近景连通图和皮肤连通图，获得重叠区域并提取有效手部数据，最后利用有效的手部数据直接构造轻量型人手的三角网格模型。本专利技术方法能够实时获取轻量化人手模型，对虚拟现实、混合现实交互过程的内容生成具有较大意义，获得的手部模型可以直接渲染到沉浸式模拟器的VR头盔上，从而获得真实手的视觉效果，增强沉浸式模拟器的真实感。本专利技术方法计算量较小，可以直接在普通的电脑或工作站等硬件系统上实现，成本较低，易于推广使用。附图说明图1为本专利技术一种用于沉浸式模拟器的手部模型实时生成方法的步骤流程图。图2为本专利技术方法实施例的应用场景图，其中，1是VR头盔，2是操作面板，3是操作杆，4是RGBD相机。图3为本专利技术方法中构造三角网格的示意图，其中，5是有效手部区域。图4为本专利技术方法实施例中的深度图，其中，(a)是采集到的深度图，(b)是处理后的近景连通图。图5为本专利技术方法实施例中的彩色图像，其中，(a)是采集到的彩色图像，(b)是处理后具有皮肤特征的连通图。图6为本专利技术方法实施例中手部模型示意图，其中，(a)是有效手部区域图，(b)是重建的轻量型手部模型图。具体实施方式下面结合附图对本专利技术的技术方案作进一步说明：本专利技术提出了一种用于沉浸式模拟器的手部模型实时生成方法，主要运用在虚拟现实和混合现实交互过程中，如图1所示，具体步骤如下：S1、采集含有手部数据的彩色图像和深度图，分析所述深度图的连续性和连通性，获取近景连通图；具体操作如下：S11、本实施例以沉浸式的模拟器中的手部模型实时生成为例，如图2所示，沉浸式的模拟器包括飞行训练模拟器、汽车驾驶模拟器或者其他教育/娱乐模拟器，沉浸式的模拟器通常包括佩戴在操作人员头部的VR头盔1、位于操作人员舱房的操作面板2和位于操作人员两侧的操作杆3，其工作原理为：操作人员佩戴上VR头盔，与操作杆进行交互，交互信号输入计算机中进行处理，计算机驱动虚拟场景产生对应的变化，同时操作人员通过VR头盔获得实时变化的虚拟场景本文档来自技高网...

【技术保护点】
1.一种用于沉浸式模拟器的手部模型实时生成方法，其特征在于，包括以下步骤：S1、采集含有手部数据的彩色图像和深度图，分析所述深度图的连续性和连通性，获取近景连通图；S2、利用椭圆皮肤模型分析所述彩色图像，获取具有皮肤特征的连通图；S3、将所述近景连通图和具有皮肤特征的连通图做交运算，获得包括一个或多个重叠区域的重叠连通图；S4、根据有效条件从重叠连通图中选取有效手部区域，并进行手部数据填补；S5、利用有效手部区域内的数据构建三角网格，生成手部轻量级三维模型。

【技术特征摘要】
1.一种用于沉浸式模拟器的手部模型实时生成方法，其特征在于，包括以下步骤：S1、采集含有手部数据的彩色图像和深度图，分析所述深度图的连续性和连通性，获取近景连通图；S2、利用椭圆皮肤模型分析所述彩色图像，获取具有皮肤特征的连通图；S3、将所述近景连通图和具有皮肤特征的连通图做交运算，获得包括一个或多个重叠区域的重叠连通图；S4、根据有效条件从重叠连通图中选取有效手部区域，并进行手部数据填补；S5、利用有效手部区域内的数据构建三角网格，生成手部轻量级三维模型。2.根据权利要求1所述的一种用于沉浸式模拟器的手部模型实时生成方法，其特征在于，所述步骤S1的具体操作如下：S11、采集含有手部数据的彩色图像和深度图；S12、将所述深度图中每个像素的深度值与设定的深度阈值比较，并去除深度值大于深度阈值的像素，获得近景深度图；S13、分析近景深度图中每个像素的连续性，获得近景深度图的连续性表征图；S14、分析连续性表征图的连通性，获得包含一个或多个连通区域的连续性连通图；S15、比较连续性连通图中每块连通区域的面积，将面积小于阈值Fa的连通区域的数据删除，获得近景连通图。3.根据权利要求2所述的一种用于沉浸式模拟器的手部模型实时生成方法，其特征在于，所述步骤S13的具体操作包括：1)、以近景深度图中某一像素(u,v)为中心像素，(u,v)为该像素的坐标，计算像素(u,v)的邻域像素中有效像素的数量Ns，所述有效像素指深度值大于0的像素：2)、计算像素(u,v)与其邻域像素的深度值差值ΔI：ΔI＝|I(u,v)-I(i,j)|其中，I(u,v)为像素(u,v)的深度值，I(i,j)为邻域像素的深度值，(i,j)为邻域像素的坐标；当所述深度值差值ΔI小于阈值T，认为邻域像素(i,j)与像素(u,v)的深度值接近，获得近景深度图中与像素(u,v)深度值接近的邻域像素的数量N...

【专利技术属性】
技术研发人员：徐枫，张浩，黄煦，李晓阳，张晓旭，
申请(专利权)人：清华大学，中科恒运股份有限公司，
类型：发明
国别省市：北京,11