重建动态物体的表面优化方法及装置制造方法及图纸

本发明专利技术公开了一种重建动态物体的表面优化方法及装置，其中，该方法包括：通过单个手持RGBD相机采集重建物体的彩色图像序列和深度图像序列；根据彩色图像序列和深度图像序列对每一帧求解当前相机位置，获取重建物体的运动及环境光照，用融合的方式来更新物体当前的几何和表面信息；根据清晰度从彩色图像序列中挑选出多个关键帧，并优化关键帧的像素，使优化后的颜色图像在像素块上与原始输入的颜色图满足预设条件；将重建物体的几何信息进行加密，利用分辨率满足预设值的颜色图，将优化后每一个关键帧的颜色图反投影回物体，得到重建物体的几何与表面。该方法在动态物体上对物体的表面进行优化，得到清晰、准确的表面信息，并且适用广泛。

【技术实现步骤摘要】
重建动态物体的表面优化方法及装置
本专利技术涉及计算机视觉和图形学
，特别涉及一种重建动态物体的表面优化方法及装置。
技术介绍
三维重建在计算机视觉与图像学中一个非常重要的问题，它在电影、动画、虚拟现实和增强现实等领域有着广泛的应用空间。深度相机与颜色相机能够分别得到每个像素对应的深度值和颜色值，可以用来对物体的几何和表面进行重建，但这些数据都存在着一些的误差，导致最终重建出的物体表面效果会较差。有一些相关的方法能够对静态的物体进行表面纹理的优化，但这些方法不适用于动态物体。有些方法能够对动态的物体进行重建，但重建的表面效果较差。有些方法能够得到效果较好的表面信息，但不能够对动态物体进行重建。动态物体的重建对于各种应用又是十分重要的，例如对人的动作进行重建。相关技术中的动态物体的重建则更多的关注对物体运动的重建，忽视了设备带来的种种误差，导致重建的表面较差。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种重建动态物体的表面优化方法，该方法可以在动态物体上对物体的表面进行优化，得到清晰、准确的表面信息，适用广泛。本专利技术的另一个目的在于提出一种重建动态物体的表面优化装置。为达到上述目的，本专利技术一方面实施例提出了一种重建动态物体的表面优化方法，包括以下步骤：通过单个手持RGBD相机采集重建物体的彩色图像序列和深度图像序列；根据所述彩色图像序列和所述深度图像序列对于每一帧求解当前相机位置，并获取所述重建物体的运动以及环境光照，并使用融合的方式来更新物体当前的几何信息和表面信息；根据清晰度从所述彩色图像序列中挑选出多个关键帧，并对所述多个关键帧的像素进行优化，以使优化后的颜色图像在像素块上与原始输入的颜色图满足预设条件，同时在不同帧中物体的同一个表面点的颜色一致；将所述重建物体的几何信息进行加密，以充分利用分辨率满足预设值的颜色图，并将每一个关键帧优化后的所述颜色图反投影回物体，以得到所述重建物体的几何与表面。本专利技术实施例的重建动态物体的表面优化方法，通过利用像素块对动态物体的表面进行优化，首先要解得物体的几何和运动，只需要使用单个手持RGBD相机，然后优化一些颜色图像帧的像素值，使得各个视角下所看到的物体表面相一致，从而得到物体最终清晰、准确的表面信息，并且适用广泛。另外，根据本专利技术上述实施例的重建动态物体的表面优化方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述重建物体的几何信息通过体素空间中的截断有向距离函数方法来进行表示，体素的运动由周围稀疏节点的运动加权求和得到，运动使用双四元混合数表达，并且所述环境光照使用球谐函数表示，在已知光照时由反射率和表面法向求得物体表面的颜色。进一步地，在本专利技术的一个实施例中，所述根据所述彩色图像序列和所述深度图像序列对于每一帧求解当前相机位置，并获取所述重建物体的运动以及环境光照，并使用融合的方式来更新物体当前的几何信息和表面信息，包括：通过迭代最近点算法估计所述当前相机位置；构造势能函数对运动W和光照L进行联合求解，势能函数包含两个数据项和两个正则项。其中，所述势能函数为：E1(W,L)＝ωdEd(W)+ωcEc(W,L)+ωwEw(W)+ωlEl(L)，其中，L为光照，W为运动，ωd、ωc、ωw、ω1分别为对应四项的权重系数，数据项Ed为深度图像中每一个像素输入的值与模型运动后的对应像素处的深度值差值的平方和，数据项Ec为颜色图像中每一个像素的值与运动后模型在当前光照下对应像素处的颜色值差值的平方和，正则项Ew，正则项E1。进一步地，在本专利技术的一个实施例中，所述优化后的颜色图像的计算公式为：E2(T,M)＝ωSES(T)+ωTET(T)+ωMEM(T,M)，其中，ωS、ωT、ωM分别为三项的权重系数，ES项和ET项度量Si和Ti之间的差距，函数D(s,t)是相同尺寸的像素块s和t的差异度，定义为各个像素颜色差值的平方和，Tj(yj)为像素，EM为颜色一致项，要求物体同一表面点在不同视角下所看到的颜色一致，要求Mi(xi)颜色与不同视角的对应像素Tj(yj)颜色相接近，Mi表示当前优化得到的表面在Si视角下的图像，yj是Mi中的像素xi在Sj视角下的对应像素，对应物体相同的表面点，对应关系通过之前求解的每一帧的运动计算得到，Mi(xi)-Tj(yj)为xi与yj颜色值的差，Wj(yj)为yj的可信度，是其法向与Sj视线夹角余弦的平方。为达到上述目的，本专利技术另一方面实施例提出了一种重建动态物体的表面优化装置，包括：采集模块，用于通过单个手持RGBD相机采集重建物体的彩色图像序列和深度图像序列；获取模块，用于根据所述彩色图像序列和所述深度图像序列对于每一帧求解当前相机位置，并获取所述重建物体的运动以及环境光照，并使用融合的方式来更新物体当前的几何信息和表面信息；挑选模块，用于根据清晰度从所述彩色图像序列中挑选出多个关键帧，并对所述多个关键帧的像素进行优化，以使优化后的颜色图像在像素块上与原始输入的颜色图满足预设条件，同时在不同帧中物体的同一个表面点的颜色一致；优化模块，用于将所述重建物体的几何信息进行加密，以充分利用分辨率满足预设值的颜色图，并将每一个关键帧优化后的所述颜色图反投影回物体，以得到所述重建物体的几何与表面。本专利技术实施例的重建动态物体的表面优化装置，通过利用像素块对动态物体的表面进行优化，首先要解得物体的几何和运动，只需要使用单个手持RGBD相机，然后优化一些颜色图像帧的像素值，使得各个视角下所看到的物体表面相一致，从而得到物体最终清晰、准确的表面信息，并且适用广泛。另外，根据本专利技术上述实施例的重建动态物体的表面优化装置还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述重建物体的几何信息通过体素空间中的截断有向距离函数方法来进行表示，体素的运动由周围稀疏节点的运动加权求和得到，运动使用双四元混合数表达，并且所述环境光照使用球谐函数表示，在已知光照时由反射率和表面法向求得物体表面的颜色。进一步地，在本专利技术的一个实施例中，所述获取模块进一步用于通过迭代最近点算法估计所述当前相机位置，并且构造势能函数对运动W和光照L进行联合求解，势能函数包含两个数据项和两个正则项。其中，所述势能函数为：E1(W,L)＝ωdEd(W)+ωcEc(W,L)+ωwEw(W)+ωlEl(L)，其中，L为光照，W为运动，ωd、ωc、ωw、ωl分别为对应四项的权重系数，数据项Ed为深度图像中每一个像素输入的值与模型运动后的对应像素处的深度值差值的平方和，数据项Ec为颜色图像中每一个像素的值与运动后模型在当前光照下对应像素处的颜色值差值的平方和，正则项Ew，正则项El。进一步地，在本专利技术的一个实施例中，所述优化后的颜色图像的计算公式为：E2(T,M)＝ωSES(T)+ωTET(T)+ωMEM(T,M)，其中，ωS、ωT、ωM分别为三项的权重系数，ES项和ET项度量Si和Ti之间的差距，函数D(s,t)是相同尺寸的像素块s和t的差异度，定义为各个像素颜色差值的平方和，Tj(yj)为像素，EM为颜色一致项，要求物体同一表面点在不同视角下所看到的颜色一致，要求Mi(xi)颜色与不同视角的对应像本文档来自技高网...

【技术保护点】
1.一种重建动态物体的表面优化方法，其特征在于，包括以下步骤：通过单个手持RGBD相机采集重建物体的彩色图像序列和深度图像序列；根据所述彩色图像序列和所述深度图像序列对于每一帧求解当前相机位置，并获取所述重建物体的运动以及环境光照，并使用融合的方式来更新物体当前的几何信息和表面信息；根据清晰度从所述彩色图像序列中挑选出多个关键帧，并对所述多个关键帧的像素进行优化，以使优化后的颜色图像在像素块上与原始输入的颜色图满足预设条件，同时在不同帧中物体的同一个表面点的颜色一致；以及将所述重建物体的几何信息进行加密，以充分利用分辨率满足预设值的颜色图，并将每一个关键帧优化后的所述颜色图反投影回物体，以得到所述重建物体的几何与表面。

【技术特征摘要】
1.一种重建动态物体的表面优化方法，其特征在于，包括以下步骤：通过单个手持RGBD相机采集重建物体的彩色图像序列和深度图像序列；根据所述彩色图像序列和所述深度图像序列对于每一帧求解当前相机位置，并获取所述重建物体的运动以及环境光照，并使用融合的方式来更新物体当前的几何信息和表面信息；根据清晰度从所述彩色图像序列中挑选出多个关键帧，并对所述多个关键帧的像素进行优化，以使优化后的颜色图像在像素块上与原始输入的颜色图满足预设条件，同时在不同帧中物体的同一个表面点的颜色一致；以及将所述重建物体的几何信息进行加密，以充分利用分辨率满足预设值的颜色图，并将每一个关键帧优化后的所述颜色图反投影回物体，以得到所述重建物体的几何与表面。2.根据权利要求1所述的重建动态物体的表面优化方法，其特征在于，所述重建物体的几何信息通过体素空间中的截断有向距离函数方法来进行表示，体素的运动由周围稀疏节点的运动加权求和得到，运动使用双四元混合数表达，并且所述环境光照使用球谐函数表示，在已知光照时由反射率和表面法向求得物体表面的颜色。3.根据权利要求1或2所述的重建动态物体的表面优化方法，其特征在于，所述根据所述彩色图像序列和所述深度图像序列对于每一帧求解当前相机位置，并获取所述重建物体的运动以及环境光照，并使用融合的方式来更新物体当前的几何信息和表面信息，包括：通过迭代最近点算法估计所述当前相机位置；构造势能函数对运动W和光照L进行联合求解，势能函数包含两个数据项和两个正则项。4.根据权利要求3所述的重建动态物体的表面优化方法，其特征在于，所述势能函数为：E1(W，L)＝ωdEd(W)+ωcEc(W，L)+ωwEw(W)+ωlEl(L)，其中，L为光照，W为运动，ωd、ωc、ωw、ωl分别为对应四项的权重系数，数据项Ed为深度图像中每一个像素输入的值与模型运动后的对应像素处的深度值差值的平方和，数据项Ec为颜色图像中每一个像素的值与运动后模型在当前光照下对应像素处的颜色值差值的平方和，正则项Ew，正则项El。5.根据权利要求4所述的重建动态物体的表面优化方法，其特征在于，所述优化后的颜色图像的计算公式为：E2(T，M)＝ωSES(T)+ωTET(T)+ωMEM(T，M)，其中，ωS、ωT、ωM分别为三项的权重系数，ES项和ET项度量Si和Ti之间的差距，函数D(s，t)是相同尺寸的像素块s和t的差异度，定义为各个像素颜色差值的平方和，Tj(yj)为像素，EM为颜色一致项，要求物体同一表面点在不同视角下所看到的颜色一致，要求Mi(xi)颜色与不同视角的对应像素Tj(yj)颜色相接近，Mi表示当前优化得到的表面在Si视角下的图像，yj是Mi中的像素xi在Sj视角下的对应像素，对应物体相同的表面点，对应关系通过之前求解的每一帧的运动计算得到，Mi(xi)-Tj(yj)为xi与yj颜色值的差，Wj(yj)为yj的...

【专利技术属性】
技术研发人员：徐枫，郑成伟，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11