3D对象建模方法以及相关设备和计算机程序产品技术

提供了对三维(3D)对象进行建模的方法。对3D对象进行建模的方法包括以下步骤：基于来自多个二维(2D)图像的数据，生成3D对象的至少一部分的3D模型。此外，该方法包括以下步骤：通过对距3D对象的距离进行估计来缩放3D模型。还提供了相关设备和计算机程序产品。

【技术实现步骤摘要】
【国外来华专利技术】3D对象建模方法以及相关设备和计算机程序产品
本公开涉及图像处理。
技术介绍
可用性不断提高的三维(3D)对象扫描和打印技术已经使得大量个人和组织能够按需扫描、设计甚或打印他们自己的模型和零部件。例如，可以将来自一个或更多个摄像头的图像馈送用于以数字方式重建物理的3D对象。作为示例，可以将图像馈送用于创建一个或更多个密集点云，并且基于所述点云创建多边形网格。可以例如使用基于具有不同的相应时间戳的图像帧的立体视差估计来创建所述点云。然而，所得到的多边形网格的一个或更多个尺寸可能因难以确定物理的3D对象的大小而发生畸变。结果，当以数字方式重建多个3D对象时，不同的数字重建的相对大小可能是不正确的。
技术实现思路
应当清楚，提供本
技术实现思路
以按简化形式介绍很多概念，下面，在详细描述中对所述概念加以进一步描述。本
技术实现思路
不旨在标识本公开的关键特征或基本特征，也不旨在限制本专利技术构思的范围。本专利技术构思的各个实施方式包括对3D对象进行建模的方法。所述方法可以包括：针对无线电子设备的第一传感器的第一位置，对3D对象的网格表示的第一部分进行渲染。所述方法可以包括以下步骤：对从网格表示的第一部分到无线电子设备的第二传感器的第一距离进行模拟。所述方法可以包括：基于第一距离确定网格表示的第一部分的第一比例参数。所述方法可以包括：针对第一传感器的第二位置，对3D对象的网格表示的第二部分进行渲染。所述方法可以包括：对从网格表示的第二部分到第二传感器的第二距离进行模拟。所述方法可以包括：基于第二距离确定网格表示的第二部分的第二比例参数。此外，所述方法可以包括：基于第一比例参数和第二比例参数并且基于第一传感器与第二传感器之间的预定的物理距离，对第一传感器与第二传感器之间的模拟距离进行估计。有利地，这些操作可以向原本可能具有不正确的比例的3D模型提供缩放。此外，通过考虑第一传感器与第二传感器之间的距离，这些操作可以增加缩放的精度。根据各个实施方式，所述方法可以包括：通过基于第一比例参数和第二比例参数对3D对象的网格表示的缩放进行调节，将3D对象的网格表示转换成该3D对象的3D模型。在各个实施方式中，对第一距离进行模拟可以包括：对分别从网格表示的第一部分中的第一多个点到第二传感器的第一多个距离进行模拟。所述方法可以包括：确定第一多个距离的平均值。类似地，对第二距离进行模拟的步骤可以包括：对分别从网格表示的第二部分中的第二多个点到第二传感器的第二多个距离进行模拟，并且所述方法可以包括：确定第二多个距离的平均值。根据各个实施方式，确定第一多个距离的平均值可以包括：确定关于第一传感器的第一位置的加权平均值。确定加权平均值可以包括：分别将第一多个距离与多个权重参数相乘，以提供多个乘法结果。所述多个权重参数可以分别基于网格表示的第一部分的多个颜色值并且基于第一多个距离来确定。确定加权平均值可以包括：对所述多个乘法结果进行求和，并且对所述多个权重参数进行求和。此外，确定加权平均值可以包括：将所述多个乘法结果的总和与所述多个权重参数的总和相除。在各个实施方式中，所述方法可以包括：确定多个比例参数的平均值，所述多个比例参数包括第一比例参数和第二比例参数。对第一传感器与第二传感器之间的模拟距离进行估计可以基于所述多个比例参数的平均值来执行。在一些实施方式中，基于所述多个比例参数的平均值对模拟距离进行估计可以包括：对第一模拟距离进行估计。此外，所述方法可以包括：对第二模拟距离进行估计。对第二模拟距离进行估计可以包括：基于第一模拟距离，选择网格表示的更新的第一部分，该网格表示的更新的第一部分从网格表示的第一部分偏移。对第二模拟距离进行估计可以包括：对从网格表示的更新的第一部分到第二传感器的更新的第一距离进行模拟。对第二模拟距离进行估计可以包括：基于更新的第一距离，确定网格表示的更新的第一部分的更新的第一比例参数。对第二模拟距离进行估计可以包括：基于第一模拟距离，选择网格表示的更新的第二部分，网格表示的更新的第二部分从网格表示的第二部分偏移。对第二模拟距离进行估计可以包括：对从网格表示的更新的第二部分到第二传感器的更新的第二距离进行模拟。对第二模拟距离进行估计可以包括：基于更新的第二距离，确定网格表示的更新的第二部分的更新的第二比例参数。对第二模拟距离进行估计可以包括：确定更新的多个比例参数的平均值，所述更新的多个比例参数包括更新的第一比例参数和更新的第二比例参数。此外，对第二模拟距离进行估计可以包括：将第一传感器与第二传感器之间的预定的物理距离与所述更新的多个比例参数的平均值相除。根据各个实施方式，在对第一模拟距离进行估计之前，可以基于为零的初始模拟距离，选择网格表示的第一部分。另外或另选地，对网格表示的第一部分进行渲染可以包括：对网格表示的第一部分的深度图进行渲染。此外，所述方法可以包括：将深度图存储在存储介质中。在一些实施方式中，对深度图进行渲染可以使用来自第一传感器和第二传感器的数据来执行。在各个实施方式中，第一传感器和第二传感器分别可以是不同类型的传感器。例如，第一传感器和第二传感器分别可以是图像传感器和单射束飞行时间传感器。另外或另选地，所述方法可以包括：在存储介质中从图像拍摄装置接收3D对象的图像数据，并且对网格表示的第一部分进行渲染以及对网格表示的第二部分进行渲染可以使用该图像数据来执行。根据各个实施方式，所述方法可以包括：基于网格表示的第一部分的第一像素的第一颜色，对第一距离的值进行调节。确定第一比例参数可以基于第一距离的调节的值来执行。类似地，所述方法可以包括：基于网格表示的第二部分中的第二像素的第二颜色，对第二距离的值进行调节，并且确定第二比例参数可以基于第二距离的调节的值来执行。根据各个实施方式，对3D对象进行建模的方法可以包括：在图像拍摄装置中，从相对于3D对象的不同视角，拍摄该3D对象的多个2D图像。所述方法可以包括：根据拍摄的多个2D图像，生成3D对象的至少一部分的3D模型。此外，所述方法可以包括：通过使用在所述拍摄期间由图像拍摄装置生成并且从3D对象反射回来的信号，对该3D对象与图像拍摄装置之间的距离进行估计，来缩放该3D模型的尺寸。在各个实施方式中，所述图像拍摄装置可以包括飞行时间传感器；并且所述对距离进行估计可以包括：使用飞行时间传感器对信号进行检测。此外，所述对距离进行估计可以包括：通过对在所述拍摄期间由所述图像拍摄装置生成并且从3D对象反射回来的信号如何从多个不同的视角照亮3D模型进行模拟，生成使用飞行时间传感器检测到的信号的仿真。例如，所述生成仿真的步骤可以包括：将仿真映射至使用飞行时间传感器检测到的信号。根据各个实施方式，所述图像拍摄装置可以包括镜头和相对于该镜头偏移的飞行时间传感器，所述多个2D图像是通过该镜头拍摄的。此外，所述对距离进行估计的步骤可以包括：使用飞行时间传感器对信号进行检测。在一些实施方式中，所述信号可以由飞行时间传感器生成并检测到。根据各个实施方式，所述生成步骤和缩放步骤可以包括：针对不同视角中的第一视角，对3D对象的3D模本文档来自技高网...

【技术保护点】
1.一种对三维3D对象(135)进行建模的方法，所述方法包括以下步骤：/n针对无线电子设备(100)的第一传感器(101)的第一位置，对所述3D对象(135)的网格表示的第一部分进行渲染(250-1)；/n对从所述网格表示的所述第一部分到所述无线电子设备(100)的第二传感器(102)的第一距离进行模拟(260-1)；/n基于所述第一距离，确定(261-1)所述网格表示的所述第一部分的第一比例参数；/n针对所述第一传感器(101)的第二位置，对所述3D对象(135)的所述网格表示的第二部分进行渲染(250-2)；/n对从所述网格表示的所述第二部分到所述第二传感器(102)的第二距离进行模拟(260-2)；/n基于所述第二距离，确定(261-2)所述网格表示的所述第二部分的第二比例参数；以及/n基于所述第一比例参数和所述第二比例参数并且基于所述第一传感器(101)与所述第二传感器(102)之间的预定的物理距离，对所述第一传感器(101)与所述第二传感器(102)之间的模拟距离进行估计(262)。/n

【技术特征摘要】
【国外来华专利技术】1.一种对三维3D对象(135)进行建模的方法，所述方法包括以下步骤：
针对无线电子设备(100)的第一传感器(101)的第一位置，对所述3D对象(135)的网格表示的第一部分进行渲染(250-1)；
对从所述网格表示的所述第一部分到所述无线电子设备(100)的第二传感器(102)的第一距离进行模拟(260-1)；
基于所述第一距离，确定(261-1)所述网格表示的所述第一部分的第一比例参数；
针对所述第一传感器(101)的第二位置，对所述3D对象(135)的所述网格表示的第二部分进行渲染(250-2)；
对从所述网格表示的所述第二部分到所述第二传感器(102)的第二距离进行模拟(260-2)；
基于所述第二距离，确定(261-2)所述网格表示的所述第二部分的第二比例参数；以及
基于所述第一比例参数和所述第二比例参数并且基于所述第一传感器(101)与所述第二传感器(102)之间的预定的物理距离，对所述第一传感器(101)与所述第二传感器(102)之间的模拟距离进行估计(262)。


2.根据权利要求1所述的方法，所述方法还包括以下步骤：通过基于所述第一比例参数和所述第二比例参数对所述3D对象(135)的所述网格表示的缩放进行调节，将所述3D对象(135)的所述网格表示转换(263)成所述3D对象(135)的3D模型(150')。


3.根据权利要求1和2中任一项所述的方法，
其中，对所述第一距离进行模拟(260-1)的步骤包括：分别对从所述网格表示的所述第一部分中的第一多个点到所述第二传感器(102)的第一多个距离进行模拟(260-1P)，
其中，所述方法还包括以下步骤：确定(260-1A)所述第一多个距离的平均值，
其中，对所述第二距离进行模拟(260-2)的步骤包括：分别对从所述网格表示的所述第二部分中的第二多个点到所述第二传感器(102)的第二多个距离进行模拟(260-2P)，并且
其中，所述方法还包括确定(260-2A)所述第二多个距离的平均值。


4.根据权利要求3所述的方法，其中，确定(260-1A)所述第一多个距离的平均值的步骤包括：通过以下步骤确定关于第一传感器(101)的第一位置的加权平均值：
分别将所述第一多个距离与多个权重参数相乘(260-1A1)，以提供多个乘法结果，其中，所述多个权重参数是分别基于所述网格表示的所述第一部分的多个颜色值并且基于所述第一多个距离来确定的；
对所述多个乘法结果进行求和(260-1A2)；
对所述多个权重参数进行求和(260-1A3)；以及
将所述多个乘法结果的总和与所述多个权重参数的总和相除(260-1A4)。


5.根据权利要求1至4中任一项所述的方法，所述方法还包括以下步骤：确定多个比例参数的平均值，所述多个比例参数包括所述第一比例参数和所述第二比例参数，其中，对所述第一传感器(101)与所述第二传感器(102)之间的所述模拟距离进行估计(262)的步骤是基于所述多个比例参数的平均值执行的。


6.根据权利要求5所述的方法，其中，基于所述多个比例参数的平均值对所述模拟距离进行估计的步骤包括：对第一模拟距离进行估计(262-B)，所述方法还包括以下步骤：
通过以下步骤对第二模拟距离进行估计：
基于所述第一模拟距离，选择(262-C)所述网格表示的更新的第一部分，所述网格表示的所述更新的第一部分从所述网格表示的所述第一部分偏移；
对从所述网格表示的所述更新的第一部分到所述第二传感器(102)的更新的第一距离进行模拟(262-D)；
基于所述更新的第一距离，确定(262-E)所述网格表示的所述更新的第一部分的更新的第一比例参数；
基于所述第一模拟距离，选择(262-F)所述网格表示的更新的第二部分，所述网格表示的所述更新的第二部分从所述网格表示的所述第二部分偏移；
对从所述网格表示的所述更新的第二部分到所述第二传感器(102)的更新的第二距离进行模拟(262-G)；
基于所述更新的第二距离，确定(262-H)所述网格表示的所述更新的第二部分的更新的第二比例参数；
确定(262-I)更新的多个比例参数的平均值，所述更新的多个比例参数包括所述更新的第一比例参数和所述更新的第二比例参数；以及
将所述第一传感器(101)与所述第二传感器(102)之间的所述预定的物理距离与所述更新的多个比例参数的平均值相除(262-J)。


7.根据权利要求6所述的方法，其中，在对所述第一模拟距离进行估计(262-B)之前：
基于初始模拟距离零，选择(262-A)所述网格表示的所述第一部分。


8.根据权利要求1至7中任一项所述的方法，其中，对所述网格表示的所述第一部分进行渲染(250-1)的步骤包括对所述网格表示的所述第一部分的深度图进行渲染(250-1D)。


9.根据权利要求8所述的方法，所述方法还包括将所述深度图存储(255-D)在存储介质(370)中。


10.根据权利要求8所述的方法，其中，对所述深度图进行渲染(250-1D)的步骤是使用来自所述第一传感器(101)和所述第二传感器(102)的数据执行的。


11.根据权利要求1至10中任一项所述的方法，其中，所述第一传感器(101)和所述第二传感器(102)分别包括不同类型的传感器。


12.根据权利要求11所述的方法，其中，所述第一传感器(101)和所述第二传感器(102)分别包括图像传感器和单射束飞行时间传感器。


13.根据权利要求1至12中任一项所述的方法，所述方法还包括以下步骤：
基于所述网格表示的所述第一部分中的第一像素的第一颜色，调节(260-1')所述第一距离的值，其中，确定(261-1)所述第一比例参数的步骤是基于所述第一距离的调节的值来执行(261-1')的；以及
基于所述网格表示的所述第二部分中的第二像素的第二颜色，调节(260-2')所述第二距...

【专利技术属性】
技术研发人员：D·林纳克，P·萨斯，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP