三维重建方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本申请公开了一种三维重建方法、装置、电子设备及计算机可读存储介质，三维重建方法包括：获取目标场景的第一待重建深度图像以及与第一待重建深度图像对应的RGB图像；对第一待重建深度图像进行预处理，得到第二待重建深度图像；基于第二待重建深度图像以及RGB图像，对第二待重建深度图像进行语义分割，确定第二待重建深度图像中的目标对象区域和非目标对象区域；对第二待重建深度图像进行处理，以去除第二待重建深度图像中的非目标对象区域；利用处理后的第二待重建深度图像进行三维重建，得到目标对象的三维模型，能够提升目标对象的三维重建过程中语义分割的精度，从而提升目标对象的三维重建的效率以及重建的三维模型的精度。度。度。

【技术实现步骤摘要】
三维重建方法、装置、电子设备及计算机可读存储介质


[0001]本申请涉及三维重建领域，尤其涉及一种三维重建方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]三维重建，是对三维对象建立适合计算机表示和处理的数学模型，根据三维对象的单视图或多视图的图像重建三维信息的过程。在某些场景，由于采集的三维对象的图像中存在噪声，会影响重建的三维模型的精度和重建速度。
[0003]以口腔医疗领域为例，三维重建的应用可以是基于口内牙齿和牙龈的多视图进行牙齿和牙龈模型的三维重建，在对牙齿和牙龈进行多视图的二维图像采集时，由于某些视角下采集到的二维图像可能包含许多噪声信息，如嘴唇、颊侧等非刚体区域，或医用手套、口腔镜等临时介入的医用物品，这些噪声信息会对三维重建过程产生影响，使牙齿和牙龈的三维重建过程速度和效率较低，且重建的三维模型的精度也较低。

技术实现思路

[0004]针对上述技术问题，本申请提供一种三维重建方法、装置、电子设备及计算机可读存储介质，技术方案如下：
[0005]根据本申请的第一方面，提供一种三维重建方法，该方法包括：
[0006]获取目标场景的第一待重建深度图像以及与第一待重建深度图像对应的RGB图像；
[0007]对第一待重建深度图像进行预处理，得到第二待重建深度图像；
[0008]基于第二待重建深度图像以及所述RGB图像，对第二待重建深度图像进行语义分割，确定第二待重建深度图像中的目标对象区域和非目标对象区域；
[0009]对第二待重建深度图像进行处理，以去除第二待重建深度图像中的非目标对象区域；
[0010]利用处理后的第二待重建深度图像进行三维重建，得到所述目标对象的三维模型。
[0011]根据本申请的第二方面，提供一种三维重建装置，该装置包括：
[0012]获取单元，用于获取目标场景的第一待重建深度图像以及与第一待重建深度图像对应的RGB图像；
[0013]预处理单元，用于对第一待重建深度图像进行预处理，得到第二待重建深度图像；
[0014]语义分割单元，用于基于第二待重建深度图像以及所述RGB图像，对第二待重建深度图像进行语义分割，确定第二待重建深度图像中的目标对象区域和非目标对象区域；
[0015]处理单元，用于对第二待重建深度图像进行处理，以去除第二待重建深度图像中的非目标对象区域；
[0016]三维重建单元，用于利用处理后的第二待重建深度图像进行三维重建，得到所述
目标对象的三维模型。
[0017]根据本申请的第三方面，提供一种电子设备，该电子设备包括：
[0018]处理器；
[0019]用于存储处理器可执行指令的存储器；
[0020]其中，所述处理器被配置为实现如第一方面所述的方法。
[0021]根据本申请的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述方法中的步骤。
[0022]本申请提供的技术方案，对获取的目标场景的深度图像进行预处理，将预处理后的深度图像与其对应的RGB图像结合进行语义分割，在RGB图像的指引下，以及在深度图像中的对象与对象间本身存在较为明显的阶梯差异的情况下，将深度图像中的目标对象区域以及非目标对象区域精确地分割出来，以去除深度图像中的非目标对象区域，从而准确地剔除深度图像中包含的噪声信息，基于包含分割出的目标对象区域且剔除噪声信息后的深度图像进行针对目标对象的三维重建，得到目标对象的三维模型，能够提升目标对象的三维重建过程中语义分割的精度，从而提升目标对象的三维重建的效率以及重建的三维模型的精度。
[0023]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0024]为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0025]图1是本申请的一个三维重建场景示意图；
[0026]图2是本申请一个实施例的三维重建方法的流程示意图；
[0027]图3是本申请一个实施例的通过结构光扫描仪获取的深度图像示意图；
[0028]图4是本申请一个实施例的深度图像预处理示意图；
[0029]图5是本申请一个实施例的语义分割模型训练流程示意图；
[0030]图6是本申请一个实施例的语义分割模型的结构示意图；
[0031]图7是本申请一个实施例的三维重建装置的结构示意图；
[0032]图8是本申请一个实施例的电子设备的结构示意图。
具体实施方式
[0033]为了使本领域技术人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行详细地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请保护的范围。
[0034]首先对三维重建场景进行介绍，三维重建，是对三维物体建立适合计算机表示和处理的数学模型，根据三维物体的单视图或多视图的图像重建三维信息的过程，三维重建
可以应用于多种场景，下面以口腔场景为例，对三维重建在口腔内牙齿和牙龈的应用进行示例性说明：
[0035]请参见图1，在口腔医疗领域，三维重建的应用可以是基于口内牙齿和牙龈的多视图进行牙齿和牙龈模型的三维重建，例如，通过口腔扫描仪101对患者牙齿和牙龈进行多视图的二维图像采集时，能够得到多张牙齿和牙龈的二维图像102，基于多张牙齿和牙龈的二维图像102，能够对牙齿和牙龈进行三维重建，得到牙齿和牙龈的三维模型103，由于某些视角下采集到的二维图像102可能包含许多噪声信息，如嘴唇、颊侧等非刚体区域，或医用手套、口腔镜等临时介入的医用物品，这些噪声信息会对三维重建过程产生影响，所以对牙齿和牙龈的三维重建过程速度和效率较低，且重建的三维模型的精度也较低，因此，在牙齿和牙龈的三维重建过程中引入了语义分割，以尽可能去除牙齿和牙龈的二维图像中存在的噪声信息，提高牙齿和牙龈的三维重建过程的速度和效率，然而，由于当前对牙齿和牙龈的二维图像进行语义分割仅基于牙齿和牙龈的RGB图像，而RGB图像易受到光照、图像畸变等影响，且在牙齿和牙龈的RGB图像中颊侧与牙龈纹理较为相似，分割过程难以区分，所以语义分割的精度较低，使得牙齿和牙龈的三维重建的效率以及重建的三维模型精度仍然较低。
[0036]需要说明的是，上述口腔场景下，对牙齿和牙龈进行三维重建属于示例性说明，在实际应用中，除了口腔场景外，本申请实施例还可应用于其他场景的三维重建，例如通过耳内扫描仪对耳内进行扫描的三维重建场景、通过面部扫描仪对面部进行扫描的三维重建场景等，对于本申请实施例的应用的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维重建方法，其特征在于，包括：获取目标场景的第一待重建深度图像以及与第一待重建深度图像对应的RGB图像；对第一待重建深度图像进行预处理，得到第二待重建深度图像；基于第二待重建深度图像以及所述RGB图像，对第二待重建深度图像进行语义分割，确定第二待重建深度图像中的目标对象区域和非目标对象区域；对第二待重建深度图像进行处理，以去除第二待重建深度图像中的非目标对象区域；利用处理后的第二待重建深度图像进行三维重建，得到所述目标对象的三维模型。2.根据权利要求1所述的方法，其特征在于，所述目标场景为口腔场景，所述目标对象包括牙齿以及牙龈，所述非目标对象包括软组织或可移动对象，所述软组织包括嘴唇、颊侧，所述可移动对象包括医疗内窥镜、手套。3.根据权利要求1或2所述的方法，其特征在于，对第二待重建深度图像进行语义分割包括：对所述RGB图像以及第二待重建深度图像进行特征抽取，得到所述RGB图像的特征图和第二待重建深度图像的特征图；在多层级对所述RGB图像的特征图以及第二待重建深度图像的特征图进行融合，得到融合后的特征图；基于融合后的特征图确定目标对象区域和非目标对象区域。4.根据权利要求3所述的方法，其特征在于，对第一待重建深度图像进行预处理包括以下一项或多项：根据所述RGB图像的颜色尺度范围调整第一待重建深度图像的像素值范围；根据获取第一待重建深度图像所采用的深度相机的景深范围去除第一待重建深度图像的噪声像素；通过插值法对第一待重建深度图像的空洞进行补全处理。5.根据权利要求3所述的方法，其特征在于，目标对象区域和非目标对象区域是通过将第二待重建深度图像以及所述RGB图像输入至预先训练的语义分割模型得到的，其中，语义分割模型通过以下方式训练得到：获取样本图像，所述样本图像包括深度图像以及与深度图像对应的RGB图像，其中，深度...

【专利技术属性】
技术研发人员：王嘉磊，江腾飞，张健，赵晓波，
申请(专利权)人：先临三维科技股份有限公司，
类型：发明
国别省市：