点云的校正方法和三维模型的生成方法、装置、设备制造方法及图纸

本公开提供了一种点云的校正方法和三维模型的生成方法、装置、设备和介质，涉及人工智能领域，具体涉及虚拟现实、增强现实、元宇宙、计算机视觉和深度学习等技术领域。点云的校正方法包括：根据第一对象的第一点云数据进行平面拟合，得到平面模型；根据平面模型对第一点云数据进行校正，得到校正后点云数据；确定校正后点云数据中与目标图像中的目标边界线对应的目标点云数据，目标边界线为第一对象与第二对象之间的边界线；基于目标图像中目标点云数据对应的第一像素点与目标图像中第二对象对应的第二像素点之间的位置关系，根据目标点云数据确定第二像素点对应的深度值；以及根据深度值，对第二对象的第二点云数据进行校正。对第二对象的第二点云数据进行校正。对第二对象的第二点云数据进行校正。

【技术实现步骤摘要】
点云的校正方法和三维模型的生成方法、装置、设备


[0001]本公开涉及人工智能领域，具体涉及虚拟现实、增强现实、元宇宙、计算机视觉和深度学习等
，尤其涉及一种点云的校正方法和三维模型的生成方法、装置、设备和介质。

技术介绍

[0002]随着计算机技术和网络技术的发展，各种新兴技术应运而生。例如，生成场景的三维模型的三维重建技术得到快速发展。通常，在三维重建技术中，平面的生成对点云数据的精度要求较高，经常存在因点云数据不准确，导致平面扭曲、三维模型精度低的情形。

技术实现思路

[0003]本公开旨在提供一种点云的校正方法和三维模型的生成方法、装置、设备和介质，以提高点云数据和三维模型的精度，避免平面扭曲的情况。
[0004]根据本公开的一个方面，提供了一种点云的校正方法，包括：根据第一对象的第一点云数据进行平面拟合，得到表征第一对象所在平面的平面模型；根据平面模型对第一点云数据进行校正，得到校正后点云数据；确定校正后点云数据中与目标图像中的目标边界线对应的目标点云数据，目标边界线为目标图像中第一对象与第二对象之间的边界线；基于目标图像中目标点云数据对应的第一像素点与目标图像中第二对象对应的第二像素点之间的位置关系，根据目标点云数据确定第二像素点对应的深度值；以及根据深度值，对第二对象的第二点云数据进行校正。
[0005]根据本公开的另一个方面，提供了一种三维模型的生成方法，包括：根据包括第一对象和第二对象的目标图像，生成目标图像对应的初始点云数据；初始点云数据包括第一对象的第一点云数据和第二对象的第二点云数据；采用本公开提供的点云的校正方法对第一点云数据和第二点云数据进行校正，得到校正后点云数据；以及根据校正后点云数据，生成三维模型。
[0006]根据本公开的另一个方面，提供了一种点云的校正装置，包括：平面拟合模块，用于根据第一对象的第一点云数据进行平面拟合，得到表征第一对象所在平面的平面模型；第一校正模块，用于根据平面模型对第一点云数据进行校正，得到校正后点云数据；边界点云确定模块，用于确定校正后点云数据中与目标图像中的目标边界线对应的目标点云数据，目标边界线为目标图像中第一对象与第二对象之间的边界线；深度值确定模块，用于基于目标图像中目标点云数据对应的第一像素点与目标图像中第二对象对应的第二像素点之间的位置关系，根据目标点云数据确定第二像素点对应的深度值；以及第二校正模块，用于根据深度值，对第二对象的第二点云数据进行校正。
[0007]根据本公开的另一个方面，提供了一种三维模型的生成装置，包括：点云生成模块，用于根据包括第一对象和第二对象的目标图像，生成目标图像对应的初始点云数据；初始点云数据包括第一对象的第一点云数据和第二对象的第二点云数据；点云校正模块，用
于采用本公开提供的点云的校正装置对第一点云数据和第二点云数据进行校正，得到校正后点云数据；以及模型生成模块，用于根据校正后点云数据，生成三维模型。
[0008]根据本公开的另一个方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的点云的校正方法和/或三维模型的生成方法。
[0009]根据本公开的另一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的点云的校正方法和/或三维模型的生成方法。
[0010]根据本公开的另一个方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令在被处理器执行时实现本公开提供的点云的校正方法和/或三维模型的生成方法。
[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0012]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0013]图1是根据本公开实施例的点云的校正方法和三维模型的生成方法、装置的应用场景示意图；
[0014]图2是根据本公开实施例的点云的校正方法的流程示意图；
[0015]图3是根据本公开实施例的点云的校正方法的实现原理图；
[0016]图4是根据本公开实施例的确定第二像素点对应的深度值的原理示意图；
[0017]图5是根据本公开实施例的三维模型的生成方法的流程示意图；
[0018]图6是根据本公开实施例的三维模型的生成方法所生成三维模型的效果图；
[0019]图7是根据本公开实施例的点云数据的校正装置的结构框图；
[0020]图8是根据本公开实施例的三维模型的生成装置的结构框图；以及
[0021]图9是用来实施本公开实施例的点云数据的校正方法和/或三维模型的生成方法的电子设备的框图。
具体实施方式
[0022]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0023]在三维重建技术中，通常根据基于图像生成的物体的点云数据来得到物体的三维模型。点云数据的生成依赖于针对单个图像得到的深度估计结果。在实现本公开构思的过程中，专利技术人发现：由于受光照或深度估计精度等的影响，点云数据的精度难以保证。由于点云数据精度的限制，通常会存在生成的三维模型中地面和/或墙面等平面被扭曲，两个交接平面之间存在空隙的情形。
[0024]为了解决该技术问题，本公开提供了一种点云的校正方法和三维模型的生成方法，通过校正对象的点云，来提高重建的三维模型的精度。
[0025]以下先结合图1对本公开提供的方法和装置的应用场景进行描述。
[0026]图1是根据本公开实施例的点云的校正方法和三维模型的生成方法、装置的应用场景示意图。
[0027]如图1所示，该实施例的应用场景100可以包括电子设备110，该电子设备110可以为具有处理功能的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和服务器等等。
[0028]该电子设备110例如可以对输入的图像120进行处理，具体可以先根据图像120生成对象的点云数据，随后借由平面拟合算法等来对点云数据进行校正，得到校正后点云数据。
[0029]在一实施例中，需要校正点云数据的对象例如可以包括两个相邻且具有交界线的对象，电子设备可以先对两个对象中其中一个对象的点云数据进行校正，随后根据校正结果再对两个对象中其中另一个对象的点云数据进行校正，以此保证根据校正后的点云数据生成的三维模型中，两个对象之间的交界线不存在缝隙，且两个对象均为平面结构。
[0030]在一实施例中，电子设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种点云的校正方法，包括：根据第一对象的第一点云数据进行平面拟合，得到表征所述第一对象所在平面的平面模型；根据所述平面模型对所述第一点云数据进行校正，得到校正后点云数据；确定所述校正后点云数据中与目标图像中的目标边界线对应的目标点云数据，所述目标边界线为所述目标图像中所述第一对象与第二对象之间的边界线；基于所述目标图像中所述目标点云数据对应的第一像素点与所述目标图像中所述第二对象对应的第二像素点之间的位置关系，根据所述目标点云数据确定所述第二像素点对应的深度值；以及根据所述深度值，对所述第二对象的第二点云数据进行校正。2.根据权利要求1所述的方法，其中，所述基于所述目标图像中所述目标点云数据对应的第一像素点与所述目标图像中所述第二对象对应的第二像素点之间的位置关系，根据所述目标点云数据确定所述第二像素点对应的深度值包括：确定所述目标图像中与针对所述目标图像的虚拟相机中心对应的像素点，作为中心像素点；确定中心像素点与所述第一像素点中各像素点之间的连线，得到目标连线；确定所述第二像素点中位于所述目标连线上的目标像素点；以及基于所述各像素点与所述目标像素点之间的像素距离，根据对应所述各像素点的目标点云数据确定所述目标像素点对应的深度值。3.根据权利要求2所述的方法，其中，所述基于所述各像素点与所述目标像素点之间的像素距离，根据对应所述各像素点的目标点云数据确定所述目标像素点对应的深度值包括：根据所述像素距离和对应所述各像素点的目标点云数据中的深度值，采用线性插值算法确定所述目标像素点对应的深度值，其中，所述中心像素点对应的深度值为预定值。4.根据权利要求1所述的方法，还包括：根据所述目标图像，生成针对所述目标图像的点云数据；根据所述目标图像中所述第一对象对应的像素点，确定所述点云数据中的所述第一点云数据；以及根据所述目标图像中所述第二对象对应的像素点，确定所述点云数据中的所述第二点云数据。5.根据权利要求4所述的方法，还包括：采用深度学习模型对所述目标图像进行处理，得到所述目标图像中所述第一对象与除所述第一对象外其他对象之间的边界线的像素位置；所述第一对象与所述其他对象之间的边界线包括所述第一对象与所述第二对象之间的边界线；根据所述像素位置，确定所述目标图像中所述第一对象对应的像素点；以及根据所述第一对象与所述第二对象之间的边界线的像素位置，确定所述目标图像中所述第二对象对应的像素点。6.根据权利要求1～5中任一项所述的方法，其中，所述第一对象和所述第二对象中的
其中之一为墙体；所述第一对象和所述第二对象中的其中另一为地面。7.一种三维模型的生成方法，包括：根据包括第一对象和第二对象的目标图像，生成所述目标图像对应的初始点云数据；所述初始点云数据包括所述第一对象的第一点云数据和所述第二对象的第二点云数据；采用权利要求1～6中任一项所述的点云的校正方法对所述第一点云数据和所述第二点云数据进行校正，得到校正后点云数据；以及根据所述校正后点云数据，生成所述三维模型。8.一种点云的校正装置，包括：平面拟合模块，用于根据第一对象的第一点云数据进行平面拟合，得到表征所述第一对象所在平面的平面模型；第一校正模块，用于根据所述平面模型对所述第一点云数据进行校正，得到校正后点云数据；边界点云确定模块，用于确定所述校正后点云数据中与目标图像中的目标边界线对应的目标点云数据，所述目标边界线为所述目标图像中所述第一对象与第二对象...

【专利技术属性】
技术研发人员：王海君，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：