用于三维重建的纹理优化方法及装置制造方法及图纸

本申请公开了一种用于三维重建的纹理优化方法及装置。方法的一具体实施方式包括：获取三维模型以及与三维模型对应的至少一帧关键帧图像；投影三维模型，得到与至少一帧关键帧图像一一对应的投影图像；将至少一帧关键帧图像中的每帧关键帧图像，与所对应的投影图像进行图像对齐，得到至少一帧对齐后关键帧图像；根据至少一帧对齐后关键帧图像，确定三维模型的纹理信息。本申请提供了一种用于三维重建的纹理优化方法，提高了三维模型的纹理信息的清晰度，提升了三维模型质量。提升了三维模型质量。提升了三维模型质量。

【技术实现步骤摘要】
用于三维重建的纹理优化方法及装置


[0001]本申请实施例涉及计算机
，具体涉及一种用于三维重建的纹理优化方法及装置。

技术介绍

[0002]三维重建技术是计算机图像学和计算机视觉领域中的重要技术。随着电子商务的不断发展，对物品进行三维展示的需求也不断增加，而纹理映射在物品的展示中起着重要的作用。近年来，各种消费级深度摄像头不断出现，基于深度图像的三维重建技术得到了快速发展。但在很多情况下，基于三维重建技术得到的三维模型的纹理信息比较模糊。

技术实现思路

[0003]本申请实施例提出了一种用于三维重建的纹理优化方法及装置。
[0004]第一方面，本申请实施例提供了一种用于三维重建的纹理优化方法，包括：获取三维模型以及与三维模型对应的至少一帧关键帧图像；投影三维模型，得到与至少一帧关键帧图像一一对应的投影图像；将至少一帧关键帧图像中的每帧关键帧图像，与所对应的投影图像进行图像对齐，得到至少一帧对齐后关键帧图像；根据至少一帧对齐后关键帧图像，确定三维模型的纹理信息。
[0005]在一些实施例中，上述将至少一帧关键帧图像中的每帧关键帧图像，与所对应的投影图像进行图像对齐，得到至少一帧对齐后关键帧图像，包括：针对于至少一帧关键帧图像中的每帧关键帧图像，执行如下操作：基于光流法，确定该关键帧图像与对应于该关键帧图像的投影图像之间的偏移信息；根据偏移信息，调整该关键帧图像，得到该关键帧图像对应的对齐后关键帧图像。
[0006]在一些实施例中，上述基于光流法，确定该关键帧图像与对应于该关键帧图像的投影图像之间的偏移信息，包括：确定该关键帧图像和对应于该关键帧图像的投影图像各自的感兴趣区域；根据感兴趣区域，裁剪该关键帧图像和对应于该关键帧图像的投影图像，分别得到裁剪后关键帧图像和裁剪后投影图像；基于光流法，确定裁剪后关键帧图像与裁剪后投影图像之间的偏移信息；以及
[0007]上述根据偏移信息，调整该关键帧图像，得到该关键帧图像对应的对齐后关键帧图像，包括：根据裁剪后关键帧图像与裁剪后投影图像之间的偏移信息，调整裁剪后关键帧图像，得到对齐后裁剪图像；以对齐后裁剪图像作为对齐后关键帧图像的感兴趣区域，得到该关键帧图像对应的对齐后关键帧图像。
[0008]在一些实施例中，上述投影三维模型，得到与至少一帧关键帧图像一一对应的投影图像，包括：针对于至少一帧关键帧图像中的每帧关键帧图像，执行如下操作：确定该关键帧图像对应的相机姿态信息、相机内参信息；根据相机内参信息确定投影信息；根据相机姿态信息和投影信息，得到三维模型对应于该关键帧图像的投影图像。
[0009]在一些实施例中，上述根据至少一帧对齐后关键帧图像，确定三维模型的纹理信
息，包括：根据反投影关系，将至少一帧对齐后关键帧图像映射至三维模型，确定三维模型的纹理信息。
[0010]第二方面，本申请实施例提供了一种用于三维重建的纹理优化装置，包括：获取单元，被配置成获取三维模型以及与三维模型对应的至少一帧关键帧图像；投影单元，被配置成投影三维模型，得到与至少一帧关键帧图像一一对应的投影图像；对齐单元，被配置成将至少一帧关键帧图像中的每帧关键帧图像，与所对应的投影图像进行图像对齐，得到至少一帧对齐后关键帧图像；确定单元，被配置成根据至少一帧对齐后关键帧图像，确定三维模型的纹理信息。
[0011]在一些实施例中，对齐单元，进一步被配置成：针对于至少一帧关键帧图像中的每帧关键帧图像，执行如下操作：基于光流法，确定该关键帧图像与对应于该关键帧图像的投影图像之间的偏移信息；根据偏移信息，调整该关键帧图像，得到该关键帧图像对应的对齐后关键帧图像。
[0012]在一些实施例中，对齐单元，进一步被配置成：确定该关键帧图像和对应于该关键帧图像的投影图像各自的感兴趣区域；根据感兴趣区域，裁剪该关键帧图像和对应于该关键帧图像的投影图像，分别得到裁剪后关键帧图像和裁剪后投影图像；基于光流法，确定裁剪后关键帧图像与裁剪后投影图像之间的偏移信息；根据裁剪后关键帧图像与裁剪后投影图像之间的偏移信息，调整裁剪后关键帧图像，得到对齐后裁剪图像；以对齐后裁剪图像作为对齐后关键帧图像的感兴趣区域，得到该关键帧图像对应的对齐后关键帧图像。
[0013]在一些实施例中，投影单元，被配置成：针对于至少一帧关键帧图像中的每帧关键帧图像，执行如下操作：确定该关键帧图像对应的相机姿态信息、相机内参信息；根据相机内参信息确定投影信息；根据相机姿态信息和投影信息，得到三维模型对应于该关键帧图像的投影图像。
[0014]在一些实施例中，确定单元，被配置成：根据反投影关系，将至少一帧对齐后关键帧图像映射至三维模型，确定三维模型的纹理信息。
[0015]第三方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现如第一方面任一实现方式描述的方法。
[0016]第四方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面任一实现方式描述的方法。
[0017]本申请实施例提供的用于三维重建的纹理优化方法及装置，通过获取三维模型以及与三维模型对应的至少一帧关键帧图像；投影三维模型，得到与至少一帧关键帧图像一一对应的投影图像；将至少一帧关键帧图像中的每帧关键帧图像，与所对应的投影图像进行图像对齐，得到至少一帧对齐后关键帧图像；根据至少一帧对齐后关键帧图像，确定三维模型的纹理信息，从而提供了一种用于三维重建的纹理优化方法，提高了三维模型的纹理信息的清晰度，提升了三维模型质量。
附图说明
[0018]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
[0019]图1是本申请的一个实施例可以应用于其中的示例性系统架构图；
[0020]图2是根据本申请用于三维重建的纹理优化方法的一个实施例的流程图；
[0021]图3是根据本实施例的用于三维重建的纹理优化方法的应用场景的示意图；
[0022]图4是根据本申请的用于三维重建的纹理优化方法的又一个实施例的流程图；
[0023]图5是根据本申请的用于三维重建的纹理优化装置的一个实施例的结构图；
[0024]图6是适于用来实现本申请实施例的计算机系统的结构示意图。
具体实施方式
[0025]下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。
[0026]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0027]图1示出了可以应用本申请的用于三维重建的纹理优化方法及装置的示例性架构100。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于三维重建的纹理优化方法，包括：获取三维模型以及与所述三维模型对应的至少一帧关键帧图像；投影所述三维模型，得到与所述至少一帧关键帧图像一一对应的投影图像；将所述至少一帧关键帧图像中的每帧关键帧图像，与所对应的投影图像进行图像对齐，得到至少一帧对齐后关键帧图像；根据所述至少一帧对齐后关键帧图像，确定所述三维模型的纹理信息。2.根据权利要求1所述的方法，其中，所述将所述至少一帧关键帧图像中的每帧关键帧图像，与所对应的投影图像进行图像对齐，得到至少一帧对齐后关键帧图像，包括：针对于所述至少一帧关键帧图像中的每帧关键帧图像，执行如下操作：基于光流法，确定该关键帧图像与对应于该关键帧图像的投影图像之间的偏移信息；根据所述偏移信息，调整该关键帧图像，得到该关键帧图像对应的对齐后关键帧图像。3.根据权利要求2所述的方法，其中，所述基于光流法，确定该关键帧图像与对应于该关键帧图像的投影图像之间的偏移信息，包括：确定该关键帧图像和对应于该关键帧图像的投影图像各自的感兴趣区域；根据感兴趣区域，裁剪该关键帧图像和对应于该关键帧图像的投影图像，分别得到裁剪后关键帧图像和裁剪后投影图像；基于光流法，确定所述裁剪后关键帧图像与所述裁剪后投影图像之间的偏移信息；以及所述根据所述偏移信息，调整该关键帧图像，得到该关键帧图像对应的对齐后关键帧图像，包括：根据所述裁剪后关键帧图像与所述裁剪后投影图像之间的偏移信息，调整所述裁剪后关键帧图像，得到对齐后裁剪图像；以所述对齐后裁剪图像作为所述对齐后关键帧图像的感兴趣区域，得到该关键帧图像对应的所述对齐后关键帧图像。4.根据权利要求1所述的方法，其中，所述投影所述三维模型，得到与所述至少一帧关键帧图像一一对应的投影图像，包括：针对于所述至少一帧关键帧图像中的每帧关键帧图像，执行如下操作：确定该关键帧图像对应的相机姿态信息、相机内参信息；根据所述相机内参信息确定投影信息；根据所述相机姿态信息和所述投影信息，得到所述三维模型对应于该关键帧图像的投影图像。5.根据权利要求1所述的方法，其中，所述根据所述至少一帧对齐后关键帧图像，确定所述三维模型的纹理信息，包括：根据反投影关系，将所述至少一帧对齐后关键帧图像映射至所述三维模型，确定所述三维模型的纹理信息。6.一种用于三维重建的纹理优化装置，包...

【专利技术属性】
技术研发人员：杜峰，严庆安，郭复胜，刘享军，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：