三维重建方法、装置、设备以及存储介质制造方法及图纸

本申请公开了三维重建方法、装置、设备以及存储介质，涉及计算机视觉、深度学习等人工智能技术领域。该方法的一具体实施方式包括：获取目标的RGBD图像序列；对于RGBD图像序列中的RGBD图像，确定目标在RGBD图像上的第一三维关键点集合；将第一三维关键点集合转移到相机坐标系下，得到目标在相机坐标系下的第二三维关键点集合；基于第二三维关键点集合，计算RGBD图像的欧拉角；基于欧拉角选取RGBD图像；基于选取出的RGBD图像进行目标三维重建，得到目标的三维模型。该实施方式从RGBD图像序列中选取关键帧进行三维重建，能够在保证三维重建效果的情况下，节省存储与网络传输资源。

【技术实现步骤摘要】
三维重建方法、装置、设备以及存储介质
本申请实施例涉及计算机
，具体涉及计算机视觉、深度学习等人工智能
，尤其涉及三维重建方法、装置、设备以及存储介质。
技术介绍
通常，深度相机采集到的RGBD图像是非常密集的。例如，在人脸扫描过程中，深度相机会采集数百帧人脸RGBD图像。然而RGBD图像主要以图片的形式存储，数量巨大的RGBD图像需要较大的存储与网络传输资源。并且，需要利用大量存储与网络传输资源对RGBD图像的所有帧进行重建，导致存储与网络传输成本较大。
技术实现思路
本申请实施例提出了三维重建方法、装置、设备以及存储介质。第一方面，本申请实施例提出了一种三维重建方法，包括：获取目标的RGBD图像序列；对于RGBD图像序列中的RGBD图像，确定目标在RGBD图像上的第一三维关键点集合；将第一三维关键点集合转移到相机坐标系下，得到目标在相机坐标系下的第二三维关键点集合；基于第二三维关键点集合，计算RGBD图像的欧拉角；基于欧拉角选取RGBD图像；基于选取出的RGBD图像进行目标三维重建，得到目标的三维模型。第二方面，本申请实施例提出了一种三维重建装置，包括：获取模块，被配置成获取目标的RGBD图像序列；确定模块，被配置成对于RGBD图像序列中的RGBD图像，确定目标在RGBD图像上的第一三维关键点集合；转移模块，被配置成将第一三维关键点集合转移到相机坐标系下，得到目标在相机坐标系下的第二三维关键点集合；计算模块，被配置成基于第二三维关键点集合，计算RGBD图像的欧拉角；选取模块，被配置成基于欧拉角选取RGBD图像；重建模块，被配置成基于选取出的RGBD图像进行目标三维重建，得到目标的三维模型。第三方面，本申请实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。第四方面，本申请实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。本申请实施例提供的三维重建方法、装置、设备以及存储介质，对于获取到的RGBD图像序列中的RGBD图像，首先确定目标在RGBD图像上的第一三维关键点集合；然后将第一三维关键点集合转移到相机坐标系下，得到目标在相机坐标系下的第二三维关键点集合；最后基于第二三维关键点集合，计算RGBD图像的欧拉角。在得到RGBD图像序列中的RGBD图像的欧拉角之后，基于欧拉角选取RGBD图像，并基于选取出的RGBD图像进行目标三维重建，得到目标的三维模型。依据RGBD图像的欧拉角从RGBD图像序列中选取关键帧，提升了选取出的关键帧的精准度。利用关键帧进行三维重建，能够在保证三维重建效果的情况下，节省存储与网络传输资源。在应用于人脸三维重建场景的情况下，大大减轻人脸三维重建中的存储与网络传输成本。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是本申请可以应用于其中的示例性系统架构；图2是根据本申请的三维重建方法的一个实施例的流程图；图3是根据本申请的三维重建方法的又一个实施例的流程图；图4是图3所示的三维重建方法中的过滤步骤的分解流程图；图5是根据本申请的三维重建装置的一个实施例的结构示意图；图6是用来实现本申请实施例的三维重建方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。图1示出了可以应用本申请的三维重建方法或三维重建装置的实施例的示例性系统架构100。如图1所示，系统架构100中可以包括相机101、网络102和服务器103。网络102用以在相机101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。相机101可以通过网络102与服务器103交互，以接收或发送消息等。例如，相机101可以采集目标的RGBD图像序列，并发送至服务器103。服务器103可以提供各种服务。例如，服务器103可以对从相机101接收到的目标的RGBD图像序列进行分析等处理，生成处理结果(例如目标三维模型)。需要说明的是，服务器103可以是硬件，也可以是软件。当服务器103为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器103为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。需要说明的是，本申请实施例所提供的三维重建方法一般由服务器103执行，相应地，三维重建装置一般设置于服务器103中。应该理解，图1中的相机、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的相机、网络和服务器。继续参考图2，其示出了根据本申请的三维重建方法的一个实施例的流程200。该三维重建方法包括以下步骤：步骤201，获取目标的RGBD图像序列。在本实施例中，三维重建方法的执行主体(例如图1所示的服务器103)可以从深度相机(例如图1所示的相机101)获取目标的RGBD图像序列。例如，终端设备可以调用深度相机的API(ApplicationProgrammingInterface，应用程序编程接口)采集目标的RGBD图像序列。通常，深度相机可以扫描目标，采集包括大量RGBD图像的RGBD图像序列。其中，RGBD图像可以包括RGB图像和深度图像。RGB图像的每个像素点的像素值可以是目标表面的每个点的颜色值。通常，人类视力所能感知的所有颜色均是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到的。深度图像的每个像素点的像素值可以是深度摄像机与目标表面的每个点之间的距离。通常，RGB图像和深度图像是配准的，因而RGB图像和深度图像的像素点之间具有一对一的对应关系。步骤202，对于RGBD图像序列中的RGBD图像，确定目标在RGBD图像上的第一三维关键点集合。在本实施例中，对于RGBD图像序列中的RGBD图像，上述执行主体可以确定目标本文档来自技高网...

【技术保护点】
1.一种三维重建方法，包括：/n获取目标的RGBD图像序列；/n对于所述RGBD图像序列中的RGBD图像，确定所述目标在所述RGBD图像上的第一三维关键点集合；/n将所述第一三维关键点集合转移到相机坐标系下，得到所述目标在所述相机坐标系下的第二三维关键点集合；/n基于所述第二三维关键点集合，计算所述RGBD图像的欧拉角；/n基于欧拉角选取RGBD图像；/n基于选取出的RGBD图像进行目标三维重建，得到所述目标的三维模型。/n

【技术特征摘要】
1.一种三维重建方法，包括：
获取目标的RGBD图像序列；
对于所述RGBD图像序列中的RGBD图像，确定所述目标在所述RGBD图像上的第一三维关键点集合；
将所述第一三维关键点集合转移到相机坐标系下，得到所述目标在所述相机坐标系下的第二三维关键点集合；
基于所述第二三维关键点集合，计算所述RGBD图像的欧拉角；
基于欧拉角选取RGBD图像；
基于选取出的RGBD图像进行目标三维重建，得到所述目标的三维模型。


2.根据权利要求1所述的方法，其中，所述RGBD图像包括RGB图像和深度图像；以及
所述确定所述目标在所述RGBD图像上的第一三维关键点集合，包括：
对所述RGB图像进行关键点检测，得到所述目标在所述RGB图像上的二维关键点集合；
将所述RGB图像与所述深度图像对齐，得到所述第一三维关键点集合。


3.根据权利要求2所述的方法，其中，所述对所述RGB图像进行关键点检测，得到所述目标在所述RGB图像上的二维关键点集合，包括：
利用关键点检测模型对所述RGB图像进行关键点检测，得到所述二维关键点集合。


4.根据权利要求1所述的方法，其中，所述RGBD图像还包括相机参数；以及
所述将所述第一三维关键点集合转移到相机坐标系下，得到所述目标在所述相机坐标系下的第二三维关键点集合，包括：
基于所述相机参数，通过逆透视投影将所述第一三维关键点集合转移到相机坐标系下，得到所述第二三维关键点集合。


5.根据权利要求4所述的方法，其中，所述基于所述相机参数，通过逆透视投影将所述第一三维关键点集合转移到相机坐标系下，得到所述第二三维关键点集合，包括：
从所述相机参数中获取相机焦距和相机光心；
利用所述相机焦距、所述相机光心与所述第一三维关键点集合中的三维关键点的深度值进行逆透视投影，得到所述第二三维关键点集合。


6.根据权利要求1所述的方法，其中，所述基于所述第二三维关键点集合，计算所述RGBD图像的欧拉角，包括：
通过奇异值分解的方法计算所述RGBD图像序列中的相邻RGBD图像对应的第二三维关键点集合之间的转移关系，其中，所述转移关系包括旋转矩阵、平移参数和缩放因子；
根据所述旋转矩阵计算所述相邻RGBD图像之间的相对欧拉角；
基于所述相对欧拉角，计算所述RGBD图像的绝对欧拉角。


7.根据权利要求6所述的方法，其中，所述基于欧拉角选取RGBD图像，包括：
基于绝对欧拉角，等角度间隔选取RGBD图像。


8.根据权利要求1所述的方法，其中，在所述基于所述第二三维关键点集合，计算所述RGBD图像的欧拉角之前，还包括：
利用随机抽样一致性算法对所述第二三维关键点集合进行过滤。


9.根据权利要求8所述的方法，其中，所述利用随机抽样一致性算法对所述第二三维关键点集合进行过滤，包括：
从所述第二三维关键点集合中选取预设数目的第二三维关键点，生成第二三维关键点子集合；
计算所述RGBD图像序列中的相邻RGBD图像对应的第二三维关键点子集合的变换矩阵；
计算所述第二三维关键点集合中的第二三维关键点与所述变换矩阵的投影误差，以及将投影误差小于预设阈值的第二三维关键点加入内点集；
基于所述内点集，对所述第二三维关键点集合进行过滤。


10.根据权利要求9所述的方法，其中，所述基于所述内点集，对所述第二三维关键点集合进行过滤，包括：
若所述内点集的元素个数大于目标内点集的元素个数，将所述内点集更新为所述目标内点集，以及将迭代次数加1；
若迭代次数未达到预设次数，重新选取第二三维关键点子集合继续迭代；
若迭代次数达到所述预设迭代次数，将所述目标内点集作为过滤后的第二三维关键点集合。


11.根据权利要求1-10之一所述的方法，其中，所述目标是人脸，所述关键点包括以下至少一项：人脸五官的位置、轮廓信息和形状信息。


12.一种三维重建装置，包括：
获取模块，被配置成获取目标的RGBD图像序列；
确定模块，被配置成对于所述RGBD图像序列中的RGBD图像，确定所述...

【专利技术属性】
技术研发人员：梁柏荣，洪智滨，郭知智，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11