一种目标物的三维模型构建方法、装置、设备及介质制造方法及图纸

本申请实施例所提供的目标物的三维模型构建方法，包括：获取目标物在多个拍摄角度上的至少两个初始图像，至少两个初始图像分别记录有目标物的深度信息，深度信息用于记录目标物的多个点与参考位置之间的距离；根据至少两个初始图像中的深度信息，分别获取至少两个初始图像对应的第一点云信息；将至少两个初始图像分别对应的第一点云信息融合为第二点云信息；根据第二点云信息构建目标物的三维模型。本申请还提供一种装置、设备及介质，不需要建立额外的存储空间即可实现三维模型的建立过程，直接通过点云融合的方式来构建目标物的三维模型，实现了存储空间利用效率的最大化，使得终端能够高效地执行人脸重建的建模过程。

A 3D model construction method, device, equipment and medium of object

【技术实现步骤摘要】
一种目标物的三维模型构建方法、装置、设备及介质
本专利技术涉及电子
，更具体地说，涉及一种目标物的三维模型构建方法、装置、设备及介质。
技术介绍
人脸重建技术，即通过一张或多张的2D人脸图像重建出人脸3D模型的技术。在具体工作过程中，用户站在拍摄镜头的视野范围内，并按指示转动头部，以使得拍摄镜头能够拍摄到用户不同角度的脸部画面，其中，该指示用户转动头部的指示信息，可以是由负责控制拍摄镜头拍摄的终端发出的，例如具备摄像功能的智能手机或平板电脑等。人脸重建技术在各个领域都有广泛的应用，例如以娱乐领域来说，用户在进行3D游戏时，可以通过重建用户的人脸模型，使得游戏角色的长相为用户的长相，从而使得3D游戏角色的构建能够更加个性化。在上述娱乐领域为代表的一些领域中，人脸重建技术存在以下特点：由于娱乐等用途不需要特别强的精度，用于构建3D模型的2D图像是用户通过终端自行拍摄获得的，而终端的计算和存储能力是有限的，现有技术中的人脸重建技术需要占用较大的内存空间和计算能力。
技术实现思路
有鉴于此，为解决上述问题，本专利技术提供的技术方案如下：一种目标物的三维模型构建方法，包括：获取目标物在多个拍摄角度上的至少两个初始图像，该至少两个初始图像分别记录有该目标物的深度信息，该深度信息用于记录该目标物的多个点与参考位置之间的距离；根据该至少两个初始图像中的深度信息，分别获取该至少两个初始图像对应的第一点云信息；将该至少两个初始图像分别对应的第一点云信息融合为第二点云信息；根据该第二点云信息构建该目标物的三维模型。一种目标物的三维模型构建装置，包括：第一获取单元，该第一获取单元用于获取目标物在多个拍摄角度上的至少两个初始图像，该至少两个初始图像分别记录有该目标物的深度信息，该深度信息用于记录该目标物的多个点与参考位置之间的距离；第二获取单元，该第二获取单元用于根据该第一获取单元获取的该至少两个初始图像中的深度信息，分别获取该至少初始图像对应的第一点云信息；融合单元，该融合单元用于将该第二获取单元获取的该至少两个初始图像分别对应的第一点云信息融合为第二点云信息；构建单元，该构建单元用于根据该融合单元得到的该第二点云信息构建该目标物的三维模型。可选地，该装置还包括特征点检测单元，该特征点检测单元用于：对该至少两个初始图像分别进行特征点检测，以在至少两个该初始图像中分别得到用于标记该目标物的至少两个特征点；在该至少两个初始图像之间，获取该至少两个特征点间的偏移量，该偏移量用于表示该目标物同一位置的特征点在不同初始图像之间的坐标差值；根据该偏移量获取至少两个该初始图像中该目标物的相机位姿，该相机位姿用于表示在不同的初始图像中该目标物相对该参考位置的移动，该移动包括旋转和平移中的至少一种，该参考位置为拍摄该目标物的拍摄镜头所在的位置；该融合单元，还用于：根据该相机位姿将该至少两个初始图像各自的第一点云信息融合为该第二点云信息。可选地，该融合单元还用于：确定一个该初始图像为第一帧；根据该相机位姿将该第一帧以外的其他初始图像的点移动到该第一帧的角度；将不同的该初始图像之间重叠的第一点融合为第二点，其中，该第一点为该第一点云信息中的点，该第二点为该第二点云信息中的点。可选地，该融合单元还用于：分别对该至少两个该初始图像中的第一点分配权重；根据该权重将重叠的该第一点融合为该第二点。可选地，该融合单元还用于：根据该第一点所在初始图像的拍摄角度、图像噪声值或法线方向中的至少一种对该第一点分配权重值。可选地，该融合单元还用于：当第一初始图像中存在两个重叠的第一点时，在该第一初始图像中获取与该第一帧中的第一点深度差的绝对值更小的第一点与该第一帧中的第一点进行点云融合，以得到该第二点，其中，该第一初始图像为该至少两个初始图像中不为该第一帧的图像。可选地，该构建单元还用于：对该第二点云信息进行泊松重建，以得到该目标物的三维网络，该三维网络为连接该第二点云信息中各个点的无孔洞表面；对该三维网络进行剪裁和平滑处理，以得到该三维模型。可选地，该构建单元还用于：根据该特征点对该三维网络沿垂直于镜头面的方向投影，得到第一投影面；在该第一投影面中将该特征点连接成凸包，获取凸包所在的区域为第二投影面；根据该第二投影面对该三维网络进行剪裁，以剔除非该目标物的三维网络；对剪裁后的该三维网络进行平滑处理，得到该三维模型。可选地，该装置还包括筛选单元，该筛选单元用于：剔除该至少两个初始图像中相似度大于预设值的图像。一种计算机设备所述计算机设备包括：交互装置、输入/输出(I/O)接口、处理器和存储器，该存储器中存储有程序指令；该交互装置用于获取用户输入的操作指令；该处理器用于执行存储器中存储的程序指令，执行如上述任意一项所述的方法。一种计算机可读存储介质，包括指令，当该指令在计算机设备上运行时，使得该计算机设备执行如上述任意一项所述的方法。本申请实施例所提供的目标物的三维模型构建方法，包括：获取目标物在多个拍摄角度上的至少两个初始图像，至少两个初始图像分别记录有目标物的深度信息，深度信息用于记录目标物的多个点与参考位置之间的距离；根据至少两个初始图像中的深度信息，分别获取至少两个初始图像对应的第一点云信息；将至少两个初始图像分别对应的第一点云信息融合为第二点云信息；根据第二点云信息构建目标物的三维模型。不需要建立额外的存储空间即可实现三维模型的建立过程，直接通过点云融合的方式来构建目标物的三维模型，实现了存储空间利用效率的最大化，使得终端能够高效地执行人脸重建的建模过程。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本申请实施例所提供的目标物的三维模型构建方法的一个实施例的流程图；图2为本申请实施例所提供的目标物的三维模型构建方法的另一个实施例的流程图；图3为本申请实施例所提供的目标物的三维模型构建方法的另一个实施例的流程图；图4为本申请实施例所提供的目标物的三维模型构建方法一个实施例的示意图；图5a为本申请实施例所提供的目标物的三维模型构建方法的另一个实施例的流程图；图5b为本申请实施例所提供的目标物的三维模型构建方法的中平滑处理算法的示意图；图5c为本申请实施例所提供的目标物的三维模型构建方法的中平滑处理的示意图；图6为本申请实施例所提供的目标物的三维模型构建方法的另一个实施例的流程图；图7为本申请实施例所提供的目标物的三维模型构建方法中初始图像的示意图；...

【技术保护点】
1.一种目标物的三维模型构建方法，其特征在于，包括：/n获取目标物在多个拍摄角度上的至少两个初始图像，所述至少两个初始图像分别记录有所述目标物的深度信息，所述深度信息用于记录所述目标物的多个点与参考位置之间的距离；/n根据所述至少两个初始图像中的深度信息，分别获取所述至少两个初始图像对应的第一点云信息；/n将所述至少两个初始图像分别对应的第一点云信息融合为第二点云信息；/n根据所述第二点云信息构建所述目标物的三维模型。/n

【技术特征摘要】
1.一种目标物的三维模型构建方法，其特征在于，包括：
获取目标物在多个拍摄角度上的至少两个初始图像，所述至少两个初始图像分别记录有所述目标物的深度信息，所述深度信息用于记录所述目标物的多个点与参考位置之间的距离；
根据所述至少两个初始图像中的深度信息，分别获取所述至少两个初始图像对应的第一点云信息；
将所述至少两个初始图像分别对应的第一点云信息融合为第二点云信息；
根据所述第二点云信息构建所述目标物的三维模型。


2.根据权利要求1所述的方法，其特征在于，所述获取目标物在多个拍摄角度上的至少两个初始图像之后，还包括：
对所述至少两个初始图像分别进行特征点检测，以在所述至少两个初始图像中分别得到用于标记所述目标物的至少两个特征点；
在所述至少两个初始图像之间，获取所述至少两个特征点间的偏移量，所述偏移量用于表示所述目标物的同一位置的特征点在不同初始图像之间的坐标差值；
根据所述偏移量获取所述至少两个初始图像中所述目标物的相机位姿，所述相机位姿用于表示在不同的初始图像中所述目标物相对所述参考位置的移动，所述移动包括旋转和平移中的至少一种，所述参考位置为拍摄所述目标物的拍摄镜头所在的位置；
所述将所述至少两个初始图像分别对应的第一点云信息融合为第二点云信息，包括：
根据所述相机位姿将所述至少两个初始图像分别对应的第一点云信息融合为所述第二点云信息。


3.根据权利要求2所述的方法，其特征在于，所述根据所述相机位姿将所述至少两个初始图像分别对应的第一点云信息融合为所述第二点云信息，包括：
确定一个所述初始图像为第一帧；
根据所述相机位姿将所述第一帧以外的其他初始图像的点移动到所述第一帧的角度；
将所述初始图像之间重叠的第一点融合为第二点，其中，所述第一点为所述第一点云信息中的点，所述第二点为所述第二点云信息中的点。


4.根据权利要求3所述的方法，其特征在于，所述将所述初始图像之间重叠的第一点融合为第二点，包括：
分别对所述至少两个初始图像中的第一点分配权重；
根据所述权重将重叠的所述第一点融合为所述第二点。


5.根据权利要求4所述的方法，其特征在于，所述分别对所述至少两个初始图像中的第一点分配权重，包括：
根据所述第一点所在初始图像的拍摄角度、图像噪声值或法线方向中的至少一种对所述第一点分配权重值。


6.根据权利要求3所述的方法，其特征在于，所述将所述初始图像之间重叠的第一点融合为第二点，包括：
当第一初始图像中存在两个重叠的第一点时，在所述第一初始图像中获取与所述第一帧中的第一点深度差的绝对值更小的第一点与所述第一帧中的第一点进行点云融合，以得到所述第二点，其中，所述第一初始图像为所述至少两个初始图像中不为所述第一帧的图像。


7.根据权利要求2至6任一所述的方法，其特征在于，所述根据所述第二点云信息构建所述目标物的三维模型，包括：
对所述第二点云信息进行泊松重建，以得到所述目标物的三维网络，所述三维网络为连接所述第二点云信息中各个点的无孔洞表面；
对所述三维网络进行剪裁和平滑处理，以得到所述三维模型。


8.根据权利要求7所述的方法，其特征在于，所述对所述三维网络进行剪裁和平滑处理，以得到所述三维模型，包括：
根据所述特征点对所述三维网络沿垂直...

【专利技术属性】
技术研发人员：林祥凯，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44