一种三维点云修复方法、装置及电子设备制造方法及图纸

本申请实施例提供了一种三维点云修复方法、装置及电子设备，方法包括：获取待修复三维点云；按照预设映射关系，对待修复三维点云进行UV展开，得到待修复UV图像；将待修复UV图像输入预先训练好的三维修复模型，得到修复后UV图像，三维修复模型为根据预设训练集对神经网络进行训练得到的模型，预设训练集包括样本完整UV图像和空洞掩模，样本完整UV图像为按照预设映射关系，对样本完整三维点云进行UV展开得到的UV图像，样本完整三维点云不存在空洞；按照预设映射关系，对修复后UV图像进行采样，得到待修复三维点云对应的完整三维点云。应用本申请实施例提供的技术方案，能够修复三维点云中的空洞，保证三维点云的有效性。

【技术实现步骤摘要】
一种三维点云修复方法、装置及电子设备
本申请涉及计算机视觉
，特别是涉及一种三维点云修复方法、装置及电子设备。
技术介绍
目前，运用3D(Dimension，维)扫描仪对人体、人脸、人手或物体等数据进行采集时，受光照、环境的影响，采集到的3D数据往往会存在空洞缺失的部分，导致采集到的3D数据失效。申请内容本申请实施例的目的在于提供一种三维点云修复方法、装置及电子设备，以修复三维点云中的空洞，保证三维点云的有效性。具体技术方案如下：第一方面，本申请实施例提供了一种三维点云修复方法，所述方法包括：获取待修复三维点云；按照预设映射关系，对所述待修复三维点云进行UV展开，得到待修复UV图像；将所述待修复UV图像输入预先训练好的三维修复模型，得到修复后UV图像，所述三维修复模型为根据预设训练集对神经网络进行训练得到的模型，所述预设训练集包括样本完整UV图像和空洞掩模，所述样本完整UV图像为按照所述预设映射关系，对所述样本完整三维点云进行UV展开得到的UV图像，所述样本完整三维点云不存在空洞；按照所述预设映射关系，对所述修复后UV图像进行采样，得到所述待修复三维点云对应的完整三维点云。可选的，所述三维修复模型采用如下步骤训练得到：获取所述预设训练集，所述预设训练集包括所述样本完整UV图像和所述空洞掩模；将所述空洞掩模作用于所述样本完整UV图像，得到第一样本空洞UV图像；将所述第一样本空洞UV图像输入神经网络，得到预测UV图像；根据所述预测UV图像和所述样本完整UV图像，确定所述神经网络的损失值；若根据所述损失值确定所述神经网络未收敛，则调整所述神经网络的参数，并重新执行所述将所述第一样本空洞UV图像输入神经网络，得到预测UV图像的步骤；若根据所述损失值确定所述神经网络收敛，则结束训练，将所述神经网络作为三维修复模型。可选的，所述获取所述预设训练集的步骤，包括：获取样本空洞三维点云；按照所述预设映射关系，对所述样本空洞三维点云进行UV展开，得到第二样本空洞UV图像；提取所述第二样本空洞UV图像中未映射到三维点的区域，得到空洞掩模；和/或获取样本完整三维点云；按照所述预设映射关系，对所述样本完整三维点云进行UV展开，得到样本完整UV图像。可选的，所述根据所述预测UV图像和所述样本完整UV图像，确定所述神经网络的损失值的步骤，包括：利用如下公式，确定所述神经网络的损失值：其中，Lsr表示所述神经网络的损失值，IUV表示所述预测UV图像，表示所述样本完整UV图像，fs(x,y)表示利用x对y进行采样，R表示所述预设映射关系。第二方面，本申请实施例提供了一种三维点云修复装置，所述装置包括：获取单元，用于获取待修复三维点云；映射单元，用于按照预设映射关系，对所述待修复三维点云进行UV展开，得到待修复UV图像；修复单元，用于将所述待修复UV图像输入预先训练好的三维修复模型，得到修复后UV图像，所述三维修复模型为根据预设训练集对神经网络进行训练得到的模型，所述预设训练集包括样本完整UV图像和空洞掩模，所述样本完整UV图像为按照所述预设映射关系，对所述样本完整三维点云进行UV展开得到的UV图像，所述样本完整三维点云不存在空洞；采样单元，用于按照所述预设映射关系，对所述修复后UV图像进行采样，得到所述待修复三维点云对应的完整三维点云。可选的，所述装置还包括训练单元，用于训练得到所述三维修复模型，所述训练单元包括：获取子单元，用于获取所述预设训练集，所述预设训练集包括所述样本完整UV图像和所述空洞掩模；作用子单元，用于将所述空洞掩模作用于所述样本完整UV图像，得到第一样本空洞UV图像；预测子单元，用于将所述第一样本空洞UV图像输入神经网络，得到预测UV图像；确定子单元，用于根据所述预测UV图像和所述样本完整UV图像，确定所述神经网络的损失值；处理子单元，用于若根据所述损失值确定所述神经网络未收敛，则调整所述神经网络的参数，并重新执行所述将所述第一样本空洞UV图像输入神经网络，得到预测UV图像的步骤；若根据所述损失值确定所述神经网络收敛，则结束训练，将所述神经网络作为三维修复模型。可选的，所述获取子单元，具体用于：获取样本空洞三维点云；按照所述预设映射关系，对所述样本空洞三维点云进行UV展开，得到第二样本空洞UV图像；提取所述第二样本空洞UV图像中未映射到三维点的区域，得到空洞掩模；和/或获取样本完整三维点云；按照所述预设映射关系，对所述样本完整三维点云进行UV展开，得到样本完整UV图像。可选的，所述确定子单元，具体用于：利用如下公式，确定所述神经网络的损失值：其中，Lsr表示所述神经网络的损失值，IUV表示所述预测UV图像，表示所述样本完整UV图像，fs(x,y)表示利用x对y进行采样，R表示所述预设映射关系。第三方面，本申请实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序时，实现任一所述的三维点云修复方法步骤。第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现任一所述的三维点云修复方法步骤。第五方面，本申请实施例提供了本申请实施例提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述任一所述的三维点云修复方法。本申请实施例有益效果：本申请实施例提供的技术方案中，可以利用样本完整UV图像和空洞掩模训练神经网络，得到三维修复模型。将待修复三维点云转换为待修复UV图像，进而由三维修复模型对待修复UV图像进行修复，输出修复后UV图像。本申请实施例中，三维修复模型充分学习了存在空洞的UV图像和完整UV图像的特点，因此，能够很好的将存在空洞的UV图像修复为完整UV图像，也就是，修复后UV图像为完整UV图像，按照预设映射关系，对修复后UV图像进行采样，即可得到待修复三维点云对应的完整三维点云。本申请实施例提供的技术方案中，利用三维修复模型，将对三维点云的修复转换为对UV图像的修复，完成了三维点云中的空洞的修复，保证三维点云的有效性。且由于三维修复模型充分学习了存在空洞的UV图像和完整UV图像的特点，使用范围更广。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他本文档来自技高网...

【技术保护点】
1.一种三维点云修复方法，其特征在于，所述方法包括：/n获取待修复三维点云；/n按照预设映射关系，对所述待修复三维点云进行UV展开，得到待修复UV图像；/n将所述待修复UV图像输入预先训练好的三维修复模型，得到修复后UV图像，所述三维修复模型为根据预设训练集对神经网络进行训练得到的模型，所述预设训练集包括样本完整UV图像和空洞掩模，所述样本完整UV图像为按照所述预设映射关系，对所述样本完整三维点云进行UV展开得到的UV图像，所述样本完整三维点云不存在空洞；/n按照所述预设映射关系，对所述修复后UV图像进行采样，得到所述待修复三维点云对应的完整三维点云。/n

【技术特征摘要】
1.一种三维点云修复方法，其特征在于，所述方法包括：
获取待修复三维点云；
按照预设映射关系，对所述待修复三维点云进行UV展开，得到待修复UV图像；
将所述待修复UV图像输入预先训练好的三维修复模型，得到修复后UV图像，所述三维修复模型为根据预设训练集对神经网络进行训练得到的模型，所述预设训练集包括样本完整UV图像和空洞掩模，所述样本完整UV图像为按照所述预设映射关系，对所述样本完整三维点云进行UV展开得到的UV图像，所述样本完整三维点云不存在空洞；
按照所述预设映射关系，对所述修复后UV图像进行采样，得到所述待修复三维点云对应的完整三维点云。


2.根据权利要求1所述的方法，其特征在于，所述三维修复模型采用如下步骤训练得到：
获取所述预设训练集，所述预设训练集包括所述样本完整UV图像和所述空洞掩模；
将所述空洞掩模作用于所述样本完整UV图像，得到第一样本空洞UV图像；
将所述第一样本空洞UV图像输入神经网络，得到预测UV图像；
根据所述预测UV图像和所述样本完整UV图像，确定所述神经网络的损失值；
若根据所述损失值确定所述神经网络未收敛，则调整所述神经网络的参数，并重新执行所述将所述第一样本空洞UV图像输入神经网络，得到预测UV图像的步骤；
若根据所述损失值确定所述神经网络收敛，则结束训练，将所述神经网络作为三维修复模型。


3.根据权利要求2所述的方法，其特征在于，所述获取所述预设训练集的步骤，包括：
获取样本空洞三维点云；按照所述预设映射关系，对所述样本空洞三维点云进行UV展开，得到第二样本空洞UV图像；提取所述第二样本空洞UV图像中未映射到三维点的区域，得到空洞掩模；和/或
获取样本完整三维点云；按照所述预设映射关系，对所述样本完整三维点云进行UV展开，得到样本完整UV图像。


4.根据权利要求2所述的方法，其特征在于，所述根据所述预测UV图像和所述样本完整UV图像，确定所述神经网络的损失值的步骤，包括：
利用如下公式，确定所述神经网络的损失值：



其中，Lsr表示所述神经网络的损失值，IUV表示所述预测UV图像，表示所述样本完整UV图像，fs(x,y)表示利用x对y进行采样，R表示所述预设映射关系。


5.一种三维点云修复装置，其特征在于，所述装置包括：
获取单元，用于获取待修复三维点云；
映射单元，用于按照预设映射关系，对所述待修复三维点云进行UV展开，得到待修复UV图像；
修复单元，用于将所述待修复UV图像输入预先训练好的三维修复模型，得到修复...

【专利技术属性】
技术研发人员：陈平，杨东，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京;11