三维重建的方法、电子设备及存储介质技术

本发明专利技术实施例涉及图像处理领域，公开了一种三维重建的方法、电子设备及存储介质。本发明专利技术中三维重建的方法，包括：划分目标对象在当前帧的点云数据为指定区域内的点云数据和非指定区域内的点云数据；为指定区域内的点云数据和非指定区域内的点云数据设置不同的变形权重；将上一帧的三维拼接模型按照所述变形权重向所述当前帧的点云数据进行拟合；根据拟合后的数据，生成当前帧的三维拼接模型；判断是否存在下一帧的点云数据，若存在，则返回执行划分目标对象在当前帧的点云数据为指定区域和非指定区域的步骤，否则，将当前帧的三维拼接模型作为目标对象的目标三维模型。采用本实施例，解决了三维重建成本高、精度低、速度慢的问题。

【技术实现步骤摘要】
三维重建的方法、电子设备及存储介质
本专利技术实施例涉及图像处理领域，特别涉及一种三维重建的方法、电子设备及存储介质。
技术介绍
三维重建是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。目前的三维重建的方法主要包括：方法1是采用高精度的三维扫描仪对物体进行扫描。方法2是基于多视角的彩色相机获取目标物体的多个视角的彩色图，通过多视角算法估算人体的三维信息。方法3是通过固定多个RGB-D相机采集目标物体的彩色图像以及深度信息，根据预先标注的相机之间的位置关系拼接点云数据，进行三维重建。然而，方法1中的高精度的三维扫描仪的价格昂贵，不易推广；方法2中虽然彩色相机的价格低，但是该基于彩色图像生成的三维信息的准确度低，导致三维重建得到的三维模型的准确度低；而方法3中的准备工作繁多，三维重建的速度慢。
技术实现思路
本专利技术实施方式的目的在于提供一种三维重建的方法、电子设备及存储介质，以解决三维重建成本高、精度低、速度慢的问题。为解决上述技术问题，本专利技术的实施方式提供了一种三维重建的方法，包括：划分目标对象在当前帧的点云数据为指定区域内的点云数据和非指定区域内的点云数据；为所述指定区域内的点云数据和所述非指定区域内的点云数据设置不同的变形权重；将上一帧的三维拼接模型按照所述变形权重向所述当前帧的点云数据进行拟合；根据拟合后的数据，生成当前帧的三维拼接模型；判断是否存在下一帧的点云数据，若存在，则返回执行划分所述目标对象在当前帧的点云数据为指定区域和非指定区域的步骤，否则，将所述当前帧的三维拼接模型作为所述目标对象的目标三维模型。本专利技术的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的三维重建的方法。本专利技术的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的三维重建的方法。本申请实施例中的三维重建方法，在对目标对象进行图像采集的过程中，目标对象的不同部位的变化程度不同，将目标对象当前帧的点云数据划分为指定区域内的点云数据和非指定区域内的点云数据，并为该指定区域内的点云数据和非指定区域内的点云数据设置不同的变形权重，使得按照不同的变形权重与目标物体的真实情况更为切近，提高了拟合的准确性，以及三维拼接模型的准确性，进而提高目标三维模型的准确性。另外，划分所述目标对象在当前帧的点云数据为指定区域内的点云数据和非指定区域内的点云数据，包括：获取所述初始三维模型模板中的指定部位，所述初始三维模型模板是根据所述目标对象的第一帧的深度信息和预设的三维模板生成模型生成；根据所述初始三维模型模板中的指定部位，在所述点云数据中查找所述指定部位对应的指定区域内的点云数据。通过第一帧的深度信息生成初始三维模型模板，基于该初始三维模型模板进行拟合、融合，减少三维重建的计算量；获取该初始三维模型模板中的指定部位，通过该初始三维模型模板中的指定部位从当前帧的点云数据中查找该指定部位对应的指定区域的点云数据，由于无需对当前帧的对应的彩色图像进行实例分割获取当前帧的指定区域的点云数据，减少了时间开销。另外，获取所述初始三维模型模板中的指定部位，包括：获取所述目标对象的第一帧彩色图像；对所述第一帧彩色图像进行实例分割，确定所述第一帧彩色图像中所述目标对象的指定部位；根据所述第一帧彩色图像中所述目标对象的指定部位，将所述初始三维模型模板投影至分割后的所述第一帧彩色图像，确定所述初始三维模型模板中的指定部位。通过初始三维模型模板投影至该实例分割后的二维图像中，进而可以快速确定该初始三维模型模板中的指定部位。另外，在所述划分所述目标对象在当前帧的点云数据为指定区域内的点云数据和非指定区域内的点云数据之前，所述方法还包括：采用单个彩色-深度相机对旋转的所述目标对象进行图像采集，得到所述目标对象的至少两帧图像数据。仅采用单个彩色-深度相机对目标对象进行图像采集，降低了设备的成本。另外，根据所述初始三维模型模板中的指定部位，在所述点云数据中查找所述指定部位对应的指定区域内的点云数据，包括：查找与所述初始三维模型模板中的指定部位距离小于预设阈值的点作为所述指定区域内的点云数据；将其他处于所述指定区域外的点云数据作为所述非指定区域内的点云数据。另外，将上一帧的三维拼接模型按照所述变形权重向所述当前帧的点云数据进行拟合，包括：对上一帧的所述三维拼接模型进行刚性变换，生成新的所述三维拼接模型；根据所述变形权重确定非刚性变换的变形场，并对新的所述三维拼接模型按照所述非刚性变形场进行变形，获得拟合后的数据。另外，获取所述初始三维模型模板中的指定部位之前，所述方法还包括：对所述初始三维模型模板进行刚性变换和非刚性变换，以优化所述初始三维模型模板。通过刚性变换和非刚性变换，提高该初始三维模型模板的准确度。另外，目标对象为人体，则所述指定部位为手臂。附图说明一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。图1是根据本专利技术第一实施例提供的一种三维重建方法得流程图；图2是根据本专利技术第二实施例提供的一种三维重建方法得流程图；图3是根据本专利技术第二实施例提供的一种实例分割后的图像示意图；图4是根据本专利技术第二实施例提供的一种三维重建方法中的流程示意图；图5是根据本专利技术第三实施例提供的一种三维重建方法得流程图；图6是根据本专利技术第四实施例提供的一种三维重建方法得流程图；图7是根据本专利技术第五实施例提供的一种电子设备的结构图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本专利技术各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本专利技术的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。本专利技术的第一实施方式涉及一种三维重建的方法。其流程如图1所示：步骤101：划分目标对象在当前帧的点云数据为指定区域内的点云数据和非指定区域内的点云数据。步骤102：为指定区域内的点云数据和非指定区域内的点云数据设置不同的变形权重。步骤103：将上一帧的三维拼接模型按照变形权重向当前帧的点云数据进行拟合。步骤104：根据拟合后的数据，生成当前帧的三维拼接模型。步骤105：判本文档来自技高网...

【技术保护点】
1.一种三维重建的方法，其特征在于，包括：/n划分目标对象在当前帧的点云数据为指定区域内的点云数据和非指定区域内的点云数据；/n为所述指定区域内的点云数据和所述非指定区域内的点云数据设置不同的变形权重；/n将上一帧的三维拼接模型按照所述变形权重向所述当前帧的点云数据进行拟合；/n根据拟合后的数据，生成当前帧的三维拼接模型；/n判断是否存在下一帧的点云数据，若存在，则返回执行划分所述目标对象在当前帧的点云数据为指定区域和非指定区域的步骤，否则，将所述当前帧的三维拼接模型作为所述目标对象的目标三维模型。/n

【技术特征摘要】
1.一种三维重建的方法，其特征在于，包括：
划分目标对象在当前帧的点云数据为指定区域内的点云数据和非指定区域内的点云数据；
为所述指定区域内的点云数据和所述非指定区域内的点云数据设置不同的变形权重；
将上一帧的三维拼接模型按照所述变形权重向所述当前帧的点云数据进行拟合；
根据拟合后的数据，生成当前帧的三维拼接模型；
判断是否存在下一帧的点云数据，若存在，则返回执行划分所述目标对象在当前帧的点云数据为指定区域和非指定区域的步骤，否则，将所述当前帧的三维拼接模型作为所述目标对象的目标三维模型。


2.根据权利要求1所述的三维重建的方法，其特征在于，所述划分目标对象在当前帧的点云数据为指定区域内的点云数据和非指定区域内的点云数据，包括：
获取初始三维模型模板中的指定部位，所述初始三维模型模板是根据所述目标对象的第一帧的图像数据和预设的三维模板生成模型生成，所述图像数据包括所述目标对象的彩色图像和对应的深度信息；
根据所述初始三维模型模板中的指定部位，在所述当前帧的点云数据中查找所述指定部位对应的指定区域内的点云数据。


3.根据权利要求2所述的三维重建的方法，其特征在于，所述获取所述初始三维模型模板中的指定部位，包括：
获取所述目标对象的第一帧彩色图像；
对所述第一帧彩色图像进行实例分割，确定所述第一帧彩色图像中所述目标对象的指定部位；
根据所述第一帧彩色图像中所述目标对象的指定部位，将所述初始三维模型模板投影至分割后的所述第一帧彩色图像，确定所述初始三维模型模板中的指定部位。


4.根据权利要求1至3中任一项所述的三维重建的方法，其特征在于，在所述划分目标对象在当前帧的点云数据为指定区域内的点云数据和非指定区域内的点云数据之前，所述方法还包括：
采用单个彩色-深...

【专利技术属性】
技术研发人员：户磊，蔡麟，李廷照，张举勇，
申请(专利权)人：北京的卢深视科技有限公司，合肥的卢深视科技有限公司，
类型：发明
国别省市：北京;11