本公开关于一种三维重建方法、装置、设备及存储介质。该方法包括：获取待处理图像，所述待处理图像包含目标部位；将所述待处理图像，输入第一网络，得到所述待处理图像的图像特征和所述目标部位的M个二维关键点的热力图，其中，M为正整数；将所述待处理图像的图像特征和所述M个二维关键点的热力图，输入第二网络，得到三维坐标系中的N个三维顶点的特征；将所述N个三维顶点的特征，输入第三网络，得到K个三维顶点的坐标，所述K个三维顶点的坐标，用于在所述三维坐标系中生成所述目标部位的三维模型，其中，N和K均为正整数。实现了三维重建模型的轻量化，利于三维重建的应用场景的扩展。利于三维重建的应用场景的扩展。利于三维重建的应用场景的扩展。
【技术实现步骤摘要】
三维重建方法、装置、设备及存储介质
[0001]本公开涉及计算机领域，尤其涉及三维重建方法、装置、设备及存储介质。
技术介绍
[0002]三维重建(3D Reconstruction)是计算机视觉领域的重要研究方向，而基于单目图像实现对图像中的待重建的目标部位进行三维重建，则具有十分重要的理论意义与应用价值。相关技术中，对图像中的目标部位(例如手部等人体部位)进行三维重建时，利用卷积神经网络提取图像特征并预测三维模型的形状参数和姿态参数，从而计算出目标部位在三维空间中的坐标。这种三维重建方式通常需要较高的计算量和参数量，导致对三维重建的应用场景的扩展受到限制。
技术实现思路
[0003]本公开提供一种三维重建方法、装置、设备及存储介质，以至少解决相关技术中三维重建方式通常需要较高的计算量和参数量，导致对三维重建的应用场景的扩展受到限制的问题。本公开的技术方案如下：
[0004]根据本公开实施例的第一方面，提供一种三维重建方法，包括：
[0005]获取待处理图像，待处理图像包含目标部位；
[0006]将待处理图像，输入第一网络，得到待处理图像的图像特征和目标部位的M个二维关键点的热力图，其中，M为正整数；
[0007]将待处理图像的图像特征和M个二维关键点的热力图，输入第二网络，得到三维坐标系中的N个三维顶点的特征；
[0008]将N个三维顶点的特征，输入第三网络，得到K个三维顶点的坐标，K个三维顶点的坐标，用于在三维坐标系中生成目标部位的三维模型，其中，N和K均为正整数。
[0009]在一种实施方式中，得到三维坐标系中的N个三维顶点的特征步骤包括：
[0010]针对每个二维关键点的热力图，将二维关键点的热力图与图像特征融合，以得到二维关键点的特征；
[0011]基于预设的映射矩阵，将M个二维关键点的特征，转换成N个三维顶点的特征，N个三维顶点是重建目标部位所需的K个三维顶点中的全部或者部分三维顶点，映射矩阵表征了M个二维关键点的特征与N个三维顶点的特征的映射关系，其中，N小于或者等于K。
[0012]在一种实施方式中，得到K个三维顶点的坐标步骤包括：
[0013]当N小于K时，基于N个三维顶点的特征，进行至少一次特征映射操作，在每次特征映射操作之后，通过一次特征融合操作更新三维顶点的特征，以得到最终的K个三维顶点的特征；
[0014]当N＝K时，基于N个三维顶点的特征，进行一次特征融合操作，以得到最终的K个三维顶点的特征；
[0015]其中，特征映射操作步骤包括：将一组三维顶点的特征映射成另一组三维顶点的
特征，另一组三维顶点的数量大于一组三维顶点的数量；
[0016]特征融合操作步骤包括：对当前的每个三维顶点的特征，确定该三维顶点对应的预设邻域，将该三维顶点以及预设邻域内各三维顶点的特征中同一维度的特征，进行第一特征融合处理，以得到同一维度的融合特征，以及将各维度的融合特征，进行第二特征融合处理，以更新该三维顶点的特征；
[0017]基于最终的K个三维顶点的特征，得到K个三维顶点的坐标。
[0018]在一种实施方式中，N的取值小于或者等于预设取值。
[0019]在一种实施方式中，在基于预设的映射矩阵，将M个二维关键点的特征，转换成三维坐标系中的N个三维顶点的特征之前，方法还包括：
[0020]当N小于K时，对K个三维顶点，进行多次下采样，以得到N个三维顶点。
[0021]在一种实施方式中，在获取待处理图像步骤之前，方法还包括：
[0022]获取原始图像；
[0023]对原始图像进行目标部位的检测；
[0024]以检测到的目标部位所在的区域为中心外扩预设倍数，得到待处理图像。
[0025]根据本公开实施例的第二方面，提供一种三维重建装置，包括：
[0026]第一获取单元，被配置为执行获取待处理图像，待处理图像包含目标部位；
[0027]第一输入单元，被配置为执行将待处理图像，输入第一网络，得到待处理图像的图像特征和目标部位的M个二维关键点的热力图，其中，M为正整数；
[0028]第二输入单元，被配置为执行将待处理图像的图像特征和M个二维关键点的热力图，输入第二网络，得到三维坐标系中的N个三维顶点的特征；
[0029]第三输入单元，被配置为执行将N个三维顶点的特征，输入第三网络，得到K个三维顶点的坐标，K个三维顶点的坐标，用于在三维坐标系中生成目标部位的三维模型，其中，N和K均为正整数。
[0030]在一种实施方式中，第二输入单元，具体被配置为执行：
[0031]针对每个二维关键点的热力图，将二维关键点的热力图与图像特征融合，以得到二维关键点的特征；
[0032]基于预设的映射矩阵，将M个二维关键点的特征，转换成N个三维顶点的特征，N个三维顶点是重建目标部位所需的K个三维顶点中的全部或者部分三维顶点，映射矩阵表征了M个二维关键点的特征与N个三维顶点的特征的映射关系，其中，N小于或者等于K。
[0033]在一种实施方式中，第三输入单元，具体被配置为执行：
[0034]当N小于K时，基于N个三维顶点的特征，进行至少一次特征映射操作，在每次特征映射操作之后，通过一次特征融合操作更新三维顶点的特征，以得到最终的K个三维顶点的特征；
[0035]当N＝K时，基于N个三维顶点的特征，进行一次特征融合操作，以得到最终的K个三维顶点的特征；
[0036]其中，特征映射操作步骤包括：将一组三维顶点的特征映射成另一组三维顶点的特征，另一组三维顶点的数量大于一组三维顶点的数量；
[0037]特征融合操作步骤包括：对当前的每个三维顶点的特征，确定该三维顶点对应的预设邻域，将该三维顶点以及预设邻域内各三维顶点的特征中同一维度的特征，进行第一
特征融合处理，以得到同一维度的融合特征，以及将各维度的融合特征，进行第二特征融合处理，以更新该三维顶点的特征；
[0038]基于最终的K个三维顶点的特征，得到K个三维顶点的坐标。
[0039]在一种实施方式中，N的取值小于或者等于预设取值。
[0040]在一种实施方式中，该装置还包括：
[0041]采样单元，被配置为执行当N小于K时，对K个三维顶点，进行多次下采样，以得到N个三维顶点。
[0042]在一种实施方式中，该装置还包括：
[0043]第二获取单元，被配置为执行获取原始图像；对原始图像进行目标部位的检测；以检测到的目标部位所在的区域为中心外扩预设倍数，得到待处理图像。
[0044]根据本公开实施例的第三方面，提供一种电子设备，其特征在于，包括：
[0045]处理器；
[0046]用于存储处理器可执行指令的存储器；
[0047]其中，处理器被配置为执行指令，以实现如第一方面任一的三维重建方法。
[0048]根据本公开实施例的第四方面，提供一种计算机本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种三维重建方法，其特征在于，包括：获取待处理图像，所述待处理图像包含目标部位；将所述待处理图像，输入第一网络，得到所述待处理图像的图像特征和所述目标部位的M个二维关键点的热力图，其中，M为正整数；将所述待处理图像的图像特征和所述M个二维关键点的热力图，输入第二网络，得到三维坐标系中的N个三维顶点的特征；将所述N个三维顶点的特征，输入第三网络，得到K个三维顶点的坐标，所述K个三维顶点的坐标，用于在所述三维坐标系中生成所述目标部位的三维模型，其中，N和K均为正整数。2.根据权利要求1所述的三维重建方法，其特征在于，所述得到三维坐标系中的N个三维顶点的特征步骤包括：针对每个所述二维关键点的热力图，将所述二维关键点的热力图与所述图像特征融合，以得到所述二维关键点的特征；基于预设的映射矩阵，将所述M个二维关键点的特征，转换成所述N个三维顶点的特征，所述N个三维顶点是重建所述目标部位所需的K个三维顶点中的全部或者部分三维顶点，所述映射矩阵表征了所述M个二维关键点的特征与所述N个三维顶点的特征的映射关系，其中，N小于或者等于K。3.根据权利要求1或2所述的三维重建方法，其特征在于，所述得到所述K个三维顶点的坐标步骤包括：当N小于K时，基于所述N个三维顶点的特征，进行至少一次特征映射操作，在每次所述特征映射操作之后，通过一次特征融合操作更新所述三维顶点的特征，以得到最终的所述K个三维顶点的特征；当N＝K时，基于所述N个三维顶点的特征，进行一次所述特征融合操作，以得到最终的K个三维顶点的特征；其中，所述特征映射操作步骤包括：将一组三维顶点的特征映射成另一组三维顶点的特征，所述另一组三维顶点的数量大于所述一组三维顶点的数量；所述特征融合操作步骤包括：对当前的每个所述三维顶点的特征，确定该三维顶点对应的预设邻域，将该三维顶点以及所述预设邻域内各三维顶点的特征中同一维度的特征，进行第一特征融合处理，以得到同一维度的融合特征，以及将各维度的融合特征，进行第二特征融合处理...
【专利技术属性】
技术研发人员：陈星宇，郑文，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。