本申请涉及一种调整模型训练方法。所述方法包括：获取目标对象的视角图像，对应初始三维网格的初始坐标集合和中间坐标集合；将中间坐标集合输入到初始第一模型，得到调整参数，基于调整参数对初始坐标集合进行调整，得到调整坐标集合；将调整坐标集合投影到视角图像所在的视角平面，得到投影坐标集合；针对视角图像中的每个像素点，基于投影坐标集合中包围像素点的包围顶点，与像素点之间的位置关系，得到像素点的预测像素值；基于视角图像中各个像素点的像素值与预测像素值之间的差异，得到误差损失，基于误差损失对初始第一模型进行训练，得到目标第一模型；目标第一模型用于对初始三维网格进行调整。采用本方法能够提高三维网格的准确性。网格的准确性。网格的准确性。
【技术实现步骤摘要】
调整模型训练方法、装置、计算机设备及存储介质
[0001]本申请涉及计算机
，特别是涉及一种调整模型训练方法、装置、计算机设备及存储介质。
技术介绍
[0002]随着计算机技术的发展，出现了三维重建技术，三维重建技术是指根据目标对象的多张二维图像恢复目标对象三维结构的技术，采用目标对象的多视图像对目标对象进行三维重建，得到目标对象的三维网格。
[0003]传统技术中，使用MVS（Multi
‑
view stereo，多视点立体视觉）算法从多视角图像中采集图像数据集，然后使用图像数据集来构建图像的三维网格，三维网格中存在局部细节模糊的现象，三维网格的准确性较低。
技术实现思路
[0004]基于此，有必要针对上述技术问题，提供一种能够提高三维网格准确性的调整模型训练方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]第一方面，本申请提供了一种调整模型训练方法。所述方法包括：获取目标对象的视角图像，以及所述目标对象对应初始三维网格的初始坐标集合和中间坐标集合；所述中间坐标集合为对所述初始坐标集合进行融合处理得到的结果；将所述中间坐标集合输入到初始第一模型，得到调整参数，基于所述调整参数对所述初始坐标集合进行调整，得到调整坐标集合；将所述调整坐标集合投影到所述视角图像所在的视角平面，得到投影坐标集合；针对所述视角图像中的每个像素点，基于所述投影坐标集合中包围所述像素点的包围顶点，与所述像素点之间的位置关系，得到所述像素点的预测像素值；基于所述视角图像中各个像素点的像素值与预测像素值之间的差异，得到误差损失，基于所述误差损失对所述初始第一模型进行训练，得到目标第一模型；所述目标第一模型用于对所述初始三维网格进行调整。
[0006]在一个实施例中，所述基于所述投影坐标集合中包围所述像素点的包围顶点，与所述像素点之间的位置关系，得到所述像素点的预测像素值包括：获取所述像素点对应包围顶点的投影坐标；基于所述像素点的像素点二维坐标，与对应的所述包围顶点的投影坐标之间的位置关系，得到所述像素点的像素点三维坐标和法向量；基于所述像素点的像素点三维坐标和法向量，得到所述像素点的预测像素值。
[0007]在一个实施例中，所述基于所述像素点的像素点二维坐标，与对应的所述包围顶点的投影坐标之间的位置关系，得到所述像素点的像素点三维坐标和法向量包括：基于所述像素点二维坐标和所述投影坐标，计算所述像素点相对于所述包围顶点的质心坐标；
基于所述质心坐标和所述包围顶点的调整坐标，得到所述像素点的像素点三维坐标；基于所述包围顶点的调整坐标，计算所述包围顶点组成面片的面片法向量，基于所述包围顶点对应的各个面片的面片法向量，得到所述包围顶点的顶点法向量；基于所述质心坐标和所述包围顶点的顶点法向量，得到所述像素点的法向量。
[0008]在一个实施例中，所述基于所述像素点的像素点三维坐标和法向量，得到所述像素点的预测像素值包括：将所述像素点的像素点三维坐标和法向量，输入初始第二模型，得到所述像素点的预测像素值；基于所述视角图像中各个像素点的像素值和预测像素值之间的差异，得到误差损失，基于所述误差损失对所述初始第一模型进行训练，得到目标第一模型，包括：基于所述视角图像中各个像素点的像素值和预测像素值之间的差异，得到误差损失，基于所述误差损失对所述初始第一模型和初始第二模型进行训练，得到目标第一模型和目标第二模型。
[0009]在一个实施例中，所述将所述调整坐标集合投影到所述视角图像所在的视角平面，得到投影坐标集合包括：获取所述视角图像对应的相机参数；所述相机参数中包括内参和外参；对所述内参与所述外参进行融合，得到投影参数；基于所述投影参数，将所述调整坐标集合投影到所述视角图像所在的视角平面，得到投影坐标集合。
[0010]在一个实施例中，所述获取目标对象的视角图像，以及所述目标对象对应初始三维网格的初始坐标集合和中间坐标集合包括：获取所述目标对象各个视角对应的视角图像和相机参数；分别对每张所述视角图像进行前景后景分割，得到每张所述视角图像对应的分割图像；基于各个所述视角对应的分割图像和相机参数，对所述目标对象进行三维重建，得到所述目标对象对应的初始三维网格；基于所述初始三维网格中每个顶点的初始顶点坐标，得到所述初始三维网格对应的初始坐标集合；基于所述初始三维网格中每条边对应的顶点与顶点之间的连接信息，得到所述初始三维网格对应的连接关系；基于所述连接关系，对所述初始坐标集合进行融合处理，得到中间坐标集合。
[0011]在一个实施例中，所述调整模型训练方法还包括：将所述中间坐标集合输入所述目标第一模型，得到目标调整参数；基于所述目标调整参数，对所述初始坐标集合进行调整，得到目标调整坐标集合；基于所述目标调整坐标集合和所述初始三维网格对应的连接关系，得到目标三维网格。
[0012]第二方面，本申请还提供了一种调整模型训练装置。所述装置包括：获取模块，用于获取目标对象的视角图像，以及所述目标对象对应初始三维网格
的初始坐标集合和中间坐标集合；所述中间坐标集合为对所述初始坐标集合进行融合处理得到的结果；输入模块，用于将所述中间坐标集合输入到初始第一模型，得到调整参数，基于所述调整参数对所述初始坐标集合进行调整，得到调整坐标集合；投影模块，用于将所述调整坐标集合投影到所述视角图像所在的视角平面，得到投影坐标集合；预测模块，用于针对所述视角图像中的每个像素点，基于所述投影坐标集合中包围所述像素点的包围顶点，与所述像素点之间的位置关系，得到所述像素点的预测像素值；训练模块，用于基于所述视角图像中各个像素点的像素值与预测像素值之间的差异，得到误差损失，基于所述误差损失对所述初始第一模型进行训练，得到目标第一模型；所述目标第一模型用于对所述初始三维网格进行调整。
[0013]第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述各方面提供的调整模型训练方法中的步骤。
[0014]第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述各方面提供的调整模型训练方法中的步骤。
[0015]上述调整模型训练方法、装置、计算机设备、存储介质和计算机程序产品，将中间坐标集合输入到初始第一模型，初始第一模型为未经过训练的第一模型，得到的调整参数准确性较低，基于调整参数对初始坐标集合进行调整，从而导致得到的调整坐标集合的准确性较低，根据调整坐标集合中的包围顶点与像素点之间的位置关系，得到像素点的预测像素值，进一步导致预测像素值的准确较低，由于预测像素值的准确性较低，所以像素点的像素值和预测像素值之间会存在差异，将视角图像中各个像素点的像素值与预测像素值之间的总差异作为误差损失，使用误差损失对初始第一模型进行训练，训练的目的是为了降低像素值和预测像素值之间的差异，训练的本质为提高初始第一模型的准确性，使用本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种调整模型训练方法，其特征在于，所述方法包括：获取目标对象的视角图像，以及所述目标对象对应初始三维网格的初始坐标集合和中间坐标集合；所述中间坐标集合为对所述初始坐标集合进行融合处理得到的结果；将所述中间坐标集合输入到初始第一模型，得到调整参数，基于所述调整参数对所述初始坐标集合进行调整，得到调整坐标集合；将所述调整坐标集合投影到所述视角图像所在的视角平面，得到投影坐标集合；针对所述视角图像中的每个像素点，基于所述投影坐标集合中包围所述像素点的包围顶点，与所述像素点之间的位置关系，得到所述像素点的预测像素值；基于所述视角图像中各个像素点的像素值与预测像素值之间的差异，得到误差损失，基于所述误差损失对所述初始第一模型进行训练，得到目标第一模型；所述目标第一模型用于对所述初始三维网格进行调整。2.根据权利要求1所述的方法，其特征在于，所述基于所述投影坐标集合中包围所述像素点的包围顶点，与所述像素点之间的位置关系，得到所述像素点的预测像素值包括：获取所述像素点对应包围顶点的投影坐标；基于所述像素点的像素点二维坐标，与对应的所述包围顶点的投影坐标之间的位置关系，得到所述像素点的像素点三维坐标和法向量；基于所述像素点的像素点三维坐标和法向量，得到所述像素点的预测像素值。3.根据权利要求2所述的方法，其特征在于，所述基于所述像素点的像素点二维坐标，与对应的所述包围顶点的投影坐标之间的位置关系，得到所述像素点的像素点三维坐标和法向量包括：基于所述像素点二维坐标和所述投影坐标，计算所述像素点相对于所述包围顶点的质心坐标；基于所述质心坐标和所述包围顶点的调整坐标，得到所述像素点的像素点三维坐标；基于所述包围顶点的调整坐标，计算所述包围顶点组成面片的面片法向量，基于所述包围顶点对应的各个面片的面片法向量，得到所述包围顶点的顶点法向量；基于所述质心坐标和所述包围顶点的顶点法向量，得到所述像素点的法向量。4.根据权利要求2所述的方法，其特征在于，所述基于所述像素点的像素点三维坐标和法向量，得到所述像素点的预测像素值包括：将所述像素点的像素点三维坐标和法向量，输入初始第二模型，得到所述像素点的预测像素值；基于所述视角图像中各个像素点的像素值和预测像素值之间的差异，得到误差损失，基于所述误差损失对所述初始第一模型进行训练，得到目标第一模型，包括：基于所述视角图像中各个像素点的像素值和预测像素值之间的差异，得到误差损失，基于所述误差损失对所述初始第一模型和初始第二模型进行训练，得到目标第一模型和目标第二模型。5.根据权利要求1所述的方法，其特征在于，所述将所述调整坐标集合投影到所述视角图像...
【专利技术属性】
技术研发人员：周昆，丘祖聪，蒋念娟，吕江波，沈小勇，
申请(专利权)人：上海思谋科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。