【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种基于nerf的机器学习模型的加速训练方法及系统，还涉及一种基于前述方法实现的非暂时性存储器。
技术介绍
1、基于深度学习的机器学习技术已经在面部识别、检测及分割技术方面取得了众多成果。最近，将神经辐射场(neural radiance field，nerf)用于表面重建的技术在面部识别方面取得了关注。在神经辐射场中，对三维空间中的对象的体积渲染进行建模，并将对象的体积密度用作权重，对面部识别所使用的神经网络进行训练。与传统面部识别技术相比，基于nerf的机器学习模型(如神经网络)能够重建出更为圆滑，更加连续且空间分辨率更高的表面。在一些情形中，与传统技术相比，基于nerf的机器学习模型使用的计算存储空间可更少。虽然基于nerf的机器学习模型在面部识别方面比传统技术具有众多优点，但是此类机器学习模型所需要的训练可能较为费力和耗时。例如，用于面部识别的基于nerf的机器学习模型可能需要数周时间的训练。
技术实现思路
1、在本专利技术的各种实施方式中，描述用于获得对用于对象识别的基于神经辐射场(nerf)的机器学习模型进行训练的一组内容项的系统、方法及非暂时性计算机可读介质。其中，可确定所述一组内容项中所描绘的对象的深度图，并可根据该深度图，生成包括仅描绘所述对象的重建内容项的第一组训练数据。此外，根据所述深度图，还可生成包括与所述一组内容项相关联的一条或多条最优训练路径的第二组训练数据。所述一条或多条最优训练路径至少部分根据与所述一组内容项相关联的相异度矩阵生成。根据
2、在一些实施方式中，可通过计算拍摄所述一组内容项的相机的内参和外参，确定所述一组内容项中所描绘的所述对象的所述深度图。根据所述内参和外参，可确定与所述一组内容项中所描绘的所述对象相关联的粗略点云。根据所述粗略点云，可确定所述一组内容项中所描绘的所述对象的网格。根据所述对象的所述网格，可确定所述内容项中所描绘的所述对象的所述深度图。
3、在一些实施方式中，所述相机的所述内参和外参可通过运动恢复结构(sfm)技术确定，而且所述对象的所述网格可通过泊松(poisson)重建技术确定。
4、在一些实施方式中，所述相机的所述内参和外参以及所述对象的所述网格通过多视角深度融合技术确定。
5、在一些实施方式中，所述第一组训练数据可通过根据所述深度图确定所述一组内容项当中每一内容项中待滤除的像素的方式确定。随后，可滤除所述一组内容项当中每一内容项中的所述像素。此外，可对所述一组内容项当中每一内容项中的剩余像素进行采样，以生成所述重建内容项。
6、在一些实施方式中，所述一组内容项当中每一内容项中待滤除的所述像素可通过如下方式确定：确定所述一组内容项当中每一内容项中处于每一内容项的相应深度图所表明的深度阈值范围之外的像素。所述深度阈值范围可表明每一内容项中所描述的至少一个对象的深度范围。
7、在一些实施方式中，所述第二组训练数据可通过确定所述一组内容项的深度图匹配度量值的方式生成。此外，还可确定所述一组内容项的轮廓匹配度量值。根据所述深度图匹配度量值和所述轮廓匹配度量值，可生成与所述一组内容项相关联的相异度矩阵。根据所述相异度矩阵，可生成与所述一组内容项相关联的连通图。通过将最小生成树技术应用至所述连通图，可生成与所述一组内容项相关联的所述一条或多条最优训练路径。所述最小生成树技术可将所述连通图重新排列成多个子树，而且所述多个子树的每一路径可均为最优训练路径。
8、在一些实施方式中，所述一组内容项的所述深度图匹配度量值可通过比较所述一组内容项当中两个内容项的深度图的方式确定。所述两个内容项可描绘一个对象。此外，可计算所述两个内容项的所述深度图中每一深度点的相异度值。另外，还可将所述两个内容项的所述深度图中深度点的相异度值相加，以生成所述两个内容项的深度图匹配度量值。
9、在一些实施方式中，所述对象的所述轮廓匹配度量值可通过比较所述一组内容项当中两个内容项的深度图的方式确定。所述两个内容项可描绘一个对象。此外，可对与所述两个内容项的所述深度图中所含的所述对象相关联的轮廓信息进行比较。根据所述轮廓信息的比较结果，可计算所述两个内容项的轮廓匹配度量值。
10、在一些实施方式中，所述相异度矩阵的列和行可对应于与所述一组所述内容项相关联的帧号。所述相异度矩阵的值可表明所述一组内容项当中由相应帧号表明的任意两个内容项之间的相异度。所述相异度矩阵的所述值可根据所述一组内容项当中任意两个内容项的相应深度图匹配度量值和所述轮廓匹配度量值确定。
11、通过参考附图，对以下详细描述以及下附权利要求加以考虑，本文公开的装置、系统、方法及非暂时性计算机可读介质的上述和其他特征以及相关结构元件的操作方式与功能、部件组合方式及制造的经济性将变得显而易见。所有附图构成本说明书的一部分，其中，类似参考数字表示附图中的对应部分。然而，应该明确理解的是，附图仅用于说明和描述目的，并不旨在构成对本专利技术的限制。
本文档来自技高网...【技术保护点】
1.一种用于对象识别的基于神经辐射场(NeRF)的机器学习模型的训练方法，其特征在于，该方法包括：
2.如权利要求1所述的方法，其特征在于，确定所述一组内容项中所描绘的所述对象的深度图包括：
3.如权利要求2所述的方法，其特征在于，所述相机的所述内参和外参通过运动恢复结构(SfM)技术确定，所述对象的所述网格通过泊松重建技术确定。
4.如权利要求2所述的方法，其特征在于，所述相机的所述内参和外参以及所述对象的所述网格通过多视角深度融合技术确定。
5.如权利要求1所述的方法，其特征在于，生成包括所述重建内容项的所述第一组训练数据包括：
6.如权利要求5所述的方法，其特征在于，确定所述一组内容项当中的每一内容项中待滤除的所述像素包括：
7.如权利要求1所述的方法，其特征在于，生成包括所述一条或多条最优训练路径的所述第二组训练数据包括：
8.如权利要求7所述的方法，其特征在于，通过以下方式确定所述一组内容项的所述深度图匹配度量值：
9.如权利要求7所述的方法，其特征在于，通过以下方式确定所述
10.如权利要求7所述的方法，其特征在于，所述相异度矩阵的列和行对应于与所述一组内容项相关联的帧号，所述相异度矩阵的值表明所述一组内容项当中由相应帧号表明的任意两个内容项之间的相异度，其中，所述相异度矩阵的所述值根据所述一组内容项当中的任意两个内容项的相应的所述深度图匹配度量值和所述轮廓匹配度量值确定。
11.一种系统，其特征在于，包括：
12.如权利要求11所述的系统，其特征在于，确定所述一组内容项中所描绘的所述对象的深度图包括：
13.如权利要求11所述的系统，其特征在于，生成包括所述重建内容项的所述第一组训练数据包括：
14.如权利要求13所述的系统，其特征在于，确定所述一组内容项当中的每一内容项中待滤除的所述像素包括：
15.如权利要求11所述的系统，其特征在于，生成包括所述一条或多条最优训练路径的所述第二组训练数据包括：
16.一种计算系统的非暂时性存储器，该非暂时性存储器存有指令，其特征在于，该指令在由至少一个处理器执行时，使得该计算系统实施一种用于对象识别的基于神经辐射场(NeRF)的机器学习模型的训练方法，该方法包括：
17.如权利要求16所述的非暂时性存储器，其特征在于，确定所述一组内容项中所描绘的所述对象的深度图包括：
18.如权利要求16所述的非暂时性存储器，其特征在于，生成包括所述重建内容项的所述第一组训练数据包括：
19.如权利要求18所述的非暂时性存储器，其特征在于，确定所述一组内容项当中的每一内容项中待滤除的所述像素包括：
20.如权利要求16所述的系统，其特征在于，生成包括所述一条或多条最优训练路径的所述第二组训练数据包括：
...【技术特征摘要】
【国外来华专利技术】
1.一种用于对象识别的基于神经辐射场(nerf)的机器学习模型的训练方法，其特征在于，该方法包括：
2.如权利要求1所述的方法，其特征在于，确定所述一组内容项中所描绘的所述对象的深度图包括：
3.如权利要求2所述的方法，其特征在于，所述相机的所述内参和外参通过运动恢复结构(sfm)技术确定，所述对象的所述网格通过泊松重建技术确定。
4.如权利要求2所述的方法，其特征在于，所述相机的所述内参和外参以及所述对象的所述网格通过多视角深度融合技术确定。
5.如权利要求1所述的方法，其特征在于，生成包括所述重建内容项的所述第一组训练数据包括：
6.如权利要求5所述的方法，其特征在于，确定所述一组内容项当中的每一内容项中待滤除的所述像素包括：
7.如权利要求1所述的方法，其特征在于，生成包括所述一条或多条最优训练路径的所述第二组训练数据包括：
8.如权利要求7所述的方法，其特征在于，通过以下方式确定所述一组内容项的所述深度图匹配度量值：
9.如权利要求7所述的方法，其特征在于，通过以下方式确定所述一组内容项的所述轮廓匹配度量值：
10.如权利要求7所述的方法，其特征在于，所述相异度矩阵的列和行对应于与所述一组内容项相关联的帧号，所述相异度矩阵的值表明所述一组内容项当中由相应帧号表明的任意两个内容项之间的相异度，其中，所述相异度矩阵的所述值根据所述一组内容项...
【专利技术属性】
技术研发人员：赵富强，吴旻烨，许岚，虞晶怡，
申请(专利权)人：上海科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。