一种图协同单目实例三维重建方法技术

本发明专利技术提出一种图协同单目实例三维重建方法，首先构建一个由多个二维图像序列组成的图像数据集作为训练集，然后从单个图像推断场景几何，以递归学习方式使用图像条件神经辐射场进行模型训练；接着构建神经表征映射场进行序列间映射场泛化，提取给定序列第一帧目标物体实例的像素语义特征量，预测像素点密度和颜色；之后根据序列间泛化映射场预测的像素点密度和颜色，计算像素的图协同因子，合成和更新深度视图，根据像素的图协同因子构建图协同群组；最后采用图协同群组方法实现单目二维图像到三维的重建。本发明专利技术实现实时在线三维模型重建，使得在智能制造生产场景中，加工件的三维重建与操控实时性需求的问题得到有效解决。重建与操控实时性需求的问题得到有效解决。重建与操控实时性需求的问题得到有效解决。

【技术实现步骤摘要】
一种图协同单目实例三维重建方法


[0001]本专利技术涉及一种基于图组合的单目实例三维重建方法，属于计算机视觉的实例物体三维重建


技术介绍

[0002]在智能制造领域，有大量生产场景需要对目标对象的加工件进行三维模型重建，以用于机器人后续的智能操控和生产，比如智能抓取、路径规划、智能打磨和安装等等。
[0003]基于扫描的三维重建设备精度高，但是价格却非常昂贵。同时现有三维模型重建方法存在诸多难点，比如：双目多线激光的误匹配点难以剔除，双目视差受到环境光的干扰影响比较大。空间编码的结构光方法只需一对图像就可以三维重建，但是易受光照等因素导致编码信息缺失且精度较低。基于单目加工件二维图像的三维重建通常仍需要几何监督。最新神经辐射场单视图方法输入时通常需要加工件额外的几何结构信息，且对复杂场景的监督学习代价昂贵。

技术实现思路

[0004]本专利技术所要解决的技术问题是：在智能制造生产场景加工件的三维模型重建过程中，解决单目单视图二维图像输入产生的新视图与深度合成中的遮挡问题、对于加工件额外的几何结构信息的依赖问题，以及其他算法对算力的巨大需求而导致的建模时延的问题。
[0005]本专利技术为解决上述技术问题采用以下技术方案：
[0006]本专利技术提出一种图协同单目实例三维重建方法，包括如下步骤：
[0007]S1、构建一个由多个二维图像序列组成的图像数据集，作为训练集；
[0008]S2、以图像序列中的每个序列第一帧作为输入条件，计算图像中目标物体实例的神经表征，神经表征在所有序列之间共享，并由其他帧进行递归学习优化；
[0009]S3、在神经表征基础上，构建神经表征映射场进行序列间映射场泛化；
[0010]S4、提取给定序列第一帧目标物体实例的像素语义特征量，预测输入帧中的像素点密度和颜色；
[0011]S5、根据序列间泛化映射场预测的像素点密度和颜色，计算像素的图协同因子，合成和更新深度视图；
[0012]S6、根据像素的图协同因子构建图协同群组；
[0013]S7、在更新的深度视图基础上，采用图协同群组方法实现单目二维图像到三维的重建。
[0014]进一步的，本专利技术所提出的一种图协同单目实例三维重建方法，步骤S1中，该训练集由个二维图像序列组成的，每个图像序列包含m幅RGB图像及其对应的相机位姿，表示为：
[0015][0016]其中，其中，代表第u个图像序列的第v帧图像，表示该图像摄制过程中对应的相机位姿。
[0017]进一步的，本专利技术所提出的一种图协同单目实例三维重建方法，步骤S2中，训练集个图像序列中的每个序列第一帧作为输入条件，计算图像中目标物体实例的神经表征，神经表征在个序列之间共享，并由其他帧进行递归学习优化，其他帧表示形式为：
[0018][0019]其中，
[0020]进一步的，本专利技术所提出的一种图协同单目实例三维重建方法，步骤S3中，构建神经表征映射场其中ξ表示像素点密度，Hue代表RGB颜色。
[0021]进一步的，本专利技术所提出的一种图协同单目实例三维重建方法，步骤S4具体包括：
[0022]S401、在序列间映射场泛化基础上，给定序列的第一帧使用残差网络ResNeXt提取目标物体实例的像素语义特征量使用残差网络ResNeXt提取目标物体实例的像素语义特征量
[0023]S402、接着选择其他帧中的每行抽取一帧
[0024][0025]其中共抽取帧，对抽取的每帧均匀选择个像素，结合相机位姿沿着穿过这些像素的视野可达区域进行视线采样个点；
[0026]S403、将每个采样三维点投影到的图像条件神经辐射场球体上，形成图像特征向量其中，其中，其中，代表特征向量提取器，输入到神经表征映射场得到形式为其中代表辐射场观察方向；
[0027]S404、预测输入帧中的像素点密度ξ和RGB颜色Hue。
[0028]进一步的，本专利技术所提出的一种图协同单目实例三维重建方法，步骤S5具体包括：
[0029]S501、根据序列间泛化映射场预测的像素点密度和颜色，计算像素的图协同因子
[0030][0031]其中对应个采样点，α
t
∈(0,1)是对应采样点的超参数，ξ
t
表示第i个采样点像素点密度，函数sigmod(x)＝1/(1+exp(
‑
x))，d
t
是上述个采样点的第t个点到采样位置的距离，
[0032]S502、在源图像和它的前一帧之间选择连续帧以最优联合信息熵，构建重建投影损失函数表示为：
[0033][0034]其中表示每帧中均匀选择的个像素，表示其中第个像素在该帧色彩度量上的分布概率，||
·
||表示2
‑
范数，表示根据相机位姿信息进行2d投影算子；
[0035]S503、将步骤S502中所述损失函数用于训练并计算得到图协同因子，进而合成和更新深度视图。
[0036]进一步的，本专利技术所提出的一种图协同单目实例三维重建方法，步骤S6具体包括：
[0037]步骤S601、根据图协同因子构建图协同群组：由于一个三维点与图协同因子中的多个二维像素特征点相关联，进行聚合操作来更新三维特征描述算子通过对相应的二维描述算子进行平均初始化；图协同映射操作时，保留中最大信息量的二维特征，以便根据当前帧实现下一帧的二维到三维映射；
[0038]步骤S602、构造图协同单目架构实现实例的三维重建，对每个单独的进行操作，对于每个权重矩阵表示为图协同算子定义为：
[0039][0040][0041]其中计算注意力系数，用于计量描述算子在聚合操作中的重要性；
[0042]步骤603、使用注意协同算子和交叉协同算子来处理和转换聚合的三维描述算子和查询的二维描述算子；一组由图协同算子、注意协同算子和交叉协同算子构成了一个图协同群组表示为：
[0043][0044]表示图协同算子、表示注意协同算子，表示交叉协同算子。
[0045]进一步的，本专利技术所提出的一种图协同单目实例三维重建方法，步骤S7具体包括：
[0046]步骤701、设图协同网络架构是由N个堆叠的图协同群组组成，根据和的相关性，图协同网络会自适应地关注图协同因子中不同的二维像素特征点从而为二维到三维映射保留更多的区分性信息，通过将聚合注意力层与自我注意力层和交叉注意力层交织在一起，使得互相交换信息；
[0047]步骤702、匹配选择和位姿计算，计算相机位姿匹配置信度得分如下：
[0048][0049]代表了二维到三维映射的预测，其中函数sigmod(x)＝1/(1+exp(
‑
x))，物体在相机坐标中的姿态通过透视点算法计算得到；
[0050]步骤703、在相机位姿匹配置信度得分基础上合成和更新的深度视图，结合图协同群组表构建：
[0051][0052]其中表示叉积运本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图协同单目实例三维重建方法，其特征在于，包括步骤：S1、构建一个由多个二维图像序列组成的图像数据集，作为训练集；S2、以图像序列中的每个序列第一帧作为输入条件，计算图像中目标物体实例的神经表征，神经表征在所有序列之间共享，并由其他帧进行递归学习优化；S3、在神经表征基础上，构建神经表征映射场进行序列间映射场泛化；S4、提取给定序列第一帧目标物体实例的像素语义特征量，预测输入帧中的像素点密度和颜色；S5、根据序列间泛化映射场预测的像素点密度和颜色，计算像素的图协同因子，合成和更新深度视图；S6、根据像素的图协同因子构建图协同群组；S7、在更新的深度视图基础上，采用图协同群组方法实现单目二维图像到三维的重建。2.根据权利要求1所述的一种图协同单目实例三维重建方法，其特征在于，步骤S1中，该训练集由个二维图像序列组成的，每个图像序列包含m幅RGB图像及其对应的相机位姿，表示为：其中，v＝1,2,...,m，代表第u个图像序列的第v帧图像，表示该图像摄制过程中对应的相机位姿。3.根据权利要求2所述的一种图协同单目实例三维重建方法，其特征在于，步骤S2中，训练集个图像序列中的每个序列第一帧作为输入条件，计算图像中目标物体实例的神经表征，神经表征在个序列之间共享，并由其他帧进行递归学习优化，其他帧表示形式为：其中，4.根据权利要求1所述的一种图协同单目实例三维重建方法，其特征在于，步骤S3中，构建神经表征映射场其中ξ表示像素点密度，Hue代表RGB颜色。5.根据权利要求1所述的一种图协同单目实例三维重建方法，其特征在于，步骤S4具体包括：S401、在序列间映射场泛化基础上，给定序列的第一帧使用残差网络ResNeXt提取目标物体实例的像素语义特征量残差网络ResNeXt提取目标物体实例的像素语义特征量S402、接着选择其他帧中的每行抽取一帧
其中v
′
＝2,3,
…
,m，共抽取帧，对抽取的每帧均匀选择个像素，结合相机位姿沿着穿过这些像素的视野可达区域进行视线采样个点；S403、将每个采样三维点投影到的图像条件神经辐射场球体上，形成图像特征向量其中，其中，其中，代表特征向量提取器，输入到神经表征映射场得到形式为其中代表辐射场观察方向；S404、预测输入帧中的像素点密度ξ和RGB颜色Hue。6.根据权利要求1所述的一种图协同单目实例三维重建方法，其特征在于，步骤S5具体包括：S501、根据序列间泛化映射场预测的像素点密度和颜色，计算像素的图协同因子其中对应个采样点，α<...

【专利技术属性】
技术研发人员：曹东，
申请(专利权)人：无锡东如科技有限公司，
类型：发明
国别省市：