一种针对地下弱光弱纹理环境下的结构语义地图构建方法技术

本发明专利技术涉及计算机视觉三维建模技术领域，特别是指一种针对地下弱光弱纹理环境下的结构语义地图构建方法，该方法包括：融合传统方法与Transfomer的结构语义参数化线条检测与验证模型；建立根据结构信息方向引导的几何基元半平面搜索方法；建立基于几何基元模型的邻域贪婪扩张算法；逐个几何基元位姿与边界优化；点云地图与结构信息融合，建立融合几何结构基元的语义地图。采用本发明专利技术，不需要人工干预能建立弱光弱纹理环境下多种地下空间三维立体地图，且对于管线，立柱，楼梯等规则物体建立完整CAD可操作模型，在城市地下管廊、地铁地下隧道等多种弱光弱纹理环境下具有重要的应用价值，能解决人工建模周期长，弱纹理、弱光照下三维建模精度低等问题。下三维建模精度低等问题。下三维建模精度低等问题。

【技术实现步骤摘要】
一种针对地下弱光弱纹理环境下的结构语义地图构建方法


[0001]本专利技术涉及计算机视觉三维建模
，特别是指一种针对地下弱光弱纹理环境下的结构语义地图构建方法。

技术介绍

[0002]基于激光雷达、深度相机、RGB相机等一个或多个传感器的三维空间感知技术在场景建模，机器人导航，机器人目标抓取，智能检测，数字孪生等领域具有重要的应用前景与市场价值。经过学术界与工业界多年的探索，基于视觉、雷达等传感器融合的建模方法，虽然取得了巨大的进展，但在地下空间等复杂场景下还难以稳定运行。而地下空间立体感知是城市智能治理、战场环境下地下基础设施感知、地下矿洞巡检等应用的关键技术支撑。因此，提高弱光弱纹理环境下场景建模能力具有重要的实际意义。
[0003]目前，弱光、弱纹理条件下的场景建模依赖昂贵的三维扫描仪，存在成本高昂的问题，另外，通过三维扫描得到的点云，即使经过三角面片等后处理，虽然能建立场景的三维模型，但该模型缺乏对场景中规则结构的识别与完整建模。而在关键部分获得完整的CAD模型对提升模型可视化效果，简化后续人工辅助建模复杂度，以及相关智能本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对地下弱光弱纹理环境下的结构语义地图构建方法，其特征在于，所述方法包括：S1、基于视觉和三维深度感知的传感器，获取目标场景的多模态感知信息，所述多模态感知信息包括RGB的视觉图像和深度感知信息，所述深度感知信息包括有序点云和无序点云；S2、通过ELSDc线段和椭圆弧检测方法，获取所述视觉图像的规则参数化线条集合，对所述规则参数化线条集合中的线段和椭圆弧进行嵌入编码，得到长度为256维的嵌入向量；S3、通过图像特征提取模块，对所述视觉图像进行视觉特征提取；S4、将所述嵌入向量与所述视觉特征输入到训练完毕的参数化线条判别网络模型，得到结构语义线条集合；S5、对所述深度感知信息中的有序点云以及无序点云进行预处理，通过对有序点云以及无序点云的结构语义线段与经过的像素点的索引，将结构语义线条集合中的二维结构线条与所述视觉图像的像素进行关联，得到二维结构线条与三维点的关联关系；S6、基于所述二维结构线条与三维点的关联关系，对二维结构线条进行三维空间拟合，得到三维结构线条；S7、基于所述三维结构线条进行几何基元半平面搜索，确定每个三维结构线条两侧的点云是否满足规则面的约束，如果满足，则根据贪婪算法进行几何基元邻域扩张，确定出最大的规则区域；S8、根据确定出的最大的规则区域与点云集合进行融合，构建出结构化地图数据。2.根据权利要求1所述的方法，其特征在于，所述S2的通过ELSDc线段和椭圆弧检测方法，获取所述视觉图像的规则参数化线条集合，包括：S21、通过ELSDc线段和椭圆弧检测方法，获取所述视觉图像的规则参数化线条集合{L,A}，所述{L,A}如下述公式(1)所示：{L,A}＝ELSDc(I
rgb
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)L
i
＝{(x
1i
,y
1i
,x
2i
,y
2i
)|i＝1,2,
…
N}其中，I
rgb
表示所述视觉图像，(x
1i
,y
1i
,x
2i
,y
2i
)表示第i个线段的参数，x
1i
,y
1i
用于表示第i个线段的一个端点的二维坐标，x
2i
,y
2i
用于表示第i个线段的另一个端点的二维坐标，N表示线段的总数，表示第j个椭圆弧的参数，x
1j
,y
1j
用于表示椭圆弧的中心点的二维坐标，a
j
,b
j
分别表示长短轴的半轴长，θ
j
表示旋转角度，表示起点角度，表示终点角度，M表示椭圆弧的总数。3.根据权利要求2所述的方法，其特征在于，所述S2的对所述规则参数化线条集合中的线段和椭圆弧进行嵌入编码，得到长度为256维的嵌入向量，包括：S22、根据下述公式(2)，分别使用两个不同的编码器对线段和椭圆弧进行嵌入编码，经过编码后输出长度为256维的向量：
其中，所述LineEncoder()表示线段位置编码器，L
i
表示第i条线段，所述ArcEncoder()表示圆弧位置编码器，A
i
表示第i条椭圆弧。4.根据权利要求1所述的方法，其特征在于，所述图像特征提取模块为Resnet
‑
50；所述S3的通过图像特征提取模块，对所述视觉图像进行视觉特征提取，包括：将所述视觉图像输入到所述Resnet
‑
50中，使用sin位置编码器以及cos位置编码器在所述视觉图像的尺度上进行位置嵌入，将位置嵌入向量与所述视觉图像进行拼接，得到所述视觉图像的视觉特征。5.根据权利要求1所述的方法，其特征在于，所述参数化线条判别网络模型为Transformer模型；所述参数化线条判别网络模型的训练过程包括：通过使用可微分的渲染器，将判别概率作为透明度值，线条参数作为画线约束，将渲染得到的图像与真实结构语义标注二进制图像进行L2损失，以此对参数化线条判别网络模型进行训练。6.根据权利要求4所述的方法，其特征在于，所述S5的对所述深度感知信息中的有序点云以及无序点云进行预处理，包括：针对所述传感器的最佳精度范围，使用直通和条件滤波器对所述深度感知信息进行预处理，提取出所述传感器的有效感知区域；对于所述深度感知信息中的有序点云，...

【专利技术属性】
技术研发人员：何斌，李丰，李刚，程斌，朱忠攀，王志鹏，丁玉隆，
申请(专利权)人：同济大学，
类型：发明
国别省市：