当前位置: 首页 > 专利查询>厦门工学院专利>正文

基于多模态大模型的柔性制造系统目标组件三维重建方法技术方案

技术编号:43605963 阅读:31 留言:0更新日期:2024-12-11 14:52
本发明专利技术公开了一种基于多模态大模型的柔性制造系统目标组件三维重建方法,具体包括:在柔性制造系统的目标组件区域布设多个不同拍摄角度的摄像头,所述摄像头在同一时刻不同视角下拍摄目标组件的2D图片,将所述2D图片进行预处理,生成目标图像;利用多模态目标检测GLIP模型在提示词的辅助下对所述目标图像进行定位,获取目标区域;将所述目标区域输入语义分割模型SAM2中进行分割,获取分割结果;将所述分割结果输入三维高斯泼溅模块生成3D点云信息;利用像素级重建算法将所述3D点云信息转化为网格模型,获得所述目标组件的三维重建结果。

【技术实现步骤摘要】

本专利技术涉及柔性制造领域,尤其是,主要涉及一种基于多模态大模型的柔性制造系统目标组件三维重建方法


技术介绍

1、随着科技进步,柔性制造系统作为适应多品种、小批量生产的自动化制造体系,通常由加工中心、自动化物流系统以及计算机控制系统等组成。通过引入智能传感器和先进控制算法,能实时监测生产过程参数并动态调整,提高了生产的灵活性和适应性。在柔性制造和智能制造背景下,对被制造目标组件进行三维重建意义重大。目前,精准的三维重建在数字化设计环节能为设计师提供更直观准确的产品模型,提高设计效率和质量;在仿真分析方面能为工程师提供精确模型信息,提高准确性和可靠性;在生产制造过程中能为自动化控制和优化提供准确模型基础。同时,为实现三维重建,需从拍摄图片中准确找到目标组件,涉及目标检测和语义分割任务,而多模态大模型用于此任务成为人工智能图像领域研究热点,但仍需进一步优化以提高性能。此外,高斯泼溅技术虽在三维重建领域取得突破,但在应用于柔性制造系统方面仍有提升空间。

2、传统的目标检测和语义分割技术只针对固定类别的目标,一旦目标种类发生变化则需要重新进行数据采集本文档来自技高网...

【技术保护点】

1.一种基于多模态大模型的柔性制造系统目标组件三维重建方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的三维重建方法,其特征在于,所述交叉注意力机制具体公式表示如下:

3.根据权利要求1所述的三维重建方法,其特征在于,所述目标检测损失的具体公式表示如下:

4.根据权利要求1所述的三维重建方法,其特征在于,所述步骤S3还包括:所述语义分割模型SAM2首先对所述目标图像进行图像特征提取,再结合输入的目标区域进行分割与结果预测;

5.根据权利要求1所述的三维重建方法,其特征在于,所述步骤S4具体包括:

6.根据权利要求5所述的...

【技术特征摘要】

1.一种基于多模态大模型的柔性制造系统目标组件三维重建方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的三维重建方法,其特征在于,所述交叉注意力机制具体公式表示如下:

3.根据权利要求1所述的三维重建方法,其特征在于,所述目标检测损失的具体公式表示如下:

4.根据权利要求1所述的三维重建方法,其特征在于,所述步骤s3还包括:所述语义分割模型sam2首先对所述目标图像进行图像特征提取,再结合输入的目标区域进行分割与...

【专利技术属性】
技术研发人员:王飞帆
申请(专利权)人:厦门工学院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1