本发明专利技术涉及虚拟工厂的数字孪生模型搭建领域，具体为一种机械臂三维重建方法、装置、电子设备和存储介质。该机械臂三维重建方法包括步骤：基于已装配的机械臂，获取机械臂各个手臂的零件模型；获取多张不同位姿下机械臂的第一图像；根据第一图像，获取机械臂各个手臂之间的关节的关节点坐标；根据关节点坐标识别出机械臂各个手臂之间的关节的自由度；根据自由度对零件模型添加运动约束，得到机械臂的数字孪生动态模型，本发明专利技术采取部分重建、整体装配的思想通过向三维重建技术生成的静态零件模型添加运动约束进而搭建出可进行仿真运动的机械臂数字孪生动态模型。机械臂数字孪生动态模型。机械臂数字孪生动态模型。
【技术实现步骤摘要】
一种机械臂三维重建方法、装置、电子设备和存储介质
[0001]本专利技术涉及虚拟工厂的数字孪生模型搭建领域，具体涉及一种机械臂三维重建方法、装置、电子设备和存储介质。
技术介绍
[0002]随着数字孪生技术的蓬勃发展，各个企业纷纷打造数字孪生解决方案，赋能制造业数字化转型。数字孪生其本质是在数字空间构建物理对象模型，而后利用实时IOT数据驱动模型运转。但是物理世界中的对象种类杂多，需要通过工具对这些对象建模（例如采用Unity3D对工厂进行建模），工作量巨大，也在制约着工业数字孪生的发展。
[0003]现有技术中三维重建技术作为一种快速建模方法，可以迅速地将周围环境重建出来，被频繁地使用到医学、建筑物、地图的重建中，然而三维重建技术重建得到的物体都是静止的，并不能动态显示其运动状态，而实际的工业数字孪生（虚拟工厂）场景中，往往需要的是动态模型，这种静态模型无法模拟出整个真实运转的工厂，所以现有的三维重建技术并不能有效地应用到虚拟工厂中。
[0004]因此，现有技术有待改进和发展。
技术实现思路
[0005]本专利技术的目的在于提供一种机械臂三维重建方法、装置、电子设备和存储介质，提供一种基于现有三维重建技术搭建出动态模型的方法，得到的动态模型适用于虚拟工厂的应用场景。
[0006]第一方面，本申请提供一种机械臂三维重建方法，用于搭建出机械臂的数字孪生动态模型，所述机械臂三维重建方法包括以下步骤：S1.基于已装配的机械臂，获取所述机械臂各个手臂的零件模型；S2.获取多张不同位姿下所述机械臂的第一图像；S3.根据所述第一图像，获取所述机械臂各个手臂之间的关节的关节点坐标；S4.根据所述关节点坐标识别出所述机械臂各个手臂之间的关节的自由度；S5.根据所述自由度对所述零件模型添加运动约束，得到所述机械臂的数字孪生动态模型。
[0007]对已装配的机械臂的各个手臂单独识别并重建模型，通过对关节的自由度判断为各个手臂添加运动约束，进而构建出数字孪生动态模型，其过程识别准确度高，得到动态模型能够真实还原机械臂的各种运动状态。
[0008]进一步的，步骤S1中的具体步骤包括：S11.获取所述机械臂从多个采集层拍摄所得的第二图像，所述采集层从上往下间隔排布，且每个所述采集层均包括多个拍摄点，所述机械臂被所有所述拍摄点所包围；S12.利用soloV2语义分割模型对所有所述第二图像进行分割处理，得到所述机械臂各个手臂在不同视角下的多个零件图片；
S13.根据所述零件图片，利用colmap算法重建出所述机械臂各个手臂的零件模型。
[0009]能够有效减少各个手臂的结构特征缺失从而有利于重建出较准确且完整的零件模型。
[0010]进一步的，步骤S2中的具体步骤包括：S21.获取所述机械臂的运动视频；S22.从所述运动视频中以第一预设时间为间隔截取所述第一图像。
[0011]有利于降低人力成本，同时通过更简单的处理方式使得处理效率大大提高。
[0012]进一步的，步骤S3中的具体步骤包括：S31.将所述第一图像输入到预先训练好的基于DAS算法的3D位姿估计模型中，得到所述关节点坐标。
[0013]利用现有的基于DAS算法的3D位姿估计模型从第一图像中识别关节并获取关节点坐标。
[0014]进一步的，所述3D位姿估计模型通过以下训练步骤训练得到：A1.获取不同位姿下所述机械臂的第三图像；A2.获取各个所述第三图像中所述机械臂各个手臂之间的关节的真实坐标；A3.根据所述第三图像和所述真实坐标，获取多组训练数据，每组所述训练数据均包括一张所述第三图像和对应的所述真实坐标；A4.将所述训练数据输入到待训练的3D位姿估计模型中进行训练，得到完成训练的3D位姿估计模型。
[0015]进一步的，步骤A2中的具体步骤包括：A21.利用激光追踪仪获取所述机械臂的末端执行器在激光追踪仪坐标系下的第一坐标；A22.将所述第一坐标换算至所述机械臂的基座坐标系中，得到第二坐标；A23.基于所述第二坐标，通过逆运动学计算获得所述机械臂上各个手臂之间的关节的所述真实坐标。
[0016]进一步的，步骤S4中的具体步骤包括：S41.获取目标时刻下目标关节的关节点坐标，所述目标时刻为任一个所述第一图像在所述运动视频中对应的截取时刻，所述目标关节为所述机械臂各个手臂之间的关节中的任一个关节；S42.获取所述目标时刻的下一个时刻的目标关节的关节点坐标；S43.对比所述目标时刻下目标关节的关节点坐标和所述目标时刻的下一个时刻的目标关节的关节点坐标，得到坐标轴数值未发生变化的坐标轴并作为目标坐标轴；S44.根据所述目标坐标轴，判断所述目标关节的自由度。
[0017]第二方面，本专利技术还提供了一种机械臂三维重建装置，用于搭建出机械臂的数字孪生动态模型，所述机械臂三维重建装置包括：第一获取模块，用于基于已装配的机械臂，获取所述机械臂各个手臂的零件模型；第二获取模块，用于获取多张不同位姿下所述机械臂的第一图像；第三获取模块，用于根据所述第一图像，获取所述机械臂各个手臂之间的关节的
关节点坐标；识别模块，用于根据所述关节点坐标识别出所述机械臂各个手臂之间的关节的自由度；约束模块，用于根据所述自由度对所述零件模型添加运动约束，得到所述机械臂的数字孪生动态模型。
[0018]采取部分重建、整体装配的思想，先获取各个手臂的零件模型，然后对其添加运动约束以实现零件装配同时限定其运动行为，从而构建出能够仿真出真实机械臂的运动状态的数字孪生动态模型。
[0019]第三方面，本专利技术提供了一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述机械臂三维重建方法中的步骤。
[0020]第四方面，本专利技术提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述机械臂三维重建方法中的步骤。
[0021]由上可知，基于现有的三维重建技术，对机械臂各个手臂分别重建出相互独立的零件模型，再通过分析各个关节的自由度从而对各个零件添加运动约束（运动约束确定即相当于各个零件完成装配），从而搭建出机械臂的数字孪生动态模型，应用至虚拟工厂的场景中，能够重现整个工厂真实的运转情况。
附图说明
[0022]图1为本申请实施例提供的机械臂三维重建方法的一种流程图。
[0023]图2为本申请实施例中对机械臂各个手臂重建后的零件模型的示意图。
[0024]图3为本申请实施例中布置在机械臂周围的采集层和拍摄点的示意图。
[0025]图4为本申请实施例提供的机械臂三维重建装置的一种结构示意图。
[0026]图5为本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0027]下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种机械臂三维重建方法，用于搭建出机械臂的数字孪生动态模型，其特征在于，包括步骤：S1.基于已装配的机械臂，获取所述机械臂各个手臂的零件模型；S2.获取多张不同位姿下所述机械臂的第一图像；S3.根据所述第一图像，获取所述机械臂各个手臂之间的关节的关节点坐标；S4.根据所述关节点坐标识别出所述机械臂各个手臂之间的关节的自由度；S5.根据所述自由度对所述零件模型添加运动约束，得到所述机械臂的数字孪生动态模型。2.根据权利要求1所述的机械臂三维重建方法，其特征在于，步骤S1中的具体步骤包括：S11.获取所述机械臂从多个采集层拍摄所得的第二图像，所述采集层从上往下间隔排布，且每个所述采集层均包括多个拍摄点，所述机械臂被所有所述拍摄点所包围；S12.利用soloV2语义分割模型对所有所述第二图像进行分割处理，得到所述机械臂各个手臂在不同视角下的多个零件图片；S13.根据所述零件图片，利用colmap算法重建出所述机械臂各个手臂的零件模型。3.根据权利要求1所述的机械臂三维重建方法，其特征在于，步骤S2中的具体步骤包括：S21.获取所述机械臂的运动视频；S22.从所述运动视频中以第一预设时间为间隔截取所述第一图像。4.根据权利要求1所述的机械臂三维重建方法，其特征在于，步骤S3中的具体步骤包括：S31.将所述第一图像输入到预先训练好的基于DAS算法的3D位姿估计模型中，得到所述关节点坐标。5.根据权利要求4所述的机械臂三维重建方法，其特征在于，所述3D位姿估计模型通过以下训练步骤训练得到：A1.获取不同位姿下所述机械臂的第三图像；A2.获取各个所述第三图像中所述机械臂各个手臂之间的关节的真实坐标；A3.根据所述第三图像和所述真实坐标，获取多组训练数据，每组所述训练数据均包括一张所述第三图像和对应的所述真实坐标；A4.将所述训练数据输入到待训练的3D位姿估计模型中进行训练，得到完成训练的3D位姿估计模型。6.根据权利要求5所述的机械臂三维重建方法，其特征在于...
【专利技术属性】
技术研发人员：付鑫，韩乐，
申请(专利权)人：季华实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。