【技术实现步骤摘要】
本专利技术涉及自动装配，尤其涉及一种基于跨源点云与多模态信息的自动化装配方法。
技术介绍
1、与传统的人工手动装配方法相比，根据跨源点云和多模态信息的自动装配技术有着诸多优势。根据跨源点云与多模态信息的自动装配技术可以通过结合跨源得到的局部点云和整体点云并结合二维图像，以此来分割特征，然后进行点云的配准，最后对物体进行装配，从而提高装配的精度。这减少了装配错误的可能性，尤其是对于精细和复杂的装配任务。同时可以更快速地执行装配任务，减少了人工操作所需的时间，从而提高了装配效率。这对于大规模生产和高产能要求的情况尤为重要。而传统的人工手动装配依赖人力操作，这使得人工装配容易受到人为误差的影响，且需要培训时间和成本。并且人工装配通常速度较慢，尤其是在大规模和复杂的装配任务中。传统装配可能受到操作员技能水平的影响，装配的精度可能有限。传统装配有时难以适应零件变形、位置偏差或不确定性，而自动化装配技术可以通过实时数据反馈和自适应算法来应对这些情况。
技术实现思路
1、针对现有技术的不足，本专利技术提供了一种基于跨源点云与多模态信息的自动化装配方法，解决了现有技术中装配速度慢、精度不高、难以应对变化和不确定性问题，采用深度学习的方法，结合跨源点云和多模态信息，从中提取分割特征，并进行点云的配准以及优化融合得到调姿参数，最后进行装配，完成自动化装配过程。
2、为解决上述技术问题，本专利技术提供了如下技术方案：一种基于跨源点云与多模态信息的自动化装配方法，包括以下步骤：
3
4、s2、将待装配物体的二维图像、局部三维点云和全局三维点云输入基于自注意力机制的跨源多模态语义分割网络，将二维图像、局部三维点云和全局三维点云的特征提取后聚合，得到语义分割结果点云，最终语义分割出多对装配特征；
5、s3、根据待装配物体点云中分割出的多对装配特征，使用icp（iterative closestpoint迭代最近点）方法进行点云配准，使用ba（bundle adjustment光束法平差）优化算法进行位姿参数的融合，得到融合后的旋转矩阵和平移矩阵，完成位姿计算；
6、s4、将点云配准得到融合后的旋转矩阵和平移矩阵分解到执行机构，对装配物体进行位姿调整，完成自动化装配。
7、进一步地，在步骤s1中，具体过程包括以下步骤：
8、s11、对待装配物体进行扫描从而获得全局三维点云；
9、s12、根据结构光投影的原理对待装配物体进行拍照获得与待装配物体表面形状相关的二维图像，然后借助这些图像数据，还原待装配物体的三维形状信息，生成相应的待装配物体的局部三维点云。
10、进一步地，在步骤s2中，具体过程包括以下步骤：
11、s21、将待装配物体的二维图像输入跨源多模态语义分割网络，该网络加载一个在大规模图像数据集上训练的resnet-50模型结构，深度残差网络（deep residualnetworks，简称resnet），在前向传播的过程中，截断模型，即在最后的分类头部之前停止网络的前向传播，从而不执行最终的分类任务直接获取图像的256 通道特征图；
12、s22、通过相机的外部参数和相机的内部参数将从resnet得到的二维图像的256 维特征反投影到局部三维点云中，并与局部三维点云中对应点的坐标连接起来；
13、s23、将根据结构光投影原理转换得到的局部三维点云进行下采样得到以保留结构细节的相对密集的点云，该点云的点数约为局部三维点云点数的50%；下采样后的局部三维点云中每个点除了欧几里得坐标外，还连接了来自resnet的256维特征和顶点的法线，以此得到了262维特征的点，获得的点云用作后续阶段的局部三维点云；将扫描得到的全局三维点云下采样得到一个相对稀疏的点云，以此用于学习全局特征，该点云的点数约为全局三维点云点数的10%，获得的点云用作后续阶段的全局三维点云；
14、s24、将带有262维特征的局部三维点云和点云相对稀疏的全局三维点云输入跨源多模态语义分割网络中，首先经过四个transition down向下过渡模块下采样，每次transition down模块将点数减少为之前的四分之一的同时进行特征编码，其中每一次的下采样后都经过了包含有point transformer点云变换器层的point transformer块，促进局部特征向量之间的信息交换，为所有数据点生成新的特征向量作为其输出；
15、s25、将全局三维点云的特征与局部三维点云的特征进行串联，特征串联后的局部三维点云经过四个transition up向上过渡模块，将点数恢复至初始状态并将特征解码，同时每个transition up模块后同样跟有point transformer块，最终的解码器阶段为输入点集中的每个点生成一个特征向量，应用 mlp（multi-layer perception多层感知器）将此特征映射，生成语义标签，根据语义标签即可完成装配特征的分割，得到语义分割结果点云。
16、进一步地，在步骤s21中，所述resnet-50卷积层中的卷积核的大小为3x3，步长为1，用于捕获图像中的局部特征，在卷积层之间，使用最大池化层来减小特征图的尺寸；最大池化层使用2x2的池化窗口并且步长为2，用以减小特征图的分辨率，其中每层卷积运算后均经过relu激活函数处理。
17、进一步地，在步骤s24中，所述point transformer层基于向量注意力，使用减法关系并将位置编码添加到注意力向量和变换后的特征中，可以表示为：
18、；
19、其中，是输出特征，，和是逐点变换后的特征，例如线性投影或 mlp。是位置编码函数，是归一化函数，例如softmax函数。是映射函数，具有两个线性层和一个relu 非线性层的 mlp，用于生成用于特征聚合的注意向量。子集是的局部邻域k个最近邻中的点集，采用最近的自注意力网络进行图像分析的做法，在每个数据点周围的局部邻域内局部应用自注意力；
20、对任意数据点，使用k近邻法 (k-nearest neighbor，knn）寻找距离该点最近的n个点，这些点组成集合。然后计算和邻居点相关的注意力的值，相加得到pointtransformer层在上的输出。
21、其中注意力值的计算过程为：送到线性层中，邻点送入线性层中，得到q和k，二者做差，接着加上位置编码，再将上述部分送入中，是具有两个线性层和一个relu激活函数的 mlp，得到了注意力的权重；然后将送入中得到value，同样加上位置编码。将注意力的权重通过进行归一化（softmax函数），最后两个部分相乘即可得到注意力的值。
22、进一步地，在步骤s3中，具体过程包括以下步骤：
23、s31、将源点云和目标点云之间对应的装配特征进行icp本文档来自技高网...
【技术保护点】
1.一种基于跨源点云与多模态信息的自动化装配方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于跨源点云与多模态信息的自动化装配方法，其特征在于：在步骤S1中，具体过程包括以下步骤：
3.根据权利要求1所述的一种基于跨源点云与多模态信息的自动化装配方法，其特征在于：在步骤S2中，具体过程包括以下步骤：
4.根据权利要求3所述的一种基于跨源点云与多模态信息的自动化装配方法，其特征在于：在步骤S21中，所述ResNet-50卷积层中的卷积核的大小为3x3，步长为1，用于捕获图像中的局部特征，在卷积层之间，使用最大池化层来减小特征图的尺寸；最大池化层使用2x2的池化窗口并且步长为2，用以减小特征图的分辨率，其中每层卷积运算后均经过ReLu激活函数处理。
5.根据权利要求3所述的一种基于跨源点云与多模态信息的自动化装配方法，其特征在于：在步骤S24中，所述Point Transformer层基于向量注意力，使用减法关系并将位置编码添加到注意力向量和变换后的特征中，可以表示为：
6.根据权利要求1所述的一种基于跨源点
7.根据权利要求1所述的一种基于跨源点云与多模态信息的自动化装配方法，其特征在于：在步骤S4中，具体过程包括以下步骤：
...【技术特征摘要】
1.一种基于跨源点云与多模态信息的自动化装配方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于跨源点云与多模态信息的自动化装配方法，其特征在于：在步骤s1中，具体过程包括以下步骤：
3.根据权利要求1所述的一种基于跨源点云与多模态信息的自动化装配方法，其特征在于：在步骤s2中，具体过程包括以下步骤：
4.根据权利要求3所述的一种基于跨源点云与多模态信息的自动化装配方法，其特征在于：在步骤s21中，所述resnet-50卷积层中的卷积核的大小为3x3，步长为1，用于捕获图像中的局部特征，在卷积层之间，使用最大池化层来减小特征图的尺寸；最大池化层使用...
【专利技术属性】
技术研发人员：汪俊，张嘉麟，李超，李子宽，荆文科，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。