基于视触信息融合的手机软排线定位方法技术

本发明专利技术涉及目标位姿估计领域，尤其涉及一种手机装配下的基于视触信息融合的手机软排线定位方法。该方法通过对采集的视觉和触觉信息进行时空对齐，对视觉数据进行双线性插值，触觉数据进行滑动平均窗口去噪，然后分别使用不同的卷积神经网络对视觉和触觉信息进行处理，两个网络分别输出基于视觉信息和触觉信息的软排线预测位姿，最后通过对多模态信息的决策级融合，采用加权的方式对两种结果进行融合，以此得到最终的软排线定位结果。本发明专利技术定位方法减少了传统单模态对信息表示不完整的缺陷，通过多模态决策级融合的方式，得到对软排线定位精度更高，鲁棒性更好的结果。鲁棒性更好的结果。鲁棒性更好的结果。

【技术实现步骤摘要】
基于视触信息融合的手机软排线定位方法


[0001]本专利技术属于目标位姿估计领域，尤其涉及一种手机软排线装配流程下的基于视触信息融合的手机软排线定位方法。

技术介绍

[0002]对于3C装配领域，目前随着深度学习和机器人技术的发展，装配正由过去的人工操作转为自动化操作，由于人工装配成本昂贵，自动化装配泛化性较差，近年来越来越多的人开始探讨智能装配的应用。传统的机器人自动化装配中大多只应用了单模态信息，而在整个装配任务中单模态信息并不能很好的完整表示信息。传统的视觉定位方法较适合精度要求不高的任务，而对于手机零件装配场景效果不理想，因为手机装配视野狭窄，装配精度要求高，视觉方法易受光照变化影响。

技术实现思路

[0003]本专利技术主要目的在于解决人工装配成本太高，传统装配方法定位精度差，泛化性能弱的缺点，提供了一种基于视触信息融合的手机软排线定位方法，通过融合视觉和触觉双模态信息，克服了单一模态信息不完整的缺陷，多模态信息能够给从多个维度对任务进行表示，通过对视触信息进行决策级融合，首先单独使用视觉信息进行软排线定位，然后单独使用触觉信息进行软排线定位，最终对两个定位进行融合，输出最后的位置，该方法能够有效提高软排线定位的精度，对于手机装配领域是一种实用的技术。
[0004]实现本专利技术目的的技术方案为：
[0005]一种基于视触信息融合的手机软排线定位方法，使用视觉传感器和触觉传感器，通过对多模态信息的融合，实现对手机软排线精度更高的定位，所述方法包括如下步骤：
[0006]步骤(1)对视觉传感器数据和触觉传感器数据进行采集，并将采集到的两种数据分别进行必要的预处理，供后续深度学习模型训练使用；
[0007]步骤(2)对两个模态的信息进行融合前的处理，包括视觉和触觉模态的时间空间信息对齐，视觉和触觉模态的信息分别编码；
[0008]步骤(3)对步骤(2)处理后的视觉模态信息，采用单独的基于卷积神经网络的目标检测网络进行软排线定位，网络输出软排线的检测结果和检测框；
[0009]步骤(4)将步骤(3)结果中的检测框进行边缘检测，并计算软排线在图像中的像素坐标位置和旋转角度，并通过手眼标定技术将图像坐标转换为机械臂空间坐标中；
[0010]步骤(5)通过将步骤(2)所处理的触觉编码信息输入至深度学习的位置预测网络进行软排线目标位姿预测，该网络能够输出对软排线在机械臂空间中的预测位置；
[0011]步骤(6)通过对步骤(4)和步骤(5)的定位结果进行决策级融合，采用对两个结果加权的方式进行融合，输出最终的手机软排线预测位姿。
[0012]进一步地，步骤(1)具体是：对视触信息进行采集和保存，对于视觉数据，采集视觉传感器1920*1080大小的图像，并对每个图像按时间戳进行命名，并以JPG格式保存RGB图
像。对于触觉数据，采集触觉传感器的数据，并将每次采集的触觉信息以时间戳的格式进行命名和保存。
[0013]进一步地，步骤(2)具体是：将步骤(1)中的视触觉数据进行时间空间层面的对齐，对于时间层面，挑选两个模态中时间戳最接近的数据，以此完成时间对齐；
[0014]而对于机械臂操作而言，采集触觉信息时会造成视觉传感器遮挡的问题，因此对于空间对齐而言，视觉数据与触觉数据通过采集的触觉信息和采集触觉前的视觉图像进行对齐至此完成多模态信息的对齐；
[0015]对于对齐后的数据，对于图像数据首先需要采用双线性插值的方式将原始图片缩小至224*224大小，其中双线性插值公式为：
[0016][0017]其中Q
11
＝(x1,y1)，Q
12
＝(x1,y2)，Q
21
＝(x2,y1)，Q
22
＝(x2,y2)，P＝(x，y)，f函数为点的坐标值，R1和R2为对x轴插值时的中间结果，由此插值公式即可将图片缩小；
[0018]对于触觉数据，选用对齐时间戳前后总共10次的数据进行平滑去噪处理，采用滑动平均滤波进行平滑，根据公式动平均滤波进行平滑，根据公式其中F(k)代表时刻k时经过滑动平均窗口滤波后的值，k大小取值为{1,2,3
…
10}，F为进行均值处理后最终的触觉数据，经过上述步骤对视触信息进行了融合前预处理。
[0019]进一步地，步骤(3)具体是：采用基于卷积神经网络的YOLO v5目标检测网络对手机软排线进行检测，YOLO v5用来处理视觉信息，输出对于手机软排线的检测结果和检测框，该网络训练输入为步骤(2)处理后的224*224大小的图像数据，其训练数据Label为目标类别和标准目标框像素坐标，其网络损失函数包括分类损失，置信度损失和定位损失三部分，分类损失采用交叉熵损失计算正负样本的损失，置信度损失先计算预测框与Label输入框的相交面积IOU，然后再采用交叉熵损失计算目标置信度损失，定位损失采用GIOU损失函数进行计算，该网络模型的输出为对手机软排线的类别检测结果和预测框坐标，该结果以供后续定位使用。
[0020]进一步地，步骤(4)具体是：采用手眼标定技术对手机软排线进行定位，首先使用Sobel边缘算子计算具体的软排线边框和旋转角度，然后计算边框的中心点，最后对眼在手上的相机
‑
机械臂坐标系统进行手眼标定，主要是对相机和机械臂末端坐标系进行转换，根据公式T3XT1P0＝P3，其中P0为标定板上的任意一点，T1为已知的相机外参矩阵，T3为机械臂出厂已知的末端对机械臂基坐标系转换矩阵，P3为标定版P0转换基坐标系下的坐标位置，X为待求的手眼标定矩阵；
[0021]然后移动机械臂，对于标定板上同一点，P0和对应的P3不会改变，而T1和T3发生了改变，因此有表达式通过联立上述两个表达式，可得解
该方程可得手眼标定矩阵X；
[0022]通过该矩阵可将YOLO v5检测结果中心点坐标转换为机械臂位置p
v
＝(x,y,r)，其中x，y，r为计算的软排位位置和旋转角度，该结果在后续多模态融合中会使用。
[0023]进一步地，步骤(5)具体是：采用CNN+LSTM的方式进行目标位置的预测训练，首先对步骤(2)中的触觉信息进行复制20份的操作，然后将复制的结果进行拼接，如F＝f1+f2+
…
+f
20
，其中F为最终的拼接结果，f
i
为相同的触觉数据；
[0024]然后将触觉信息F作为LSTM模型的输入，其中Label为当前软排线位置与理想位置的X，Y轴距离及旋转角度R，当LSTM对数据处理后接两个全连接层，最后一层的全连接层输出大小为3*1，分别表示X，Y轴和R角度的预测距离，其中网络模型的损失函数函数Loss为均方误差损失，如公式如公式至此步骤可以通过触觉信息对手机软排线位姿进行预测，其结果表示为p
f
＝(Δx,Δy,Δr)。
[0025]进一步地，步骤(6)具体是：对步骤(4)和步骤(5)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于视触信息融合的手机软排线定位方法，其特征在于，通过融合视觉和触觉传感器信息，分别采用神经网络模型对手机软排线进行定位，对两个定位结果进行决策级融合，所述方法具体包括如下步骤：步骤(1)对视觉传感器数据和触觉传感器数据进行采集，并将采集到的两种数据分别进行必要的预处理，供后续深度学习模型训练使用；步骤(2)对两个模态的信息进行融合前的处理，包括视觉和触觉模态的时间空间信息对齐，视觉和触觉模态的信息分别编码；步骤(3)对步骤(2)处理后的视觉模态信息，采用单独的基于卷积神经网络的目标检测网络进行软排线定位，网络输出软排线的检测结果和检测框；步骤(4)将步骤(3)结果中的检测框进行边缘检测，并计算软排线在图像中的像素坐标位置和旋转角度，并通过手眼标定技术将图像坐标转换为机械臂空间坐标中；步骤(5)通过将步骤(2)所处理的触觉编码信息输入至深度学习的位置预测网络进行软排线目标位姿预测，该网络能够输出对软排线在机械臂空间中的预测位置；步骤(6)通过对步骤(4)和步骤(5)的定位结果进行决策级融合，采用对两个结果加权的方式进行融合，输出最终的手机软排线预测位姿。2.如权利要求1所述的基于视触信息融合的手机软排线定位方法，其特征在于，步骤(1)具体是：对视触信息进行采集和保存，对于视觉数据，采集视觉传感器1920*1080大小的图像，并对每个图像按时间戳进行命名，并以JPG格式保存RGB图像；对于触觉数据，采集触觉传感器的数据，并将每次采集的触觉信息以时间戳的格式进行命名和保存。3.如权利要求2所述的基于视触信息融合的手机软排线定位方法，其特征在于，步骤(2)具体是：将步骤(1)中的视触觉数据进行时间空间层面的对齐，对于时间层面，挑选两个模态中时间戳最接近的数据，以此完成时间对齐；而对于机械臂操作而言，采集触觉信息时会造成视觉传感器遮挡的问题，因此对于空间对齐而言，视觉数据与触觉数据通过采集的触觉信息和采集触觉前的视觉图像进行对齐至此完成多模态信息的对齐；对于对齐后的数据，对于图像数据首先需要采用双线性插值的方式将原始图片缩小至224*224大小，其中双线性插值公式为：其中双线性插值公式为：其中双线性插值公式为：其中Q
11
＝(x1,y1)，Q
12
＝(x1,y2)，Q
21
＝(x2,y1)，Q
22
＝(x2,y2)，P＝(x，y)，f函数为点的坐标值，R1和R2为对x轴插值时的中间结果，由此插值公式即可将图片缩小；对于触觉数据，选用对齐时间戳前后总共10次的数据进行平滑去噪处理，采用滑动平
均滤波进行平滑，根据公式其中F(k)代表时刻k时经过滑动平均窗口滤波后的值，k大小取值为{1,2,3
…
10}，F为进行均值处理后最终的触觉数据，经过上述步骤对视触信息进行了融合前预处理。4.如权利要求3所述的基于视触信息融合的手机软排线定位方法，其特征在于，步骤(3)具体是：采用基于卷积神经网络的YOLO v5目标检测...

【专利技术属性】
技术研发人员：黄贞平，陈金龙，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：