一种操作仪工作端移动轨迹的实时位姿估计与评估方法技术

本发明专利技术公开了一种操作仪工作端移动轨迹的实时位姿估计与评估方法，包括以下步骤：（1）为操作仪选取与设计多个特征区域，选取特征区域的中心点为操作仪的特征点；（2）在合适位置搭建平台，连接设备；（3）构建特征点检测的卷积神经网络，获取操作仪上的特征点；（4）处理特征点附近的点云数据，得到操作仪工作端的三维坐标值以及法向向量；（5）根据工作端的三维坐标值与规划的指导操作轨迹对操作仪工作端移动轨迹进行量化评估。本发明专利技术在操作仪工作端被遮挡的情况下，可以对操作仪工作过程中的位置与姿态进行实时估计；可以对操作仪的移动轨迹与指导操作轨迹进行量化评估，将其用于操作员的岗前培训和业务考核。岗前培训和业务考核。岗前培训和业务考核。

【技术实现步骤摘要】
一种操作仪工作端移动轨迹的实时位姿估计与评估方法


[0001]本专利技术属于物体空间实时位姿跟踪领域，主要涉及基于特征点检测的位姿自动跟踪，具体涉及一种操作仪工作端移动轨迹的实时位姿估计与评估方法。

技术介绍

[0002]在操作员操作仪实施作业的过程中，操作仪工作端的轨迹位姿要求通常会影响作业的质量，对作业过程中工作端位姿的实时监控和量化评估就为重要。
[0003]在实际应用中，操作仪的工作端经常会被遮挡，如操作仪工作端和作业目标接触时工作端被遮挡，因此无法通过视觉直接跟踪工作端的目标点。
[0004]另外，作业过程中工作端位姿的实时估计对关键点检测算法的效率要求很高，在主流的特征点检测算法中，输出是关于特征点的高斯热图，大量的输出参数降低了其算法的效率，如赵子昂提出的《基于卷积神经网络的精确和实时人体关键点检测算法研究及部署》论文，输出的参数为高斯热图，降低了特征点识别的效率。再如申请公布号为CN202111661938的中国专利技术专利，将深度信息输入网络进行卷积处理，减慢了位姿估计的运算速度，降低了特征点识别的效率。
[0005]因此，为了满足对操作仪工作端的实时位姿评估的需求，需要克服工作端被遮挡的问题与特征点识别算法的计算效率问题。
[0006]本专利技术因此提出了一种操作仪工作端移动轨迹的实时位姿估计与评估方法，该成果可用于评估操作员是否符合预期操作轨迹的位姿要求，以及对操作员的岗前培训和业务考核。

技术实现思路

[0007]本专利技术的目的在于克服现有技术的缺点与不足，提供操作仪工作端移动轨迹的实时位姿估计与评估方法，解决了工作端被遮挡无法定位的问题，特征点算法计算速度较慢的问题以及操作员操作质量量化问题。
[0008]本专利技术至少通过如下技术方案之一实现。
[0009]一种操作仪工作端移动轨迹的实时位姿估计与评估方法，该方法基于的操作仪工作端移动轨迹位姿估计与评估系统包括立体视觉相机、相机外连接件、工作台、指导操作轨迹、计算机、操作仪及其特征区域与工作端、操作员，其特征在于：该方法包括步骤：S1、为操作仪选取与设计多个特征区域，选取特征区域的中心点为操作仪的特征点，通过拍照与标记不同姿态下的操作仪与标记特征区域为S3的特征点检测卷积神经网络训练提供训练集；S2、在合适位置搭建平台，连接设备，立体视觉相机采集操作仪的彩色RGB与深度图像并发送到计算机；S3、构建特征点检测的卷积神经网络，将预处理后的彩色RGB图像输入特征点检测卷积神经网络，通过解码网络输出获得图像中的操作仪特征点所在的像素二维坐标值；通
过正样本匹配获得可供训练使用的正样本，构造损失函数用于回归调整卷积核系数；S4、处理特征点附近的点云数据，降低点云噪声干扰，获取在空间中操作仪各特征点的三维坐标值，计算得出操作仪工作端的三维坐标值以及法向向量；S5、根据工作端的三维坐标值与规划的指导操作轨迹对操作仪工作端移动轨迹进行量化评估。
[0010]进一步地，所述步骤S1具体包括：S11、为操作仪选取特征区域，选取特征区域的中心点为操作仪的特征点；S12、根据S11在无明显特征的情况下设计特征图案，将该图案贴至操作仪上作为特征区域，选取图案中心点为操作仪的特征点；S11、S12选择的特征区域记为，对应的特征点记为，指的是选择的特征区域的类别个数；S13、用彩色相机拍摄操作仪在不同姿态下的图片，使用中心标记法标记特征区域，并且确保在不同姿态下看见至少三个特征区域；所述中心标记法指的是用两个点作为特征区域的标记，是操作仪特征点在图像中的像素二维坐标，是操作仪特征区域的最小外接四边形的一个角在图像中的像素二维坐标，通过拍照不同姿态下的操作仪与标记特征点为S2的卷积神经网络训练提供训练集。
[0011]所述中心标记法指的是用两个点作为特征区域的标记，是操作仪特征点在图像中的像素二维坐标，是操作仪特征区域的最小外接四边形的一个角在图像中的像素二维坐标，通过拍照不同姿态下的操作仪与标记特征点为S2的卷积神经网络训练提供训练集。
[0012]进一步地，所述步骤S2具体包括：S21、采集数据开始前、将相机通过相机的外接件固定在工作台上，调整相机外接件的位置，使得相机处于最佳工作位置，即在移动操作仪的过程中既能捕捉到清晰的操作仪的图像，又使得相机获取清晰的操作仪的点云数据；S22、将RGB彩色图像与深度图像输入到计算机中。
[0013]进一步地，所述步骤S3具体包括：S31、采集的RGB彩色图像宽高为，根据图像裁剪方法将的图像裁剪为；所述图像裁剪方法，是根据上一帧识别的到的操作仪的范围对该帧的图像进行裁剪，图像裁剪的方法提高了网络计算的速度；S32、特征点检测卷积神经网络的输入大小为，选取中的最大值作为放缩的最大边界，将裁剪后的图像不失真的放缩为的宽高大小，对比网络输入大小，用RGB值为的黑色填充图像空余的部分，再将图像的RGB值以256为1进行归一化处理；S33、将放缩图像输入主干特征提取网络获取图像深层信息；
先通过Focus网络拓宽通道数，再经过四个残差网络，取后三个残差网络的输出作为加强特征提取网络的输入，以输入为为例，的大小分别为、、；S34、为了将深层信息与中层信息融合，在加强特征提取网络中，进行相互上下采样与卷积得到加强特征提取网络的输出；S35、在分类器与回归器中，使用卷积的方式将S34的输出分别卷积成大小为的，与输入的的宽高大小相同；S36、将网络输出结果进行解码，以网络输出为例，输出的定义为将原图分为个网络输出区域，网络输出区域的中心点记为；所述有四个参数：代表S1中所述特征点与的偏移系数；代表S1中所述特征区域的宽高系数；所述代表是否含有的概率；所述的层数与S1中所述特征区域的类别个数一致，其值代表中含有对应类别的概率；通过解码获得特征区域，选取特征区域的中心点，获得操作仪的特征点在彩色RGB图像中的二维坐标；S37、在网络训练过程中，通过正样本匹配方法从网络输出的大量负样本中选出可用来训练的正样本数据，再构造损失函数用于回归调整卷积核系数；所述的损失函数包括四个部分、、、：特征区域损失函数：正样本输出区域与步骤S13中标记的区域的IOU损失；特征点存在损失函数：正负样本与步骤S13中标记区域是否含有特征区域计算交叉熵损失；特征点类别损失函数：正负样本与步骤S13中标记的区域的类别计算交叉熵损失；特征点偏移损失函数：正负样本与步骤S13中标记区域中心点的欧氏距离；总损失函数计算公式如下：其中为重点损失函数系数；训练时，对构建好的特征点检测卷积神经网络设置训练的超参数和训练条件进行
网络参数训练。
[0014]进一步地，所述步骤S4具体包括：S41、基于S36获取的操作仪上目标特征点的二维坐标，通过对同一时刻获取的点云数据进行直通滤波、条件滤波、半径滤波操作处理无效点云数据，清除噪声的干扰；S42、通过深度优先搜索算法与三维映射获取操作仪上目标特征点的深度信息；S43、通过特征点的三维坐标建立坐标系；以三个特征点为一组，将靠近工作端的特征点作为空间坐标系的原点，以向量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种操作仪工作端移动轨迹的实时位姿估计与评估方法，该方法基于的操作仪工作端移动轨迹位姿估计与评估系统包括立体视觉相机、相机外连接件、工作台、指导操作轨迹、计算机、操作仪及其特征区域与工作端、操作员，其特征在于：该方法包括步骤：S1、为操作仪选取与设计多个特征区域，选取特征区域的中心点为操作仪的特征点，通过拍照与标记不同姿态下的操作仪与标记特征区域为S3的特征点检测卷积神经网络训练提供训练集；S2、在合适位置搭建平台，连接设备，立体视觉相机采集操作仪的彩色RGB与深度图像并发送到计算机；S3、构建特征点检测的卷积神经网络，将预处理后的彩色RGB图像输入特征点检测卷积神经网络，通过解码网络输出获得图像中的操作仪特征点所在的像素二维坐标值；通过正样本匹配获得可供训练使用的正样本，构造损失函数用于回归调整卷积核系数；S4、处理特征点附近的点云数据，降低点云噪声干扰，获取在空间中操作仪各特征点的三维坐标值，计算得出操作仪工作端的三维坐标值以及法向向量；S5、根据工作端的三维坐标值与规划的指导操作轨迹对操作仪工作端移动轨迹进行量化评估。2.根据权利要求1所述的操作仪工作端移动轨迹的实时位姿估计与评估方法，其特征在于：所述步骤S1具体包括：S11、为操作仪选取特征区域，选取特征区域的中心点为操作仪的特征点；S12、根据S11在无明显特征的情况下设计特征图案，将该图案贴至操作仪上作为特征区域，选取图案中心点为操作仪的特征点；S11、S12选择的特征区域记为，对应的特征点记为，指的是选择的特征区域的类别个数；S13、用彩色相机拍摄操作仪在不同姿态下的图片，使用中心标记法标记特征区域，并且确保在不同姿态下看见至少三个特征区域；所述中心标记法指的是用两个点作为特征区域的标记，是操作仪特征点在图像中的像素二维坐标，是操作仪特征区域的最小外接四边形的一个角在图像中的像素二维坐标，通过拍照不同姿态下的操作仪与标记特征点为S2的卷积神经网络训练提供训练集。3.根据权利要求1所述的操作仪工作端移动轨迹的实时位姿估计与评估方法，其特征在于：所述步骤S2具体包括：S21、采集数据开始前、将相机通过相机的外接件固定在工作台上，调整相机外接件的位置，使得相机处于最佳工作位置，即在移动操作仪的过程中既能捕捉到清晰的操作仪的图像，又使得相机获取清晰的操作仪的点云数据；S22、将RGB彩色图像与深度图像输入到计算机中。4.根据权利要求1所述的操作仪工作端移动轨迹的实时位姿估计与评估方法，其特征在于：所述步骤S3具体包括：S31、采集的RGB彩色图像宽高为，根据图像裁剪方法将的图像裁剪为；所述图像裁剪方法，是根据上一帧识别的到的操作仪的范围对该帧的图像进行裁剪，
图像裁剪的方法提高了网络计算的速度；S32、特征点检测卷积神经网络的输入大小为，选取中的最大值作为放缩的最大边界，将裁剪后的图像不失真的放缩为的宽高大小，对比网络输入大小，用RGB值为的黑色填充图像空余的部分，再将图像的RGB值以256为1进行归一化处理；S33、将放缩图像输入主干特征提取网络获取图像深层信息；先通过Focus网络拓宽通道数，再经过四个残差网络，取后三个残差网络的输出作为加强特征提取网络的输入，以输入为为例，的大小分别...

【专利技术属性】
技术研发人员：陈彦彪，翟敬梅，罗荣森，陈家骊，唐骢，
申请(专利权)人：广州纳丽生物科技有限公司，
类型：发明
国别省市：