基于SimpleBaseline的遥操作机械臂关键点的检测方法技术

本发明专利技术公开了一种基于SimpleBaseline的遥操作机械臂关键点的检测方法，涉及遥操作目标检测方法技术领域，用于检测机械臂图像中的关键点，基于视觉获取遥操作机械臂的姿态，包括如下步骤：S1、SimpleBaseline的实现：SimpleBaseline是二维人体关键点检测网络，整个网络的是由主干网络ResNet与3个负责上采样将分辨率恢复的转置卷积组成；S2、SimpleBaseline主干网络轻量化：轻量级的卷积网络从卷积运算去优化；S3、基于姿态蒸馏的轻量化SimpleBaseline：寻找一个合适的姿态知识迁移函数实现优化。本发明专利技术研究了基于SimpleBaseline的遥操作机械臂二维关键点检测算法，并在此基础上进行了主干网络轻量化来提高模型的实时性。针对上采样模块存在冗余性的问题，对转置卷积模块进行通道压缩以及姿态蒸馏来进一步提高模型的实时性。蒸馏来进一步提高模型的实时性。蒸馏来进一步提高模型的实时性。

【技术实现步骤摘要】
基于SimpleBaseline的遥操作机械臂关键点的检测方法


[0001]本专利技术涉及一种遥操作目标检测方法，尤指一种基于SimpleBaseline的遥操作机械臂关键点的检测方法。

技术介绍

[0002]遥操作系统是很多大科学装置的重要组成部分。考虑辐射对人的影响，大科学装置的热室需要部署由操作人员进行遥操作的动力机械臂完成相应部件的检查、装配、拆卸、运输、修复等操作。由于热室的辐射环境限制了相关传感器的接入，遥操作机械臂位置姿态信息的获取大多基于热室里布置的多个防辐射摄像头，由操作人员观察获得。这种通过频繁切换视角获取遥操作机械臂位置姿态信息的方式影响操作员遥操作的效率。如何基于视觉获取遥操作机械臂的姿态，是热室遥操作要解决的重要问题。为了掌握遥操作机械臂的姿态信息，需要先对机械臂图像中的关键点进行检测。

技术实现思路

[0003]针对上述提出的为了掌握遥操作机械臂的姿态信息，本专利技术旨在基于SimpleBaseline训练出一个遥操作机械臂关键点的检测模型，同时引入轻量级的主干网络并且通过姿态蒸馏对网络上采样模块的转本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于SimpleBaseline的遥操作机械臂关键点的检测方法，其特征在于：所述的检测方法通过以下步骤实现：S1、SimpleBaseline的实现：SimpleBaseline是二维人体关键点检测网络，整个网络的是由主干网络ResNet与3个负责上采样将分辨率恢复的转置卷积组成；S2、SimpleBaseline主干网络轻量化：轻量级的卷积网络从卷积运算去优化；S3、基于姿态蒸馏的轻量化SimpleBaseline：寻找一个合适的姿态知识迁移函数实现优化。2.根据权利要求1所述的基于SimpleBaseline的遥操作机械臂关键点的检测方法，其特征在于：所述的转置卷积首先根据卷积核参数在输入特征图的元素间填充0，然后将卷积核参数进行上下、左右翻转，最后进行正常的卷积运算。3.根据权利要求1所述的基于SimpleBaseline的遥操作机械臂关键点的检测方法，其特征在于：S1中运用Pytorch框架进行模型训练，迭代次数为140代，优化器采用adam，初始学习率设置为0.001，迭代次数达到50代时下降10倍。4.根据权利要求1所述的基于SimpleBaseline的遥操作机械臂关键点的检测方法，其特征在于：在S2中使用轻量级网络MobileNetv1、MobileNetv2、MobileNetv3、ShuffleNetv2对主干网络进行轻量化。5.根据权利要求4所述的基于SimpleBaseline的遥操作机械臂关键点的检测方法，其特征在于：使用ShuffleNetv2对主干网络进行轻量化时，首先将输入特征图通过通道分离将分成两组通道，其中一个分支的结构保持不变，另外一个分支减少了通道混洗操作，同时令输入通道数与输出通道数相等；两个分支进行通道堆叠从而保持通道数不变；通道堆叠完成以后进行通道混洗来保证两个分支的信息交流。6.根据权利要求4所述的基于SimpleBaseline的遥操作机械臂关键点的检测方法，其特征在于：使用MobileNetv2对主干网络进行轻量化时，引入倒残差块，首先输入的特征图通过逐点卷积进行通道升维，再经过大小为3
×...

【专利技术属性】
技术研发人员：邱鸿华，郭建文，黄元宝，邓夏雨，伍逸轩，黄嘉乐，殷丰伍，
申请(专利权)人：东莞理工学院，
类型：发明
国别省市：