一种基于视觉识别的辅助抓取方法技术

本发明专利技术涉及机械臂领域，尤其涉及一种基于视觉识别的辅助抓取方法，包括以下步骤；搭建深度学习框架及网络架构；采集线路图像信息；根据采集到的信息进行训练识别；利用摄像头捕捉目标路段图像信息；对获取的图像进行分析；获取待处理线路的图像及位置信息；利用超声波测距模块测算与目标物体距离；向机械臂发送抓取指令；机械臂的电机驱动机械臂运动；抓取目标物体。本发明专利技术通过无人机辅助机械臂的方法清除，清理时间很短，且通过深度学习框架，训练后，达到使得障碍物的识别抓取更精准的有益效果。

An Auxiliary Grabbing Method Based on Visual Recognition

【技术实现步骤摘要】
一种基于视觉识别的辅助抓取方法
本专利技术涉及机械臂领域，尤其涉及一种基于视觉识别的辅助抓取方法。
技术介绍
多输电架空线路位于野外山区丛林内，悬挂在电线上的杂物与过长的树枝，造成输电线路对植物放电跳闸，影响电网运行。使用无人机辅助机械臂的方法清除线路飘挂物、干扰树枝等，既缩短了消缺时间，也大大降低了工作的劳动强度。而且，清理时间很短，对线路本体不造成任何损伤。本专利技术主要提供一种使用无人机辅助机械臂清除障碍物的方法。
技术实现思路
本专利技术目的是提供一种基于视觉识别的辅助抓取方法，本专利技术通过无人机辅助机械臂的方法清除，清理时间很短，且通过深度学习框架，训练后，达到使得障碍物的识别抓取更精准的有益效果。一种基于视觉识别的辅助抓取方法，包括以下步骤；1)搭建深度学习框架及网络架构；2)采集线路图像信息；3)根据采集到的信息进行训练识别；4)利用摄像头捕捉目标路段图像信息；5)对获取的图像进行分析；6)获取待处理线路的图像及位置信息；7)利用超声波测距模块测算与目标物体距离；8)向机械臂发送抓取指令；9)机械臂的电机驱动机械臂运动；10)抓取目标物体。进一步的，采集线路图像信息，包括采集正常图像信息，比如采集架空线路直行处、拐弯处、交越处、终点处的图像；还包括采集异常线路信息，比如线路上面的异常物体。进一步的，根据采集到的信息进行训练识别之后，还包括获得识别模型及抓取模型。。进一步的，在利用摄像头捕捉目标路段图像信息之前，还包括进行GPS定位,进行航向控制。进一步的，在机械臂的电机驱动机械臂运动之后，还包括，将机械臂的抓取关节微调至最佳抓取位置。进一步的，在抓取目标物体之后，还包括记录本次图像识别信息，并利用该信息进行识别深度学习训练。进一步的，记录本次图像识别信息之后，还包括记录机械臂抓取信息，并利用该抓取信息进行抓取深度学习训练。进一步的，将机械臂的抓取关节微调至最佳抓取位置之前，还包括机械臂轨迹跟踪。进一步的，在利用超声波测距模块测算与目标物体距离之前，还包括下达无线传输指令与处理任务指令。本专利技术目的是提供一种基于视觉识别的辅助抓取方法及系统，与现有技术相比，有以下优点：1、利用深度学习框架，并训练后，使得障碍物的识别抓取更精准；2、每次抓取目标物体后，记录信息，可以作为查询依据，也可做为训练的依据；附图说明图1是本专利技术一种基于视觉识别的辅助抓取方法流程示意图1；图2是本专利技术一种基于视觉识别的辅助抓取方法流程示意图2；具体实施方式为了使本专利技术的目的.技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步的详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。实施用例一如图1所示，图1是本专利技术一种基于视觉识别的辅助抓取方法流程示意图1。一种基于视觉识别的辅助抓取方法，包括以下步骤；步骤S101,搭建深度学习框架及网络架构；步骤S102，采集线路图像信息；步骤S103，根据采集到的信息进行训练识别；步骤S104，利用摄像头捕捉目标路段图像信息；步骤S105，对获取的图像进行分析；步骤S106，获取待处理线路的图像及位置信息；步骤S107，利用超声波测距模块测算与目标物体距离；步骤S108，向机械臂发送抓取指令；步骤S109，机械臂的电机驱动机械臂运动；步骤S110，抓取目标物体。实施用例二如图2所示，图2是本专利技术一种基于视觉识别的辅助抓取方法流程示意图2。步骤S201,搭建深度学习框架及网络架构；采用caffe深度学习框架和Faster-RCNN网络架构，但不限于使用此深度学习方法及此此网络架构；像加州伯克利分校的Caffe、蒙特利尔理工学院的Theano、瑞士人工智能实验室IDSIA的Brainstorm、是普林斯顿大学Marvin等任一都可以作为此深度学习的框架；像SSD、Faster-RCNN等可以作为此建模的一个网络架构。步骤S202，基于深度学习框架及网络架构,根据采集到的信息进行训练识别,训练得到识别模型；采集多组不同场景下线路图像信息,包括采集正常图像信息，比如采集架空线路直行处、拐弯处、交越处、终点处的正常图像；还包括采集异常线路信息，比如线路上面的异常物体等的图像；根据采集到的信息进行深度学习，训练识别,输出各特征点；设置各项特征点，平原、丘陵等不同环境下线路高度、形状、粗细特征点；拐弯、交越、终点不同形态下的高度、形状、粗细等特征点；训练后得到识别模型。步骤S203，基于深度学习框架及网络架构,进行抓取训练,得到抓取模型；根据采集到的信息进行深度学习，训练识别,输出各特征点；设置各项特征点，各机械臂关节与目的物的水平距离、垂直距离、关节水平移动距离、关节垂直移动距离、抓取的强度等；训练后得到抓取模型。步骤S204，进行GPS定位，进行航向控制；无人机得到指令后，根据目标任务，进行GPS定位，控制航向到达目的位置。步骤S205，利用摄像头捕捉目标路段图像信息；到达目的位置后，通过机械臂上的摄像头拍摄目标路段图像信息。步骤S206,获取待处理线路的图像及位置信息。步骤S207，对获取的图像进行分析；通过识别模块获取图像特征信息；识别模型分析后识别出线路是正常还是异常，如果是正常的，继续下个目标任务，如果是异常的，进入下个处理流程。步骤S208，下达无线传输指令与处理任务指令；如果是异常信息，下达无线传输指令与处理任务指令。步骤S209，利用超声波测距模块测算与目标物体距离；接收到处理任务指令后，利用超声波测距模块测算与目标物体距离。步骤S210，向机械臂发送抓取指令；无人机向机械臂发送抓取指令。步骤S211，机械臂的电机驱动机械臂运动；根据采集到的距离信息进行，依据抓取模型，机械臂的电机驱动机械臂运动。步骤S212，机械臂轨迹跟踪；记录下机械臂关节移动轨迹。步骤S213，将机械臂的抓取关节微调至最佳抓取位置；将机械臂的抓取关节微调至最佳抓取位置，抓取模型通过训练可以得到在哪个位置抓取是最佳位置。步骤S214，抓取目标物体；依据抓取模型的结果，实施抓取，并将抓取到的物体，如树枝等异物从线路上移除。步骤S215，记录本次抓取结果；抓取成功，录入抓取成功信息库；抓取失败，录入抓取失败信息库；同时拍照为证。步骤S216，记录本次图像识别信息，并利用该信息进行识别深度学习训练。步骤S217，记录机械臂抓取信息，并利用该抓取信息进行抓取深度学习训练。步骤S218，反馈本次抓取任务完成情况给任务发布方；抓取任务完成后，将线路清理完成情况反馈给任务发布者，完成本次任务。本专利技术目的是提供一种基于视觉识别的辅助抓取方法及系统，本专利技术通过无人机辅助机械臂的方法清除，清理时间很短，且通过深度学习框架，训练后，达到使得障碍物的识别抓取更精准的有益效果。以上所述仅为本专利技术的较佳实施例而已，并不用以限制本专利技术，凡在本专利技术的精神和原则之内所作的任何修改.等同替换和改进等，均应包含在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种基于视觉识别的辅助抓取方法，其特征在于，包括以下步骤；1)搭建深度学习框架及网络架构；2)采集线路图像信息；3)根据采集到的信息进行训练识别；4)利用摄像头捕捉目标路段图像信息；5)获取待处理线路的图像及位置信息；6)对获取的图像进行分析；7)利用超声波测距模块测算与目标物体距离；8)向机械臂发送抓取指令；9)机械臂的电机驱动机械臂运动；10)抓取目标物体。

【技术特征摘要】
1.一种基于视觉识别的辅助抓取方法，其特征在于，包括以下步骤；1)搭建深度学习框架及网络架构；2)采集线路图像信息；3)根据采集到的信息进行训练识别；4)利用摄像头捕捉目标路段图像信息；5)获取待处理线路的图像及位置信息；6)对获取的图像进行分析；7)利用超声波测距模块测算与目标物体距离；8)向机械臂发送抓取指令；9)机械臂的电机驱动机械臂运动；10)抓取目标物体。2.根据权利要求1所述的一种基于视觉识别的辅助抓取方法，其特征在于，采集线路图像信息，包括采集正常图像信息，比如采集架空线路直行处、拐弯处、交越处、终点处的图像；还包括采集异常线路信息，比如线路上面的异常物体。3.根据权利要求1所述的一种基于视觉识别的辅助抓取方法，其特征在于，根据采集到的信息进行训练识别之后，还包括获得识别模型及抓取模型。4.根据权利要求1所述的一种基于视觉识别的辅助抓取方法，其特征在于，在利用摄像头捕捉...

【专利技术属性】
技术研发人员：吴怀静，刘静霞，王自尧，
申请(专利权)人：华北水利水电大学，
类型：发明
国别省市：河南,41