一种三驱动机械臂的视觉跟随系统技术方案

本发明专利技术提供一种三驱动机械臂的视觉跟随系统，包括三个部分——上位机视觉识别部分、上位机和下位机通讯部分以及下位机驱动控制部分。所提供的一种三驱动机械臂的视觉跟随系统的特征是上位机视觉识别基于卷积的频域滤波方式，预测目标在下一帧可能出现的位置，主要应用最小输出均方误差和MOSSE算法，提取目标位置变化坐标，发送给下位机；上位机和下位机通讯部分应用zigbee通讯实现；下位机通过zigbee接收上位机的命令并给驱动器发送指定的十六进制代码依此驱动对应的电机，组合完成机械臂的跟随动作。

A vision following system of three drive manipulator

【技术实现步骤摘要】
一种三驱动机械臂的视觉跟随系统
本专利技术涉及一种视觉跟随系统，特别是涉及一种机械臂的视觉跟随系统。
技术介绍
机器视觉是人工智能不可分割的重要组成部分，随着人工智能的发展而发展。机器视觉是指使用光学非接触式感应设备接收真实场景的图像以获得信息，从而控制机器或流程。机器视觉经常与自动化控制设备进行系统集成,共同完成具有事物识别与判断的较为复杂的控制任务，而基于机器视觉的机械臂跟随系统在工业机器人的作业、机械臂的抓取等领域起了很大的决定性作用，尤其是高精度、高质量、多批量的生产过程中需要有足够高的精度去完成相应的任务；所以基于机器视觉的机械臂跟随系统对机器的工作效率有很大的影响，又或对于特种设备的生产来说，此系统可以大大减轻人工控制的工作量，大大提高工作精度。目前对于现有的基于机器视觉的机械臂驱动系统，在使用过程中，其跟随效果欠佳，传统的跟随系统只是简单的图像识别跟随，精度差且其局限性大，无法适宜不同的地点环境使用。由于传统的三维定位技术是通过获取目标的精确三维坐标，进而建立目标的三维坐标系，但是在实际生活中，物体由于外力因素会发生抖动或本文档来自技高网...

【技术保护点】
1.一种三驱动机械臂的视觉跟随系统，其特征在于，包括三个部分——上位机视觉识别部分、上位机和下位机通讯部分以及下位机驱动控制部分：/n(1)该系统的上位机视觉识别系统采用相关滤波的思想，应用卷积定理对摄像头所采集的图像进行处理，通过寻找MOSSE滤波器的目标函数，求其封闭解，并更新峰值坐标来实现目标追踪，这样就形成了视觉识别程序，分别提取更新后的位置坐标X

【技术特征摘要】
1.一种三驱动机械臂的视觉跟随系统，其特征在于，包括三个部分——上位机视觉识别部分、上位机和下位机通讯部分以及下位机驱动控制部分：
(1)该系统的上位机视觉识别系统采用相关滤波的思想，应用卷积定理对摄像头所采集的图像进行处理，通过寻找MOSSE滤波器的目标函数，求其封闭解，并更新峰值坐标来实现目标追踪，这样就形成了视觉识别程序，分别提取更新后的位置坐标X1和Y1，与中心坐标(300，100)进行比较，并得出结果，输出至下位机，得出机械臂的运动轨迹；
(2)对于下位机的电机驱动，在微处理器中配置寄存器编写读写驱动器函数，通过RS485串口完成驱动器与微处理器间的通讯，并通过编码器向微处理器实时反馈机械臂当前位置信息；读写驱动器函数通过改变寄存器中标志位的状态来达到控制的目的；具体实施为，接收上位机指令后通过写驱动器函数按位将MODBUS协议写入寄存器，并通过串口将其发送给驱动器，主机通过MODBUS的读写寄存器功能来设置驱动器参数和控制运行。


2.根据权利要求1所述的一种三驱动机械臂的视觉跟随系统，其特征在于：在摄像头获取到视频图像后，在视频中选取所要跟踪的目标，然后对选定后采集到的第一帧进行高斯滤波，将图像和滤波器映射到拓扑结构上，边界采用循环图像的方式填充，即将图像的左边缘连接到右侧边缘，将顶部连接到底部，最后采用点乘余弦窗处理，使图像边缘变为零。


3.根据权利要求1所述的一种三驱动机械臂的视觉跟随系统，其特征在于：在MOSSE中通过最小化卷积的实际输出和卷积的期望输出之间的平方误差之和来得到所需的滤波器，进而对第i帧图像进行处理。


4.根据权利要求1所述的一种三驱动机械臂的视觉跟随系统，其特征在于：引入一个学习效率的参量η表示不同时序的帧的权重，学习效率参量使得时序离当前帧越近的帧所占权重越大，之前的帧的学习结果随时间呈指数递减，随着时序的变化，η的变化范围为：0～1。


5.根据权利要求1所述的一种三驱动机械臂的视觉跟随系统，其特征在于：得到目标最大响应后，提取对应的最大响应为新目标坐标，分别提取更新后的位置坐标X1和Y1，并与中心坐标(300，100)进行比较，设x的值在290～310之间时为横向抖动区间，即当所选目标最终的x值在这个区间内时，则视为机械臂的横向抖动，向下位机发送0X11；X1>310时，向下位机发送0X10；当X1<290时，向下位机发送0X09；
设y值在90～110之间时为纵向抖动区间，即当所选目标最终的y值在这个区间内时，则视为纵向臂的纵向抖动，向下位机发送0X08；Y1>110时，向下位机发送0X07；当Y1<110时，向下位机发送0X06；
三个电机的空间位置已给出，且第一电机为机械臂的伸缩电机，用于控制机械臂的伸长与收回；第二电机为机械臂的俯仰电机，控制机械臂的抬升与下沉；第三电机为机械臂的回转电机，用于调整机械臂的左右摆动，通过驱动三个电机，完成机械臂空间位置的调整，从而实现跟随功能；
0x06：恒速向下2号电机恒速正转；
0x07：恒速向上2号电机恒速反转；
0x08：停止2号电机锁死停止；
0x09：恒速向右3号电机恒速正转；
0x10：恒速向左3号电机恒速反转；
0x11：停止3号电机锁死停止。


6.根据权利要求1所述的一种三驱动机械臂的视觉跟随系统，其特征在于：确定一个目标就是找到一个滤波器h，使其在目标上的响应最大；f表示训练图像，g表示输出图像，h表示滤波器，F、G、H分别对应其频域值；通过时域和频域公式推导出目标H的计算值，完成时域的卷积与频域卷积的转换；以滤波器的目标函数求得H的封闭解并更新MOSSE；调用python相应库函数以产生高斯形状的理想响应、求得目标框区域和滤波器卷积得到响应值并提取相应最大值为新目标位置，更新位置坐标新目标为中心选择目标，...

【专利技术属性】
技术研发人员：张雷雨，王洪刚，杨斯钦，雷杨浩，张得阳，彭程，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11