一种自动瞄准目标的机器人视觉系统控制方法，属于计算机视觉、嵌入式开发技术领域，首先标定工业相机，得到相机的内参矩阵和畸变参数，测量物体的尺寸，得到物体在世界坐标系中的坐标，通过PnP算法求得yaw轴、pitch轴以及距离的数值，通过目标在相机坐标系下的坐标获得目标在陀螺仪坐标系下的坐标，将自身机器人的运动与目标的运动叠加在一起，即可构建物理模型进行预判打击。本发明专利技术解决了机器人在面对高速移动的目标识别锁定问题，并对目标进行运动追踪和运动预测。本发明专利技术的工业相机图像分辨率为640*480，装甲板识别帧率可达200fps左右，引入ROI之后可达280fps，数字识别准确率可达98％。使用标定板测试，5m内角度解算计算的距离误差在6％以内，角度误差在5％以内。角度误差在5％以内。角度误差在5％以内。
【技术实现步骤摘要】
一种自动瞄准目标的机器人视觉系统控制方法
[0001]本专利技术属于计算机视觉、嵌入式开发
，具体涉及一种自动瞄准目标的机器人视觉系统控制方法。
技术介绍
[0002]视觉跟踪技术是计算机视觉领域的一个重要课题，有着重要的研究意义；且在军事制导、视频监控、机器人视觉导航、人机交互、以及医疗诊断等许多方面有着广泛的应用前景。但目前主流的视觉跟踪技术面临着遮挡、形变、运动模糊等难题，难以满足实际应用中复杂情景的要求，例如目标被遮挡会导致目标丢失、形变、运动模糊会导致无法追踪目标等等。本专利技术通过拓展卡尔曼滤波算法和改进 PnP3D到2D点对的物体运动定位算法，并且根据目标位置进行实时的ROI图像感兴趣区域处理，可以解决目标部分遮挡、目标高速运动产生的图像模糊和拖尾等问题。
技术实现思路
[0003]为了解决上述存在的问题，本专利技术提出：一种自动瞄准目标的机器人视觉系统控制方法，基于计算机视觉技术，通过单目工业相机使机器人在面对高速移动的目标识别锁定，并对目标进行运动追踪和运动预测，包括如下步骤：
[0004]S1、对采集的图片先进行ROI处理；
[0005]S2、对初步处理的图片进行轮廓的提取，对所有的轮廓迭代进行初步的筛选，筛掉长宽比大于1.4并小于2.1的矩形，并且让这些矩形进入疑似圆心矩形动态数组，之后筛掉面积过小的矩形，去掉二值化区域中的小噪点；
[0006]S3、对上一步得到的疑似圆心矩形迭代，根据面积、长宽比和 SVM进行筛选；
[0007]S4、对步骤S2中筛出来的矩形集再次进行迭代，此时根据嵌套和各种矩形的形态学特征对这些矩形进行分组操作，每一个组是一个结构体，为已打击和待打击的悬臂的集合，每个结构体包括装甲板矩形、悬臂矩形和内嵌数目三个成员；
[0008]S5、选出识别到的最终矩形后，根据识别到的圆心缩放得到下一帧的有效矩形，并且对最终矩形和圆心坐标进行ROI还原；如果当前帧没有识别到圆心，则不断扩大ROI面积进行搜索，直到扩大为整张图片；
[0009]S6、在解算过程中，先根据目标矩形中心和圆心连线的角度变化来判断旋转方向，得知旋转方向后求解需要预置的角度，对于旋转目标，首先获取实时角速度，并且对刚开始40帧进行正弦函数拟合，再根据延迟时间求解积分作为预置角度，得出预置角度后对目标矩形的四个点相应的平移并放入PNP解算中进行解算，最终得出数据发送给下位机；
[0010]S7、在下位机接收到数据后，对数据进行处理，并将数据通过比例、积分、微分控制算法PID，输入偏差err，设定调节比例kp、积分Ti、微分Td的值，通过PID计算公式
[0011][0012]计算出自身与目标之间的差值U(t)，把差值与云台自身的目标角度进行加和，将加和得到的值作为期望值再次通过PID计算得到云台跟随目标所需要转动的角度，最总实现对目标的的跟随。
[0013]进一步地，所述步骤S1中，根据上一帧预置的一个矩形范围进行合理的缩放来对图片进行ROI的截取，根据不同的颜色进行不同的 hsv阈值处理，并且进行(5,5)的卷积对图像进行闭运算操作，完成二值化处理。
[0014]进一步地，首先运行系统，对工业相机进行初始化，通过相机的 SDK设置曝光度、图像分辨率、图像格式、图像通道；
[0015]通过C++thread库创建线程，共创建三个线程：处理线程对图像进行处理，通信线程负责上位机与下位机进行通信交互，主线程是系统的核心运行过程；
[0016]在主线程通过相机的内参和外参对相机进行标定，采集图像传输到处理线程，在处理线程先对图像进行预处理，进行颜色提取来检测红/蓝灯条，对颜色提取二值图进行形态学处理，用于图像降噪及灯条区域的闭合，通过判断两个灯条之间的位置信息：角度差大小、错位角大小、灯条长度差比率和X,Y方向投影差比率，从而分辨是否为合适的目标，然后将所有判断为合适的装甲板放入预选目标数组向量中；
[0017]对上述各项目标信息进行加权求和，从而获取最佳打击装甲板作为最终的目标装。
[0018]进一步地，角度解算：首先标定工业相机，得到相机的内参矩阵和畸变参数，测量物体的尺寸，得到物体在世界坐标系中的坐标，通过PnP算法求得yaw轴、pitch轴以及距离的数值。
[0019]进一步地，目标预测：通过目标在相机坐标系下的坐标获得目标在陀螺仪坐标系下的坐标，陀螺仪坐标系的原点跟随自身机器人运动，此时视原点静止，将自身机器人的运动与目标的运动叠加在一起，即可构建物理模型进行预判打击。
[0020]进一步地，数据处理：在预判打击的过程中肯定要进行数据处理来对抗数据误差，在获得陀螺仪坐标系下的坐标后，先进行数据剔除与插值，即剔除明显错误的数据并用上一次正确的数据做插值，在完成初步处理后，对数据进行卡尔曼滤波，保证数据平滑正确，然后再进行目标运动状态的计算。
[0021]本专利技术的有益效果为：本专利技术在使用工业相机640*480图像分辨率下，装甲板识别帧率可达200fps左右，引入ROI之后可达280fps，数字识别准确率可达98％。使用标定板测试，5m内角度解算计算的距离误差在6％以内，角度误差在5％以内。
附图说明
[0022]图1为本专利技术的总框架流程图；
[0023]图2为本专利技术的识别追踪流程图；
[0024]图3为本专利技术的颜色识别算法图；
[0025]图4为本专利技术的形态学操作算法图；
[0026]图5为本专利技术的姿态解算算法图；
[0027]图6为本专利技术的目标预测算法图；
[0028]图7为本专利技术的立体结构示意图；
[0029]图8为本专利技术的侧视图；
[0030]图9为本专利技术的仰视图；
[0031]图10为本专利技术的轮组结构示意图；
[0032]图11为本专利技术的轮组的局部示意图；
[0033]图12为本专利技术的拨弹装置的结构示意图；
[0034]图13为本专利技术拨弹装置的后视图；
[0035]图14为本专利技术弹仓的结构示意图；
[0036]图15为本专利技术拨弹装置的枪管剖面视图；
[0037]图16为本专利技术摩擦轮的结构示意图；
[0038]图17为本专利技术云台pitch轴俯仰的局部示意图；
[0039]图18为本专利技术云台yaw轴360度旋转的局部示意图；
[0040]图19为本专利技术云台yaw轴360度旋转的局部结构图；
[0041]图20为本专利技术云台的主视图；
[0042]图21为本专利技术云台的右视图；
[0043]图22为本专利技术云台的俯视图。
具体实施方式
[0044]实施例1
[0045]一种自动瞄准目标的机器人视觉系统控制方法，基于计算机视觉方法，通过单目工业相机使机器人在面对高速移动的目标识别锁定，并对目标进行运动追踪和运动预测，包括如下步骤：S1、对采集的图片先进行ROI处理；
[0046]S2、对初步处理的图本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种自动瞄准目标的机器人视觉系统控制方法，其特征在于，基于计算机视觉方法，通过单目工业相机使机器人在面对高速移动的目标识别锁定，并对目标进行运动追踪和运动预测，包括如下步骤：S1、对采集的图片先进行图像感兴趣区域ROI处理；S2、对初步处理的图片进行轮廓的提取，对所有的轮廓迭代进行初步的筛选，筛掉长宽比大于1.4并小于2.1的矩形，并且让这些矩形进入疑似圆心矩形动态数组，之后筛掉面积过小的矩形，去掉二值化区域中的小噪点；S3、对上一步得到的疑似圆心矩形迭代，根据面积、长宽比和支持向量机SVM进行筛选；S4、对步骤S2中筛出来的矩形集再次进行迭代，此时根据嵌套和各种矩形的形态学特征对这些矩形进行分组操作，每一个组是一个结构体，为已打击和待打击的悬臂的集合，每个结构体包括装甲板矩形、悬臂矩形和内嵌数目三个成员；S5、选出识别到的最终矩形后，根据识别到的圆心缩放得到下一帧的有效矩形，并且对最终矩形和圆心坐标进行ROI还原；如果当前帧没有识别到圆心，则不断扩大ROI面积进行搜索，直到扩大为整张图片；S6、在解算过程中，先根据目标矩形中心和圆心连线的角度变化来判断旋转方向，得知旋转方向后求解需要预置的角度，对于旋转目标，首先获取实时角速度，并且对刚开始40帧进行正弦函数拟合，再根据延迟时间求解积分作为预置角度，得出预置角度后对目标矩形的四个点相应的平移并放入PNP解算中进行解算，最终得出数据发送给下位机；S7、在下位机接收到数据后，对数据进行处理，并将数据通过比例、积分、微分控制算法PID，输入偏差err，设定调节比例kp、积分Ti、微分Td的值，通过PID计算公式计算出自身与目标之间的差值U(t)，把差值与云台自身的目标角度进行加和，将加和得到的值作为期望值再次通过PID计算得到云台跟随目标所需要转动的角度，最总实现对目标的的跟随。2.根据权利要求1所述的自动瞄准目标的机器人视觉系统控制方法，其特征在于，所述步骤S1中，根据上一帧预置的一个矩形范围进行合理的缩放来对图片进行ROI的截取，根据不同的颜色进行不同的颜色空间hsv...
【专利技术属性】
技术研发人员：蓝健，卓明玉，何东辉，覃航，贾增辉，操火梁，赵泓森，王昊杰，
申请(专利权)人：大连大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。