一种云台视觉控制系统以及控制方法技术方案

本发明专利技术公开了一种云台视觉控制系统以及控制方法，控制方法包括获取环境信息，得到视觉图像；从视觉图像中识别待测目标；计算待测目标在相机坐标系中的三维坐标；根据待测目标在相机坐标系中的三维坐标，计算视觉控制角度；计算待测目标在地面坐标系中的三维坐标；根据待测目标在地面坐标系中的三维坐标，计算预测补偿角度；根据视觉控制角度以及预测补偿角度，利用基于模糊控制算法控制云台电机。本技术方案在对云台电机进行控制时，参考了结合待测目标在地面坐标系中的三维坐标以及陀螺仪检测数据得到的待测目标的偏航角预测补偿值以及俯仰角预测补偿值，从而提高了运行系统响应的速度以及控制的精准度。

A vision control system and control method for PTZ

【技术实现步骤摘要】
一种云台视觉控制系统以及控制方法
本专利技术涉及机器视觉
，更具体地说涉及一种云台视觉控制系统以及控制方法。
技术介绍
随着目标检测技术特别是卷积深度神经网络的迅猛发展，视觉系统更具智能和鲁棒性，计算机视觉可解决的任务更加复杂多样，应用领域更加广泛。具有追踪功能的视觉系统，可应用在可移动机器人的云台控制中，用于检测动态目标。视觉追踪技术在一步步走向成熟，逐渐成为现代机器人的核心技术，应用于机器人竞赛、采摘系统、手持云台系统和无人机等领域。传统的云台视觉系统，所采用的视觉追踪方法仅使用二维的目标检测，以目标与云台机构的偏差作为控制数值，或者使用绝对坐标作为控制数值，两种方法都不能兼备快速响应和稳定的特性，无法很好的应用在变视场随机动态目标追踪上。
技术实现思路
本专利技术目的在于提供一种云台视觉控制系统以及控制方法，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。为解决上述技术问题所采用的技术方案：一种云台视觉系统的控制方法，包括以下步骤：步骤100，获取环境信息，得到视觉图像，并对所述视觉图像进行预处理；步骤200，从所述视觉图像中识别待测目标；步骤300，建立相机坐标系，计算所述待测目标在所述相机坐标系中的三维坐标；步骤400，根据所述待测目标在所述相机坐标系中的三维坐标，计算视觉控制角度，所述视觉控制角度包括待测目标相对于相机坐标系的偏航角和俯仰角；步骤500，建立地面坐标系，计算所述待测目标在所述地面坐标系中的三维坐标；步骤600，根据所述待测目标在所述地面坐标系中的三维坐标，计算预测补偿角度，所述预测补偿角度包括待测目标的偏航角预测补偿值以及俯仰角预测补偿值；步骤700，根据所述视觉控制角度以及所述预测补偿角度，利用基于模糊控制算法控制云台电机。作为上述技术方案的进一步改进，所述步骤100中，对所述视觉图像进行预处理包括对所述视觉图像先后进行二值化处理、噪声滤除处理以及开运算处理。作为上述技术方案的进一步改进，所述步骤200包括对所述视觉图像进行边缘检测操作以及特征筛选操作，得到待测目标，并输出所述待测目标在所述视觉图像中的投影坐标。作为上述技术方案的进一步改进，所述步骤300包括：步骤310，根据所述待测目标在所述视觉图像中的投影坐标，通过公式计算旋转矩阵R3×3以及偏移向量t3×1，其中z表示缩放尺寸，表示待测目标在视觉图像中的投影坐标，表示内参矩阵，属于图像采集装置的固定参数，表示物体坐标系中的齐次坐标；步骤320，根据得到的旋转矩阵R3×3以及偏移向量t3×1，通过公式计算待测目标在所述相机坐标系中的三维坐标作为上述技术方案的进一步改进，所述步骤400包括通过公式计算待测目标相对于相机坐标系的俯仰角pitch，通过公式计算待测目标相对于相机坐标系的偏航角yaw。作为上述技术方案的进一步改进，所述步骤500包括：步骤510，建立地面坐标系，读取陀螺仪的偏航角数值以及俯仰角数值；步骤520，根据公式计算待测目标在地面坐标系中的三维坐标，其中α表示陀螺仪的偏航角数值，β表示陀螺仪的俯仰角数值，表示待测目标在相机坐标系中的三维坐标。作为上述技术方案的进一步改进，步骤600包括：步骤610，利用最小二乘法二次拟合得到待测目标在地面坐标系中的预测坐标；步骤620，计算待测目标的偏航角预测补偿值以及俯仰角预测补偿值，俯仰角预测补偿值为偏航角预测补偿值为其中Sp表示俯仰角比例系数，Sy表示偏航角比例系数，Px和Py表示步骤610中待测目标在地面坐标系中的预测坐标。本专利技术同时还公开了一种云台视觉系统，包括：图像采集模块，用于获取环境信息，得到视觉图像；预处理模块，用于对所述视觉图像进行预处理操作；识别模块，用于从所述视觉图像中识别待测目标；第一坐标计算模块，用于建立相机坐标系，计算所述待测目标在所述相机坐标系中的三维坐标；第一角度计算模块，用于根据所述待测目标在所述相机坐标系中的三维坐标，计算视觉控制角度，所述视觉控制角度包括待测目标相对于相机坐标系的偏航角和俯仰角；第二坐标计算模块，用于建立地面坐标系，计算所述待测目标在所述地面坐标系中的三维坐标；第二角度计算模块，用于根据所述待测目标在所述地面坐标系中的三维坐标，计算预测补偿角度，所述预测补偿角度包括待测目标的偏航角预测补偿值以及俯仰角预测补偿值；控制模块，用于根据所述视觉控制角度以及所述预测补偿角度，利用基于模糊控制算法控制云台电机。本专利技术的有益效果是：本技术方案在对云台电机进行控制时，参考了结合待测目标在所述地面坐标系中的三维坐标以及陀螺仪检测数据得到的待测目标的偏航角预测补偿值以及俯仰角预测补偿值，从而提高了运行系统响应的速度以及控制的精准度。附图说明下面结合附图和实施例对本专利技术做进一步的说明；图1是本专利技术控制方法的流程示意图。具体实施方式本部分将详细描述本专利技术的具体实施例，本专利技术之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本专利技术的每个技术特征和整体技术方案，但其不能理解为对本专利技术保护范围的限制。在本专利技术的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。在本专利技术的描述中，如果具有“若干”之类的词汇描述，其含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。本专利技术的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属
技术人员可以结合技术方案的具体内容合理确定上述词语在本专利技术中的具体含义。参照图1，本申请公开了一种云台视觉系统的控制方法，其第一实施例，包括以下步骤：步骤100，获取环境信息，得到视觉图像，并对所述视觉图像进行预处理；步骤200，从所述视觉图像中识别待测目标；步骤300，建立相机坐标系，计算所述待测目标在所述相机坐标系中的三维坐标；步骤400，根据所述待测目标在所述相机坐标系中的三维坐标，计算视觉控制角度，所述视觉控制角度包括待测目标相对于相机坐标系的偏航角和俯仰角；步骤500，建立地面坐标系，计算所述待测目标在所述地面坐标系中的三维坐标；步骤600，根据所述待测目标在所述地面坐标系中的三维坐标，计算预测补偿角度，所述预测补偿角度包括待测目标的偏航角预测补偿值以及俯仰角预测补偿值；步骤700，根据所述视觉控制角度以及所述预测补偿角度，对所述视觉控制角度以及所述预测补偿角度进行相加操作，并根据得本文档来自技高网...

【技术保护点】
1.一种云台视觉系统的控制方法，其特征在于：包括以下步骤：/n步骤100，获取环境信息，得到视觉图像，并对所述视觉图像进行预处理；/n步骤200，从所述视觉图像中识别待测目标；/n步骤300，建立相机坐标系，计算所述待测目标在所述相机坐标系中的三维坐标；/n步骤400，根据所述待测目标在所述相机坐标系中的三维坐标，计算视觉控制角度，所述视觉控制角度包括待测目标相对于相机坐标系的偏航角和俯仰角；/n步骤500，建立地面坐标系，计算所述待测目标在所述地面坐标系中的三维坐标；/n步骤600，根据所述待测目标在所述地面坐标系中的三维坐标，计算预测补偿角度，所述预测补偿角度包括待测目标的偏航角预测补偿值以及俯仰角预测补偿值；/n步骤700，根据所述视觉控制角度以及所述预测补偿角度，利用基于模糊控制算法控制云台电机。/n

【技术特征摘要】
1.一种云台视觉系统的控制方法，其特征在于：包括以下步骤：
步骤100，获取环境信息，得到视觉图像，并对所述视觉图像进行预处理；
步骤200，从所述视觉图像中识别待测目标；
步骤300，建立相机坐标系，计算所述待测目标在所述相机坐标系中的三维坐标；
步骤400，根据所述待测目标在所述相机坐标系中的三维坐标，计算视觉控制角度，所述视觉控制角度包括待测目标相对于相机坐标系的偏航角和俯仰角；
步骤500，建立地面坐标系，计算所述待测目标在所述地面坐标系中的三维坐标；
步骤600，根据所述待测目标在所述地面坐标系中的三维坐标，计算预测补偿角度，所述预测补偿角度包括待测目标的偏航角预测补偿值以及俯仰角预测补偿值；
步骤700，根据所述视觉控制角度以及所述预测补偿角度，利用基于模糊控制算法控制云台电机。


2.根据权利要求1所述的一种云台视觉系统的控制方法，其特征在于：所述步骤100中，对所述视觉图像进行预处理包括对所述视觉图像先后进行二值化处理、噪声滤除处理以及开运算处理。


3.根据权利要求2所述的一种云台视觉系统的控制方法，其特征在于：所述步骤200包括对所述视觉图像进行边缘检测操作以及特征筛选操作，得到待测目标，并输出所述待测目标在所述视觉图像中的投影坐标。


4.根据权利要求1所述的一种云台视觉系统的控制方法，其特征在于：所述步骤300包括：
步骤310，根据所述待测目标在所述视觉图像中的投影坐标，通过公式计算旋转矩阵R3×3以及偏移向量t3×1，其中z表示缩放尺寸，表示待测目标在视觉图像中的投影坐标，表示内参矩阵，表示物体坐标系中的齐次坐标；
步骤320，根据得到的旋转矩阵R3×3以及偏移向量t3×1，通过公式计算待测目标在所述相机坐标系中的三维坐标


5.根据权利要求4所述的一种云台视觉系统的控制方法，其特征在于：所述步骤4...

【专利技术属性】
技术研发人员：张云志，梁尧森，李嘉滔，吴泳庆，
申请(专利权)人：佛山科学技术学院，
类型：发明
国别省市：广东;44