一种双目伺服相机目标定位方法技术

本发明专利技术公开一种双目伺服相机目标定位方法，通过双目球形摄像机及云端AI服务器实现，包括：S1：对双目球形摄像机进行标定；S2：将定位系统初始化，两个相机朝向为完全平行；S3：启动系统，上传拍摄到的当前图像；S4：云端AI服务器对图像进行ORB特征提取并匹配，计算得出世界坐标系下的对应特征点的坐标；S5：云端AI服务器采用SOLOv2实例分割模型对图像进行实例分割并对目标区域场景中的物体进行像素级的分类与识别；S6：若目标区域重心偏离图像中心，则下发跟踪指令调整相机姿态，并更新两个相机坐标系的转换矩阵；S7：上传图像再进行ORB特征提取并匹配，计算出世界坐标系下的对应特征点的坐标，计算所有特征点点云并生成场景深度图。图。图。

【技术实现步骤摘要】
一种双目伺服相机目标定位方法


[0001]本专利技术涉及相机目标定位
，具体而言，涉及一种双目伺服相机目标定位方法。

技术介绍

[0002]面对越来越复杂多样的工业与服务业应用场景，使用机器人实现自动化运作已经成为必然趋势，而视觉又是机器人感知外界最重要的感官，使用双目相机对环境目标进行定位和场景识别可以实现机器人对环境的感知和目标信息的获取。
[0003]申请号为202110883403.5的专利技术公开了一种双目视觉引导的机器人智能装配方法、系统及装置，其系统流程图请见图1，该案的双目视觉单元固定在工作台上，获取工作区域的图像；其图像处理及计算单元负责图像的采集及处理，然后进行标定，首先进行单相机标定再进行双目标定，最后与机器人进行手眼标定，标定完成之后再进行位姿求解；通过以太网的方案将结果发送给机器人；机器人根据收到的数据调整装配的位姿。但是此案采用光轴平行固定的双目相机，视野范围较小，且没有自主识别场景的模块，因此其使用存在一定的局限性。
[0004]申请号为202110861361.5的专利技术公开了一种双目视觉检测缺陷的移动机器人标记装置，其装置示意图如图2所示，该装置包括：设置有机械臂的AGV智能小车；用于标记缺陷位置的喷涂装置，且喷涂装置安装在AGV智能小车上；安装在机械臂的末端的摄像头模块；与AGV智能小车、喷涂装置、摄像头模块分别连接的控制器模块，且控制器模块安装在AGV智能小车上。然而，其采用的也是固定平行的双目相机进行目标定位，视野范围较小，并且由于该专利技术使用自带的装在小车上的图像识别网络进行缺陷检测，而车载的AI计算单元受到设备本身的限制，计算速度慢且精度不如更大的模型系统，因而运算能力和使用场景也存在一定的局限性。
[0005]因此，本领域亟需一种能够具备更广泛的视野范围、更优的精度、更强的运算能力的双目伺服相机目标定位方法。

技术实现思路

[0006]为解决上述问题，本专利技术提供一种双目伺服相机目标定位方法，通过采用双目独立转动的相机对目标进行跟踪，视野范围更大，且对于较远目标定位更加精确，并加入了云端实例分割模型对场景进行像素级识别，使机器人能够脱离需要人工手动指定目标在图像中位置的限制，且对目标检测具有更高的灵活性。
[0007]为达到上述目的，本专利技术提供了一种双目伺服相机目标定位方法，其通过一定位系统实现，所述定位系统包括：双目球形摄像机，用于拍摄场景画面，其中所述双目球形摄像机包括两个相机，每个相机均为球形相机；一云端AI服务器，通过无线网络与所述双目球形摄像机连接；
所述方法包括以下步骤：步骤S1：对所述双目球形摄像机进行标定，具体为采用张正友棋盘格进行标定，分别求出两个相机的内参矩阵M1和M2，并据此计算两个相机坐标系的转换矩阵（R，t），其中R为旋转分量，t为平移分量；步骤S2：将所述定位系统初始化，其中两个相机镜头的拍摄朝向为完全平行的状态；步骤S3：启动所述定位系统，所述双目球形摄像机将拍摄到的当前图像上传至所述云端AI服务器；步骤S4：所述云端AI服务器对当前图像进行ORB特征提取并匹配，通过两个相机的内参与两个相机坐标系的转换矩阵（R，t）进行双目数学模型计算，得出世界坐标系下的对应特征点的坐标，计算所有特征点点云并生成场景深度图；步骤S5：所述云端AI服务器采用SOLOv2实例分割模型对相机图像进行实例分割，并对目标区域场景中的物体进行像素级的分类与识别；步骤S6：若目标区域重心偏离图像中心，则所述云端AI服务器下发跟踪指令调整所述双目球形摄像机的姿态，使目标区域重心向拍摄图像中心移动，所述云端AI服务器记录所述双目球形摄像机的实时姿态，并更新两个相机坐标系的转换矩阵（R，t）；步骤S7：所述双目球形摄像机再将拍摄到的当前图像上传至所述云端AI服务器，所述云端AI服务器再对当前图像进行ORB特征提取并匹配，通过两个相机的内参与更新后的两个相机坐标系的转换矩阵（R，t）计算出世界坐标系下的对应特征点的坐标，计算所有特征点点云并生成场景深度图。
[0008]在本专利技术一实施例中，其中，步骤S6具体包括：步骤S601：当目标区域重心偏离图像中心时，所述云端AI服务器向所述双目球形摄像机下发跟踪指令，其中跟踪所采用的算法为基于卡尔曼滤波的算法，其目标预设方程为：式中，F为状态转移矩阵，P为状态协方差矩阵，Q为过程噪声矩阵， 表示k时刻的目标状态向量，表示k时刻的目标状态预测向量更新值， 表示预测出的状态协方差矩阵更新值；步骤S602：所述双目球形摄像机根据指令调整后，计算此时的状态方程为：式中，K为卡尔曼增益，H为测量矩阵，R为测量噪声矩阵，Y（k）表示观测向量，为k+1时刻的状态协方差矩阵，为k+1时刻的目标状态向量；步骤S603：重复步骤S601~S602，使目标区域重心达到拍摄图像中心，并计算出两个相机当前的姿态；步骤S604：更新两个相机坐标系的转换矩阵（R，t）。
[0009]在本专利技术一实施例中，其中，步骤S604具体为：设任一相机的水平旋转角度为，俯仰旋转角度为，其中i为相机编号，t为目标状态向量维度索引，则更新后的旋转矩阵为其中，平移分量t不变。
[0010]在本专利技术一实施例中，其中，所述无线网络包括4G、5G及WIFI网络。
[0011]本专利技术提供的双目伺服相机目标定位方法，与现有技术至少具备以下优势：1）相比传统的固定平行双目相机，球形双目相机具有更高的灵活性和适应性，观测的视野范围更大，且对于较远目标定位更加精确；2）将相机采集到的实时画面采用发送到云端识别的方式进行场景识别，无论是安装在机器人上或者应用于其他场景下，都具备较强的计算能力，可以实现对目标的精确定位、跟踪和场景的识别。
附图说明
[0012]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0013]图1为现有技术的双目视觉引导的机器人智能装配方法流程图；图2为现有技术的双目视觉检测缺陷的移动机器人标记装置示意图；图3为本专利技术一实施例系统架构示意图；图4为本专利技术一实施例的定位方法的流程图；图5为本专利技术一实施例中双目数学模型示意图。
[0014]附图标记说明：10
‑
定位系统；101
‑
双目球形摄像机；102
‑
云端AI服务器；103
‑
无线网络；S1~S6
‑
步骤。
具体实施方式
[0015]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0016]图3为本专利技术一实施例系统架构示意本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双目伺服相机目标定位方法，其通过一定位系统实现，其特征在于，所述定位系统包括：双目球形摄像机，用于拍摄场景画面，其中所述双目球形摄像机包括两个相机，每个相机均为球形相机；一云端AI服务器，通过无线网络与所述双目球形摄像机连接；所述方法包括以下步骤：步骤S1：对所述双目球形摄像机进行标定，具体为采用张正友棋盘格进行标定，分别求出两个相机的内参矩阵M1和M2，并据此计算两个相机坐标系的转换矩阵（R，t），其中R为旋转分量，t为平移分量；步骤S2：将所述定位系统初始化，其中两个相机镜头的拍摄朝向为完全平行的状态；步骤S3：启动所述定位系统，所述双目球形摄像机将拍摄到的当前图像上传至所述云端AI服务器；步骤S4：所述云端AI服务器对当前图像进行ORB特征提取并匹配，通过两个相机的内参与两个相机坐标系的转换矩阵（R，t）进行双目数学模型计算，得出世界坐标系下的对应特征点的坐标，计算所有特征点点云并生成场景深度图；步骤S5：所述云端AI服务器采用SOLOv2实例分割模型对相机图像进行实例分割，并对目标区域场景中的物体进行像素级的分类与识别；步骤S6：若目标区域重心偏离图像中心，则所述云端AI服务器下发跟踪指令调整所述双目球形摄像机的姿态，使目标区域重心向拍摄图像中心移动，所述云端AI服务器记录所述双目球形摄像机的实时姿态，并更新两个相机坐标系的转换矩阵（R，t）；步骤S7：所述双目球形摄像机再将拍摄到的当前图像上传至所述云端AI服务器，所述云端AI服务器再对...

【专利技术属性】
技术研发人员：罗鑫，琚午阳，
申请(专利权)人：盐城睿算电子科技有限公司，
类型：发明
国别省市：