基于双目立体视觉的机器人遥操作辅助系统技术方案

本发明专利技术公开了一种基于双目立体视觉的机器人遥操作辅助方法，包括如下步骤：图像数据输出步骤：通过测量相机将数字图像数据输出至图像测量处理器，且同时通过监视相机将数字图像数据输出至立体显示处理器；图像数据处理步骤：所述图像测量处理器接收所述测量相机的图像数据后进行计算，计算出指定目标的相对位姿，并传输至立体显示处理器和机器人主控系统，所述立体显示处理器接收所述监视相机的图像数据进行极线校正，并将监视相机的图像数据传输至所述立体显示设备；图像数据显示步骤：所述立体显示设备将所述立体显示处理器输出的图像数据进行显示，供操作者观看。本发明专利技术测量精度高、视场大、容易搜索目标。

【技术实现步骤摘要】
基于双目立体视觉的机器人遥操作辅助系统
本专利技术涉及双目立体视觉测量、显示技术，是一种基于双目立体视觉的机器人遥操作辅助方法及系统。
技术介绍
遥操作机器人能协助操作人员完成各种任务，尤其不适合人员现场操作的恶劣环境下，需要遥操作机器人代替人工操作。遥操作的一个重要环节是对环境及目标态势的感知。视觉传感器是机器人感知环境的关键，一般的二维图像传感器无法感知环境深度信息，需要结合激光测距等其他传感器使用，结构较复杂。一般机器人视觉传感器反馈的二维图像信息不能完整的描述三维环境，同样一般的遥操作交互媒介也无法表达真实的三维信息，无法使操作人员达到身临其境的体验感。现有双目立体视觉系统功能单一，如果要求其视场大，则精度不够；而要求测量精度高，其视场就小，难以搜索目标。
技术实现思路
本专利技术旨在克服现有技术的缺陷，提供一种基于双目立体视觉的机器人遥操作辅助方法及系统。为实现上述目的，本专利技术采用以下技术方案：提供一种基于双目立体视觉的机器人遥操作辅助方法，包括如下步骤：图像数据输出步骤：通过测量相机将数字图像数据输出至图像测量处理器，且同时通过监视相机将数字图像数据输出至立体显示处理器；图像数据处理步骤：所述图像测量处理器接收所述测量相机的图像数据后进行计算，计算出指定目标的相对位姿，并传输至立体显示处理器和机器人主控系统，所述立体显示处理器接收所述监视相机的图像数据进行极线校正，并将监视相机的图像数据传输至所述立体显示设备；图像数据显示步骤：所述立体显示设备将所述立体显示处理器输出的图像数据进行显示。图像数据输出步骤中：所述测量相机包括左测量相机和右测量相机，且所述左测量相机与右测量相机之间设置所述左监视相机和右监视相机；通过所述左测量相机和右测量相机将数字图像数据输出至图像测量处理器，且同时通过所述左监视相机和右监视相机将数字图像数据输出至立体显示处理器。图像数据输出步骤中：所述测量相机按照图像测量处理器输出的传感器驱动时序将数字图像数据输出至图像测量处理器；所述监视相机按照立体显示处理器输出的传感器驱动时序，将数字图像数据输出至立体显示处理器。所述立体显示设备包括立体显示头盔和立体显示电视，根据实际需求将所述立体显示处理器输出的图像数据在立体显示头盔或立体显示电视上显示。所述显示头盔将所述左监视相机和右监视相机图像合成1920×1080大小图像，通过HDMI接口送入所述显示头盔头盔中的LED液晶显示屏进行显示。图像数据处理步骤中：所述图像测量处理器通过处理器对所述左测量相机和右测量相机输出的数字图像数据进行双线程计算，并设置左图像传感器和右图像传感器按照4帧/秒、分辨率为1920×1200输出图像数据；将所述数字图像数据存储在同步态随机存储器中，供姿态测量使用；所述图像测量处理器对接收的测量相机图像数据进行行边缘提取、边缘匹配、三维重建目标点云、空间平面拟合和位姿测量；将图像极线校正链表通过异步串口传输至所述立体显示处理器；将计算的位姿信息通过异步串口传输至所述立体显示处理器，供操作者观看。为了实现上述目的，本专利技术还采取以下技术方案：提供一种基于双目立体视觉的机器人遥操作辅助系统，包括：图像数据输出单元：通过测量相机将数字图像数据输出至图像测量处理器，且同时通过监视相机将数字图像数据输出至立体显示处理器；图像数据处理单元：所述图像测量处理器接收所述测量相机的图像数据后进行计算，计算出指定目标的相对位姿，并传输至立体显示处理器和机器人主控系统，所述立体显示处理器接收所述监视相机的图像数据进行极线校正，并将监视相机的图像数据传输至所述立体显示设备；图像数据显示单元：所述立体显示设备将所述立体显示处理器输出的图像数据进行显示，供操作者观看。所述图像数据输出单元中：所述测量相机包括左测量相机和右测量相机，且所述左测量相机与右测量相机之间设置所述左监视相机和右监视相机；通过所述左测量相机和右测量相机将数字图像数据输出至图像测量处理器，且同时通过所述左监视相机和右监视相机将数字图像数据输出至立体显示处理器。所述图像数据输出单元中：所述测量相机按照图像测量处理器输出的传感器驱动时序将数字图像数据输出至图像测量处理器；所述监视相机按照立体显示处理器输出的传感器驱动时序，将数字图像数据输出至立体显示处理器。所述立体显示设备包括立体显示头盔和立体显示电视，根据实际需求将所述立体显示处理器输出的图像数据在立体显示头盔或立体显示电视上显示，供操作者观看。所述显示头盔将所述左监视相机和右监视相机图像合成1920×1080大小图像，通过HDMI接口送入所述显示头盔头盔中的LED液晶显示屏进行显示。所述图像数据处理单元中：所述图像测量处理器通过处理器对所述左测量相机和右测量相机输出的数字图像数据进行双线程计算，并设置左图像传感器和右图像传感器按照4帧/秒、分辨率为1920×1200输出图像数据；将所述数字图像数据存储在同步态随机存储器中，供姿态测量使用；所述图像测量处理器对接收的测量相机图像数据进行行边缘提取、边缘匹配、三维重建目标点云、空间平面拟合和位姿测量；将图像极线校正链表通过异步串口传输至所述立体显示处理器；将计算的位姿信息通过异步串口传输至所述立体显示处理器，供操作者观看。本专利技术的有益效果在于：本专利技术公开了一种基于双目立体视觉的机器人遥操作辅助方法和装置，根据测量和监视功能相结合设计的双目相机架设方案，对测量相机和监控相机进行高精度的装调和标定，采用立体头盔矫正和显示双目图像，人工标记感兴趣目标并进行位姿测算。本专利技术能够进行实时大视场沉浸式监视，操作人员身临其境感强，同时对感兴趣目标进行姿态测算，实测精度优于0.95mm，0.58°，能够有效辅助操作人员对机器人进行遥操作。附图说明图1所示为本专利技术基于双目立体视觉的机器人遥操作辅助方法的流程框图。图2所示为不同水平夹角时，水平方向视场的覆盖范围示意图。图3所示为测量相机的光学设计示意图。图4所示为监视相机的光学设计示意图。图5所示为本专利技术基于双目立体视觉的机器人遥操作辅助系统的框图。图6所示为图像测量处理器的电路原理模块图。图7所示为图像测量处理器的算法流程框图。图8a所示为左测量相机生成的目标深度图。图8b所示为右测量相机生成的目标深度图。图9所示为目标位姿坐标图示。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，本专利技术实施例提供一种基于双目立体视觉的机器人遥操作辅助方法，包括如下步骤：步骤1为图像数据输出步骤：通过测量相机将数字图像数据输出至图像测量处理器，且同时通过监视相机将数字图像数据输出至立体显示处理器；步骤2为图像数据处理步骤：所述图像测量处理器接收所述测量相机的图像数据后进行计算，计算出指定目标的相对位姿，并传输至立体显示处理器和机器人主控系统，所述立体显示处理器接收所述监视相机的图像数据进行极线校正，并将监视相机的图像数据传输至所述立体显示设备；步骤3为图像数据显示步骤：所述立本文档来自技高网...

【技术保护点】
一种基于双目立体视觉的机器人遥操作辅助方法，其特征在于，包括如下步骤：图像数据输出步骤：通过测量相机将数字图像数据输出至图像测量处理器，且同时通过监视相机将数字图像数据输出至立体显示处理器；图像数据处理步骤：所述图像测量处理器接收所述测量相机的图像数据后进行计算，计算出指定目标的相对位姿，并传输至立体显示处理器和机器人主控系统，所述立体显示处理器接收所述监视相机的图像数据进行极线校正，并将监视相机的图像数据传输至所述立体显示设备；图像数据显示步骤：所述立体显示设备将所述立体显示处理器输出的图像数据进行显示。

【技术特征摘要】
1.一种基于双目立体视觉的机器人遥操作辅助方法，其特征在于，包括如下步骤：图像数据输出步骤：通过测量相机将数字图像数据输出至图像测量处理器，且同时通过监视相机将数字图像数据输出至立体显示处理器；图像数据处理步骤：所述图像测量处理器接收所述测量相机的图像数据后进行计算，计算出指定目标的相对位姿，并传输至立体显示处理器和机器人主控系统，所述立体显示处理器接收所述监视相机的图像数据进行极线校正，并将监视相机的图像数据传输至所述立体显示设备；图像数据显示步骤：所述立体显示设备将所述立体显示处理器输出的图像数据进行显示。2.如权利要求1所述的基于双目立体视觉的机器人遥操作辅助方法，其特征在于，图像数据输出步骤中：所述测量相机包括左测量相机和右测量相机，且所述左测量相机与右测量相机之间设置所述左监视相机和右监视相机；通过所述左测量相机和右测量相机将数字图像数据输出至图像测量处理器，且同时通过所述左监视相机和右监视相机将数字图像数据输出至立体显示处理器。3.如权利要求1或2所述的基于双目立体视觉的机器人遥操作辅助方法，其特征在于，图像数据输出步骤中：所述测量相机按照图像测量处理器输出的传感器驱动时序将数字图像数据输出至图像测量处理器；所述监视相机按照立体显示处理器输出的传感器驱动时序，将数字图像数据输出至立体显示处理器。4.如权利要求1或2所述的基于双目立体视觉的机器人遥操作辅助方法，其特征在于，所述立体显示设备包括立体显示头盔和立体显示电视供操作者观看。5.如权利要求4所述的基于双目立体视觉的机器人遥操作辅助方法，其特征在于，所述显示头盔将所述左监视相机和右监视相机图像合成1920×1080大小图像，通过HDMI接口送入所述显示头盔中的LED液晶显示屏进行显示。6.如权利要求2所述的基于双目立体视觉的机器人遥操作辅助方法，其特征在于，图像数据处理步骤中：所述图像测量处理器通过处理器对所述左测量相机和右测量相机输出的数字图像数据进行双线程计算，并设置左图像传感器和右图像传感器按照4帧/秒、分辨率为1920×1200输出图像数据；将所述数字图像数据存储在同步动态随机存储器中，供姿态测量使用；所述图像测量处理器对接收的测量相机图像数据进行行边缘提取、边缘匹...

【专利技术属性】
技术研发人员：任宏，
申请(专利权)人：中国科学院长春光学精密机械与物理研究所，
类型：发明
国别省市：吉林,22