一种机器人多摄像机实时融合系统及方法技术方案

本发明专利技术公开了一种机器人多摄像机实时融合系统及方法，包括：器人高空作业平台、通信模块和地面操控模块；机器人高空作业平台通过通信模块与地面操控模块通信；机器人高空作业平台包括高空作业平台本体以及固定在其上的摄像机组，所述摄像机组与地面操控模块内的VR头显进行通信；所述VR头显根据摄像机组采集到的配网带电作业机器人作业信息及作业环境信息，实时融合作业场景、操作场景图像，形成整个3D虚拟场景；同时，所述VR头显通过识别地面操控模块内的操作姿态信息，实现机械臂的运动控制。

A Real-time Robot Multi-Camera Fusion System and Method

The invention discloses a real-time multi-camera fusion system and method for robots, including: an aerial working platform for robots, a communication module and a ground manipulation module; an aerial working platform for robots communicates with a ground manipulation module through a communication module; and an aerial working platform for robots includes an aerial working platform body and a camera group fixed thereon, the camera group and the ground manipulation module. The VR head display in the control module communicates with each other; the VR head display fuses the image of the working scene and the operating scene in real time according to the working information and the working environment information collected by the camera group, and forms the whole 3D virtual scene; at the same time, the VR head display realizes the motion control of the manipulator by identifying the operating attitude information in the ground control module.

【技术实现步骤摘要】
一种机器人多摄像机实时融合系统及方法
本专利技术涉及高压带电作业机器人领域，尤其一种机器人多摄像机实时融合系统及方法。
技术介绍
配网带电作业机器人主要用于完成剥皮、带电断接引流线、异物清除、更换跌落保险、修枝、更换横担、更换变压器等作业任务，为了提高带电作业的自动化水平和安全性，减轻操作人员的劳动强度和强电磁场对操作人员的人身威胁，从80年代起，日本、西班牙、美国、加拿大、法国等国家先后开展了对带电作业机器人的研究。国内对于机器人多摄像机VR实时融合系统研究的机构较少，主要停留在理论研究阶段。现有技术公开了一种基于虚拟现实的带电作业机器人遥操作方法，由于配网环境复杂且不规则，很难实现虚拟模型与现实的同步，存在精准度或远程视频同步问题，且电机机械臂取电困难且存在作业平台超重，使得绝缘升降机构颤动大。由此可见，现有研究技术中高压带电作业机器人仍存在较大的技术缺失，此种现状已经严重制约着带电作业机器人在电网中的实际应用与推广。
技术实现思路
为解决现有技术存在的不足，本专利技术公开了一种机器人多摄像机实时融合系统，该机器人系统采用多摄像机目标检测VR实时融合技术，基于双向力反馈的主从液压机械臂代替人工完成配电线路断接引线、清除异物、设备检修等作业任务。为实现上述目的，本专利技术的具体方案如下：在一个或多个实施方式中公开的一种机器人多摄像机实时融合系统，包括：机器人高空作业平台、通信模块和地面操控模块；机器人高空作业平台通过通信模块与地面操控模块通信；所述机器人高空作业平台包括高空作业平台本体以及固定在其上的摄像机组，所述摄像机组与地面操控模块内的VR头显进行通信；所述VR头显根据摄像机组采集到的配网带电作业机器人作业信息及作业环境信息，实时融合作业场景、操作场景图像，形成整个3D虚拟场景；同时，所述VR头显通过识别地面操控模块内的操作姿态信息，实现机械臂的运动控制。进一步地，所述摄像机组包括：全景摄像机和多角度摄像机；所述全景摄像机和多角度摄像机配合使用，对配网带电作业机器人及作业环境进行全方位实时监控。进一步地，所述摄像机组与自由伸缩单元连接，所述自由伸缩单元固定在高空作业平台本体上。进一步地，所述机器人高空作业平台还包括：作业机械臂、绝缘支撑和绝缘冗余伸缩单元；所述作业机械臂与绝缘支撑固定连接，所述绝缘支撑与绝缘冗余伸缩单元连接；所述绝缘冗余伸缩单元固定在高空作业平台本体上。进一步地，所述绝缘冗余伸缩单元包括：伺服阀、伸缩油缸和伸缩管套；通过伺服阀控制伸缩油缸伸缩，伸缩油缸一端与伸缩管套连接，伸缩管套固定在高空作业平台本体上。进一步地，所述机器人高空作业平台还包括：机器人用可更换工具箱，所述机器人用可更换工具箱包括：智能剥皮器、智能扳手、智能断线钳以及遮蔽罩中的至少一种；所述机器人用可更换工具箱中的工具通过通信系统与地面操控模块进行通信。进一步地，所述通信系统采用无线通信通道，实现地面操控模块与作业机械臂以及摄像机组与VR头显之间的通信。进一步地，所述地面操控模块包括:可移动地面操控室，所述可移动地面操控室内分别设置机械臂力反馈式操作主手、VR头显以及可折叠伸缩得绝缘升降臂遥控器；在一个或多个实施方式中公开的一种机器人多摄像机实时融合方法，包括：获取摄像机组中各摄像机采集的图像；进行图像的校准；根据相机的位置信息和角度信息对图像进行坐标变换，获得坐标变换后的图像；根据径向畸变产生的机理，对视频图像进行校正；对图像进行投影变换；特征点包括图像的角点以及相对于其领域表现出某种奇异性的兴趣点；采用角点检测算法，不具有缩放变换不变性；进行图像的配准和融合；在一个或多个实施方式中公开的一种配网带电作业机器人，包括上述的机器人多摄像机实时融合系统。本专利技术的有益效果：1.本专利技术多摄像机与VR实时融合交互系统将带电作业机器人和周围环境作为一个整体来看待，形成一个整体的交互环境，这种多摄像机与VR实时融合技术，相对于传统意义上的带电作业机器人人机交互界面在技术上有了很大的进步。2.本专利技术实现全景视频直播。通过多摄像机采用无缝拼接技术实现VR实时融合，使操作者具有身临其境的感受，优化用户体验，促进带电作业机器人推广应用。3.本专利技术采用主从式液压机械臂，具有自重轻、持重大，同时在作业机械臂驱动方式上采用移动绝缘升降机构液压接口，减少电液能转换环节。可以保证机器人高空作业平台重量轻，使得绝缘升降机构颤动幅度大幅减小。本专利技术的有益效果：1.本专利技术多摄像机与VR实时融合交互系统是把带电作业机器人和周围环境作为一个整体来看待的，采用相关的硬件设施与软件形成一个整体的交互环境，这种多摄像机与VR实时融合技术，相对于传统意义上的带电作业机器人人机交互界面在技术上有了很大的进步。2.本专利技术实现全景视频直播。通过多摄像机采用无缝拼接技术实现VR实时融合，使操作者具有身临其境的感受，优化用户体验，促进带电作业机器人推广应用。3.本专利技术采用主从式液压机械臂，具有自重轻、持重大，同时在作业机械臂驱动方式上采用移动绝缘升降机构液压接口，减少电液能转换环节。可以保证机器人高空作业平台重量轻，使得绝缘升降机构颤动幅度大幅减小。附图说明图1是本专利技术机器人履带式移动绝缘升降平台整体结构图；图2是本专利技术车载地面操控室整体结构图；图3是本专利技术多摄像机VR电气结构图；图4是本专利技术多摄像机VR实时融合流程图；其中，1.液压机械臂，2.绝缘冗余伸缩单元，4.工具箱，5.全景摄像机，6.多角度摄像机，8.机器人高空作业平台，9.地面操控模块，10.控制箱，11.VR头显，12.操作主手。具体实施方式：下面结合附图对本专利技术进行详细说明：如图1所示，本专利技术的一种机器人多摄像机VR实时融合系统，包括机器人高空作业平台8、通信模块及地面操控模块9。机器人高空作业平台8包括：机器人高空作业平台8本体、双液压机械臂1、绝缘冗余伸缩单元2、可更换工具4和摄像机组等；液压机械臂1与绝缘冗余伸缩单元2组合使用，扩展作业范围，使机械臂可以进入狭小环境作业；可更换工具4内部放置智能剥皮器、智能扳手、智能断线钳、遮蔽罩等各种工具及遮蔽用具；可更换工具4包括智能剥皮器、智能扳手、智能断线钳和破螺母工具等，采用工具模块化、标准化、系列化的综合设计，具有统一的机械接口和电气接口，适合机械臂夹持。实现配电带电断接引线、更换绝缘子、更换跌落保险、清除异物等带电作业任务。绝缘冗余伸缩单元2包括伺服阀、伸缩油缸、伸缩管套等组成。通过伺服阀控制伸缩油缸伸缩，油缸一端与伸缩管套连接，伸缩管套固定在机器人平台支架上。6自由度液压机械臂1安装在绝缘冗余伸缩自由度末端，扩展机械臂的活动范围，增加操作灵活性。作业机械臂采用液压驱动，6自由度，具有自重轻、持重大，同时在作业机械臂驱动方式上采用移动绝缘升降机构液压接口，减少电液能转换环节。摄像机组包括：全景摄像机5、多角度摄像机6配合使用对作业机械臂、专用工具轨迹跟踪及定位，实现对平行排列、三角排列、垂直排列三种线型作业。视频图像通过专用无线通道进行传输，保证对地绝缘和传输实时性。全景摄像机5采用4目全景摄像机5，可以获取360度的环境信息，负责对配网带电作业机器人及作业环境进行全方位监控。多角度摄像机6主要包括：俯视摄像机、仰视摄像机和工具监控摄像机等。通信模块，采用本文档来自技高网...

【技术保护点】
1.一种机器人多摄像机实时融合系统，其特征在于，包括：机器人高空作业平台、通信模块和地面操控模块；机器人高空作业平台通过通信模块与地面操控模块通信；所述机器人高空作业平台包括高空作业平台本体以及固定在其上的摄像机组，所述摄像机组与地面操控模块内的VR头显进行通信；所述VR头显根据摄像机组采集到的配网带电作业机器人作业信息及作业环境信息，实时融合作业场景、操作场景图像，形成整个3D虚拟场景；同时，所述VR头显通过识别地面操控模块内的操作姿态信息，实现机械臂的运动控制。

【技术特征摘要】
1.一种机器人多摄像机实时融合系统，其特征在于，包括：机器人高空作业平台、通信模块和地面操控模块；机器人高空作业平台通过通信模块与地面操控模块通信；所述机器人高空作业平台包括高空作业平台本体以及固定在其上的摄像机组，所述摄像机组与地面操控模块内的VR头显进行通信；所述VR头显根据摄像机组采集到的配网带电作业机器人作业信息及作业环境信息，实时融合作业场景、操作场景图像，形成整个3D虚拟场景；同时，所述VR头显通过识别地面操控模块内的操作姿态信息，实现机械臂的运动控制。2.如权利要求1所述的一种机器人多摄像机实时融合系统，其特征在于，所述摄像机组包括：全景摄像机和多角度摄像机；所述全景摄像机和多角度摄像机配合使用，对配网带电作业机器人及作业环境进行全方位实时监控。3.如权利要求2所述的一种机器人多摄像机实时融合系统，其特征在于，所述摄像机组与自由伸缩单元连接，所述自由伸缩单元固定在高空作业平台本体上。4.如权利要求1所述的一种机器人多摄像机实时融合系统，其特征在于，所述机器人高空作业平台还包括：作业机械臂、绝缘支撑和绝缘冗余伸缩单元；所述作业机械臂与绝缘支撑固定连接，所述绝缘支撑与绝缘冗余伸缩单元连接；所述绝缘冗余伸缩单元固定在高空作业平台本体上。5.如权利要求4所述的一种机器人多摄像机实时融合系统，其特征在于，所述...

【专利技术属性】
技术研发人员：许崇新，赵玉良，赵生传，刘斌，李明，李红新，张婷婷，田书然，李启江，刘波磊，赵阅群，
申请(专利权)人：国网山东省电力公司烟台供电公司，山东鲁能智能技术有限公司，
类型：发明
国别省市：山东,37