基于视觉的人机共融安全防护控制系统技术方案

本发明专利技术公开了一种基于视觉的人机共融安全防护控制系统，该系统包括：安全防护控制单元、视觉追踪单元、机器人控制单元，安全防护控制单元接收视觉追踪单元采集到的操作人员人体骨架数据以及机器人控制单元反馈的关节位置数据，构建机器人和操作人员的安全防护模型，并根据机器人的运动轨迹以及人体的骨架数据预测下一时刻现场行为演化，基于防护模型计算机器人与人员之间的最小距离，从而进行碰撞预测，对可能发生的碰撞进行局部路径规划与修正，进而控制机器人对人机协作过程中可能发生的碰撞做出响应，最终实现人机协作过程中的安全防护控制。本发明专利技术结构简单，易于工程化，能够为人机协作提供三维空间的安全防护。

Vision based security control system for man-machine fusion

The invention discloses a vision-based safety protection control system for man-machine fusion, which comprises a safety protection control unit, a vision tracking unit, a robot control unit, a safety protection control unit which receives the human skeleton data collected by the vision tracking unit and a switch for feedback from the robot control unit. Based on the joint position data, the safety protection model of robot and operator is constructed, and the behavior evolution at the next moment is predicted according to the locus of robot and the skeleton data of human body. The minimum distance between robot and human is computed based on the protection model to predict the collision, and the possible collision is predicted. The part path planning and modification can control the robot to respond to the collision that may occur in the process of man-machine cooperation, and finally realize the safety protection control in the process of man-machine cooperation. The invention has the advantages of simple structure, easy engineering, and can provide three-dimensional space safety protection for human-machine cooperation.

【技术实现步骤摘要】
基于视觉的人机共融安全防护控制系统
本专利技术属于机器人
，具体涉及一种基于视觉的人机共融安全防护控制系统。
技术介绍
机器人具有负载大、响应快、精度高等优点，通常被用来替代人类从事重复、繁重或者危险的任务，在工业制造的各领域得到了广泛应用。随着传感器、人工智能、自动控制等学科和技术的进步，机器人正逐步发展成具有感知、认知和自主行动能力的智能化装备，特别是共融机器人概念的提出极大地丰富了机器人的任务内涵。所谓共融机器人，是指机器与人共享同一时间下的工作空间和生产活动，利用人类更为直接的认知和高度智能的决策能力，发挥机器大承载、高精度执行的优势，通过人机协同作业完成非结构化环境下的非确定性任务。共融机器人的发展面临着三大技术瓶颈：情景认知、人机协作以及安全防护，其中情景认知需要解决的是机器人对非结构化环境、不确定性作业任务的感知以及对人类行为和抽象指令的理解，人机协作解决在线实时人机交互、动态未知环境中自主作业等问题，安全防护解决的人机协作过程中机器人行为自律控制问题，为人机协同作业提供技术支撑。工业机器人的安全防护主要是在机器人作业区域周围设置防护栏，包括物理防护栏、电子防护栏本文档来自技高网...

【技术保护点】
1.基于视觉的人机共融安全防护控制系统，该系统包括：安全防护控制单元、视觉追踪单元、机器人控制单元，各单元之间的数据交换均通过局域网实现；所述安全防护控制单元与所述视觉追踪单元、机器人控制单元电气连接，其包括行为预测模块、碰撞检测模块和路径规划模块，用于接收视觉追踪单元采集到的操作人员人体骨架数据以及机器人控制单元反馈的关节位置数据，构建机器人和操作人员的安全防护模型，行为预测模块根据机器人的运动轨迹以及人体的骨架数据预测下一时刻现场行为演化，碰撞检测模块基于防护模型计算机器人与人员之间的最小距离，从而进行碰撞预测，路径规划模块对可能发生的碰撞进行局部路径规划与修正，并修正后的路径转换成运动指...

【技术特征摘要】
1.基于视觉的人机共融安全防护控制系统，该系统包括：安全防护控制单元、视觉追踪单元、机器人控制单元，各单元之间的数据交换均通过局域网实现；所述安全防护控制单元与所述视觉追踪单元、机器人控制单元电气连接，其包括行为预测模块、碰撞检测模块和路径规划模块，用于接收视觉追踪单元采集到的操作人员人体骨架数据以及机器人控制单元反馈的关节位置数据，构建机器人和操作人员的安全防护模型，行为预测模块根据机器人的运动轨迹以及人体的骨架数据预测下一时刻现场行为演化，碰撞检测模块基于防护模型计算机器人与人员之间的最小距离，从而进行碰撞预测，路径规划模块对可能发生的碰撞进行局部路径规划与修正，并修正后的路径转换成运动指令传输给机器人控制单元，进而控制机器人对人机协作过程中可能发生的碰撞做出响应；所述视觉追踪单元由视觉传感器、计算机以及图像处理单元组成，视觉传感器通过路由器与计算机进行网络连接，用于采集装配现场人员的实时图像信息，通过图像处理单元提取人体骨架坐标并传输给安全防护控制单元；所述机器人控制单元是指机器人控制器及其数据传输接口，用于接收安全防护控制单元的运动指令并返回机器人当前状态。2.如权利要求1所述的基于视觉的人机共融安全防护控制系统，其中，所述视觉传感器是CCD摄像头。3.如权利要求1所述的基于视觉的人机共融安全防护控制系统，其中，所述图像处理单元是指对采集到的图像进行噪声剔除、区域融合与平滑和形态学处理，提取所述图像中的人员信息，通过神经网络模型或深度学习方法识别出描述人员位姿信息的人体骨架参数的模块。4.如权利要求1-3任一项所述的基于视觉的人机共融安全防护控制系统，其中，所述人体骨架数据共有13个，分别表示头部、颈部、胯部、左肩、右肩、左臂肘部和腕部、右臂肘部和腕部、左腿膝部和踝部、右腿膝部和踝部，能够完整描述人体各组成部分的位置。5.如权利要求1-3任一项所述的基于视觉的人机共融安全防护控制系统，其中，所述机器人是六自由度串联式机器人。6.如权利要求1-3任一项所述的基于视觉的人机共融安全防护控制系统，其中，所述行为预测模块用于确定操作人员在下一时刻的运动趋势，根据共融机器人的工作任务和人员当前的位姿信息建立以人体骨架参数为变...

【专利技术属性】
技术研发人员：孟少华，胡瑞钦，易旺民，张立建，孟凡伟，陈畅宇，董悫，隆昌宇，高峰，祝亚宏，王冬梅，
申请(专利权)人：北京卫星环境工程研究所，
类型：发明
国别省市：北京,11