基于计算机视觉与人机实时交互的机械臂运动系统技术方案

本发明专利技术公开了一种基于计算机视觉与人机实时交互的机械臂运动系统，包括一台机械臂，一台相机以及一台电脑工作站；视觉相机固定在以捕捉运动物体为圆心的三米半径圆周内，并与电脑工作站通过USB3.0数据线连接；机器人控制机柜通过工业以太网以TCP数据传输形式连接电脑工作站，机械臂控制面板进入外部控制模式并实时监听外部的运动指令，基于Java语言的数字化运算平台实时处理数据的交互。本发明专利技术建立机器人运动路径与视觉相机的实时通讯机制，使相机捕捉的环境动态图像信息与机器人在空间中的运动相关联，实现机械臂可以根据环境的变化以及人的运动进行相关联的运动。

【技术实现步骤摘要】
基于计算机视觉与人机实时交互的机械臂运动系统
本专利技术主要涉及机械臂应用与人机交互
，具体是一种通过机器视觉捕捉环境动态及人体运动因素并控制机械臂机械运动的实时交互运动系统。
技术介绍
机械臂目前仍然广泛的应用于工业制造领域，通过预设式的编程和流水线式的工作模式使机械臂高速准确的重复固定的加工动作及工序。本专利技术探索一种智能化的人机交互机制，通过视觉相机捕捉环境中人和事物的动态信息，然后运用参数化算法转移成为工业机械臂的运动指令。本项技术突破了传统的机器人工业化控制方法，使机械臂具备视觉观察与判断机制，增强了人机协作的可行性。
技术实现思路
本专利技术的目的在于提供一种建立机器人运动路径与视觉相机的实时通讯机制，使相机捕捉的环境动态图像信息与机器人在空间中的运动相关联，实现机械臂可以根据环境的变化以及人的运动进行相关联运动的基于计算机视觉与人机实时交互的机械臂运动系统。本专利技术的技术解决方案是：一种基于计算机视觉与人机实时交互的机械臂运动系统，其特征是：包括一台机械臂，一台相机以及一台电脑工作站；视觉相机固定在以捕捉运动物体为圆心的三米半径圆周内，并与电脑工作站通过USB3.0数据线连接；机器人控制机柜通过工业以太网以TCP数据传输形式连接电脑工作站，机械臂控制面板进入外部控制模式并实时监听外部的运动指令，基于Java语言的数字化运算平台实时处理数据的交互；工作过程：将机械臂的实时运动状态通过网线以XML数据形式由机械臂控制机柜传送到电脑工作器的服务器上，基于Java语言的数字化运算平台实时分析机器人的状态，并处理视觉相机捕捉的物体运动信息，将运动数据通过JavaScript编程转化为实时的机械臂运动路径，同时运行逆向动力学检查工具比较机械臂的实际空间坐标与视觉摄像机转化的即时移动数据的匹配性，排除限位的轨迹以及纠正可能发生的碰撞轨迹，生成安全可靠的机器人运动语言，再通过TCP数据协议写入处于外部控制状态的机器人控制面板中，生成机械臂运动的运行程序，并以不断循环的方式指挥机械臂在空间中的实时交互运动。所述在空间中的实时交互运动包括移动，加速，减速，停止以及轴部旋转，循环周期在20ms。视觉相机放在以捕捉物体为中心的三米半径圆周内，高度设置在2.5米高；视觉相机通过USB3.0接口数据线将物体运动的灰度图像通过网络终端发送到计算机的Socket上。视觉相机通过光学动作实时捕捉、记录物体在真实三维空间中的运动轨迹或姿态，并在虚拟三维空间中重建运动物体每一时刻运动状态，这些空间坐标通过以太网XML数据监听协议,以20ms的速率被实时传送到电脑工作站的服务器；这些实时数据通过java语言转译为机械臂的实时世界坐标的三维向量信息以X，Y，Z和A，B，C6组数值不断传送给机械臂的控制中心，其中XYZ表示为机器人工具坐标中心距离世界坐标原点在三个维度上的位移，而A,B,C则是该坐标的向量分别相对于X,Y,Z轴旋转的角度。本专利技术建立机器人运动路径与视觉相机的实时通讯机制，使相机捕捉的环境动态图像信息与机器人在空间中的运动相关联，实现机械臂可以根据环境的变化以及人的运动进行相关联的运动，比如移动，加速，减速，停止以及轴部旋转等。这种关联是建立在机械臂与视觉相机数据交互的实时关联的数学机制之上的，因此具有普适性，也可以拓展于机械装置在虚拟现实及工业智能化中人机交互方面的技术应用。附图说明下面结合附图和实施例对本专利技术作进一步说明。图1是本专利技术一个实施例的结构示意图。图1标号：1为视觉摄像机；2为计算机通讯终端；3为基于JAVA语言的机器人路径计算程序；4为机器人控制设备；5和6为人机交互通讯端口；7为机械臂本体。具体实施方式一种基于计算机视觉与人机实时交互的机械臂运动系统，包括一台机械臂，一台相机以及一台电脑工作站；视觉相机固定在以捕捉运动物体为圆心的三米半径圆周内，并与电脑工作站通过USB3.0数据线连接；机器人控制机柜通过工业以太网以TCP数据传输形式连接电脑工作站，机械臂控制面板进入外部控制模式并实时监听外部的运动指令，基于Java语言的数字化运算平台实时处理数据的交互；工作过程：将机械臂的实时运动状态通过网线以XML数据形式由机械臂控制机柜传送到电脑工作器的服务器上，基于Java语言的数字化运算平台实时分析机器人的状态，并处理视觉相机捕捉的物体运动信息，将运动数据通过JavaScript编程转化为实时的机械臂运动路径，同时运行逆向动力学检查工具比较机械臂的实际空间坐标与视觉摄像机转化的即时移动数据的匹配性，排除限位的轨迹以及纠正可能发生的碰撞轨迹，生成安全可靠的机器人运动语言，再通过TCP数据协议写入处于外部控制状态的机器人控制面板中，生成机械臂运动的运行程序，并以不断循环的方式指挥机械臂在空间中的实时交互运动。所述在空间中的实时交互运动包括移动，加速，减速，停止以及轴部旋转，循环周期在20ms。视觉相机放在以捕捉物体为中心的三米半径圆周内，高度设置在2.5米高；视觉相机通过USB3.0接口数据线将物体运动的灰度图像通过网络终端发送到计算机的Socket上。视觉相机通过光学动作实时捕捉、记录物体在真实三维空间中的运动轨迹或姿态，并在虚拟三维空间中重建运动物体每一时刻运动状态，这些空间坐标通过以太网XML数据监听协议,以20ms的速率被实时传送到电脑工作站的服务器；这些实时数据通过java语言转译为机械臂的实时世界坐标的三维向量信息以X，Y，Z和A，B，C6组数值不断传送给机械臂的控制中心，其中XYZ表示为机器人工具坐标中心距离世界坐标原点在三个维度上的位移，而A,B,C则是该坐标的向量分别相对于X,Y,Z轴旋转的角度。本文档来自技高网...

【技术保护点】
一种基于计算机视觉与人机实时交互的机械臂运动系统，其特征是：包括一台机械臂，一台相机以及一台电脑工作站；视觉相机固定在以捕捉运动物体为圆心的三米半径圆周内，并与电脑工作站通过USB3.0数据线连接；机器人控制机柜通过工业以太网以TCP数据传输形式连接电脑工作站，机械臂控制面板进入外部控制模式并实时监听外部的运动指令，基于Java语言的数字化运算平台实时处理数据的交互；工作过程：将机械臂的实时运动状态通过网线以XML数据形式由机械臂控制机柜传送到电脑工作器的服务器上，基于Java语言的数字化运算平台实时分析机器人的状态，并处理视觉相机捕捉的物体运动信息，将运动数据通过JavaScript编程转化为实时的机械臂运动路径，同时运行逆向动力学检查工具比较机械臂的实际空间坐标与视觉摄像机转化的即时移动数据的匹配性，排除限位的轨迹以及纠正可能发生的碰撞轨迹，生成安全可靠的机器人运动语言，再通过TCP数据协议写入处于外部控制状态的机器人控制面板中，生成机械臂运动的运行程序，并以不断循环的方式指挥机械臂在空间中的实时交互运动。

【技术特征摘要】
1.一种基于计算机视觉与人机实时交互的机械臂运动系统，其特征是：包括一台机械臂，一台相机以及一台电脑工作站；视觉相机固定在以捕捉运动物体为圆心的三米半径圆周内，并与电脑工作站通过USB3.0数据线连接；机器人控制机柜通过工业以太网以TCP数据传输形式连接电脑工作站，机械臂控制面板进入外部控制模式并实时监听外部的运动指令，基于Java语言的数字化运算平台实时处理数据的交互；工作过程：将机械臂的实时运动状态通过网线以XML数据形式由机械臂控制机柜传送到电脑工作器的服务器上，基于Java语言的数字化运算平台实时分析机器人的状态，并处理视觉相机捕捉的物体运动信息，将运动数据通过JavaScript编程转化为实时的机械臂运动路径，同时运行逆向动力学检查工具比较机械臂的实际空间坐标与视觉摄像机转化的即时移动数据的匹配性，排除限位的轨迹以及纠正可能发生的碰撞轨迹，生成安全可靠的机器人运动语言，再通过TCP数据协议写入处于外部控制状态的机器人控制面板中，生成机械臂运动的运行程序，并以不断循环的方式指挥机械臂在空间中的实时交互运动。2.根据权利要求...

【专利技术属性】
技术研发人员：孟浩，陈济林，
申请(专利权)人：上海大界机器人科技有限公司，
类型：发明
国别省市：上海,31