一种人机交互操作系统技术方案

本发明专利技术提供一种人机交互操作系统，能够提高人机交互系统的智能性和交互性。所述系统包括：采集单元，用于采集作业场景和实时作业信息；信息处理单元，用于构建增强现实显示，并下发任务指令；视觉交互单元，用于增强现实的显示远端作业场景和实时作业信息；力觉交互单元，用于基于力反馈的实时远端控制执行单元作业；控制单元，用于根据信息处理单元下发的任务指令和力觉交互单元输出的信息，向驱动单元下发控制指令；驱动单元，用于将控制单元下发的控制指令分解为力矩和转速以驱动动力单元提供执行单元作业所需的动力；执行单元，用于根据动力单元提供的动力，执行自主和人机协同两种作业模式下的作业任务。本发明专利技术适用于工业机械臂控制领域。

A human-machine interaction operation system

The invention provides a man-machine interactive operating system, which can improve the intelligence and interactivity of the man-machine interactive system. The system includes: acquisition unit for collecting job scenes and real-time job information; information processing unit for constructing augmented reality display and issuing task instructions; visual interaction unit for displaying remote job scenes and real-time job information in augmented reality; and force interaction unit for force feedback. Real-time remote control of the execution unit operation; control unit, according to the information issued by the information processing unit task instructions and force interactive unit output information, to the drive unit control instructions; drive unit, used to decompose the control commands issued by the control unit into torque and speed to drive the power unit to provide an execution order The power required for meta-operation; the execution unit is used to perform tasks under autonomous and man-machine cooperation modes according to the power provided by the power unit. The invention is applicable to the field of industrial manipulator control.

【技术实现步骤摘要】
一种人机交互操作系统
本专利技术涉及机器人人机交互
，特别是指一种人机交互操作系统。
技术介绍
近年来，机器人在现代生产、生活中的应用领域不断扩宽，一方面，机器人是制造加工业实现智能化、数字化和信息化的重要载体，其基础研发、高端制造和领域应用是衡量一个国家科技创新和高精尖技术实力的重要标志；另一方面，机器人技术在社会生活领域的广泛应用，还催生了可从事修理、清洗、运输、救援及监护等工作的服务机器人和特种机器人，机器人的发展已经成为现代社会一种必然趋势。然而现阶段，机器人的智能和自主能力仍很薄弱,人机交互能力有待提高，这些都成为机器人进一步发展的制约。针对目前存在许多工业领域高危行业仍然需要作业人员在现场作业，工作环境恶劣、安全系数低，安全事故频发，导致生命财产安全等问题，提高人机交互能力，提升机器人智能性是工业机器人进一步发展的必然选择。
技术实现思路
本专利技术要解决的技术问题是提供一种人机交互操作系统，以解决现有技术所存在的机器人智能化程度相对较低、人机交互能力不足的问题。为解决上述技术问题，本专利技术实施例提供一种人机交互操作系统，包括：采集单元、信息处理单元、视觉交互单元、力觉交互单元、控制单元、驱动单元、动力单元和执行单元；其中，所述采集单元，用于采集作业场景和实时作业信息，将采集的信息通过控制单元传输至信息处理单元，其中，所述作业信息包括：执行单元各关节的位姿信息；所述信息处理单元，用于根据采集的信息、控制单元反馈的执行单元各关节实际的位姿，构建增强现实显示，并确定作业模式，根据确定的作业模式，对控制单元下发任务指令，其中，所述作业模式包括：自主作业模式和人机协同作业模式；所述视觉交互单元，用于增强现实的显示远端作业场景和实时作业信息；所述力觉交互单元，用于根据控制单元接收到的任务指令、执行单元末端力信息，基于力反馈，通过控制单元实时远端控制执行单元作业；所述控制单元，用于根据信息处理单元下发的任务指令和力觉交互单元输出的期望执行单元各关节的位姿，向驱动单元下发控制指令；所述驱动单元，用于将控制单元下发的控制指令分解为力矩和转速以驱动动力单元提供执行单元作业所需的动力；所述执行单元，用于根据动力单元提供的动力，执行自主和人机协同两种作业模式下的作业任务。进一步地，所述采集单元包括：垂直陀螺仪、双目相机、激光雷达、六维力传感器和防碰撞超声波传感器；其中，所述垂直陀螺仪，用于检测执行单元的横滚角和俯仰角，确定执行单元末端姿态信息，并将确定的执行单元末端姿态信息通过控制单元传输至信息处理单元；所述双目相机，用于实时采集作业环境和作业目标的位置状态，并将所采集的作业环境和作业目标的位置状态通过控制单元传输至信息处理单元；所述激光雷达，用于扫描作业环境，建立作业环境三维点云，并将建立的作业环境三维点云通过控制单元传输至信息处理单元；所述六维力传感器，用于实时采集执行单元末端力信息，将采集到的力信息通过控制单元传输至力觉交互单元和信息处理单元；所述防碰撞超声波传感器，用于执行单元作业过程中，实时检测执行单元与障碍物间的距离，并将距离通过控制单元传输至信息处理单元。进一步地，所述力觉交互单元，采用串并联平动转动机构，具有航空钛合金构建的六自由度本体和重力补偿机制；其中，所述串并联平动转动机构包括：Delta平动并联机构和串联转动机构；所述六自由度本体包括：3个平动自由度和3个旋转自由度。进一步地，所述信息处理单元，用于根据采集到的信息，构建增强现实显示包括：根据采集到的信息，基于模糊遗传算法进行作业路径规划，并生成导引信息，其中，规划的作业路径包括：规划的执行单元各关节的位姿；通过深度学习算法进行作业目标识别；通过单字样旋转矢量法和运动学方程进行执行单元各关节位姿解算；通过三维环境建模技术与虚拟现实无缝融合技术，将远端作业场景和实时作业信息进行增强现实显示，并增强显示作业路径规划信息、导引信息。进一步地，所述信息处理单元，具体用于按照预设的环境友好性判断标准，对环境友好性进行判断，若环境友好，则采用自主作业模式；若环境恶劣或自主作业模式无法完成任务，则采用人机协同作业模式；根据采取的作业模式，对控制单元下发任务指令，并监控作业执行过程中执行单元各关节的位姿信息，直到作业任务完成，其中，所述任务指令包括：执行单元各关节位姿解算结果，路径规划信息和导引信息。进一步地，所述控制单元，具体用于基于动力学和运动学分析，建立阻抗控制机制，根据信息处理单元下发的任务指令和力觉交互单元输出的期望执行单元各关节的位姿，向驱动单元下发控制指令。进一步地，所述驱动单元采用的驱动方式是电气驱动；所述驱动单元，还用于将动力单元的工作情况反馈给控制单元。进一步地，所述动力单元包括：伺服电机和UPS电源；所述伺服电机，用于为执行单元作业提供动力，控制执行单元各关节的位姿，使得执行单元完成相应作业任务；所述UPS电源，用于为系统供电。进一步地，所述执行单元，还用于向驱动单元反馈各关节的位姿信息；所述执行单元包括：机械臂；所述机械臂是一个多输入多输出、非线性、耦合的末端执行机构。进一步地，所述力觉交互单元通过输出增强现实环境中的机械阻抗来模拟实际存在的物理交互，使操作者与增强现实环境实现了物理上的连接；所述力觉交互单元基于力反馈的阻抗控制采用六维力传感器采集操作者的作用力，实现了力控制的闭环。本专利技术的上述技术方案的有益效果如下：上述方案中，通过采集单元采集作业场景和实时作业信息，将采集的信息通过控制单元传输至信息处理单元；信息处理单元根据采集的信息、控制单元反馈的执行单元各关节实际的位姿，构建增强现实显示，并确定作业模式，根据确定的作业模式，对控制单元下发任务指令；视觉交互单元增强现实的显示远端作业场景和实时作业信息，辅助完成人机协同作业；力觉交互单元根据控制单元接收到的任务指令、执行单元末端力信息，基于力反馈，通过控制单元实时远端控制执行单元作业，完成人机协同作业；控制单元根据信息处理单元下发的任务指令和力觉交互单元输出的期望执行单元各关节的位姿，向驱动单元下发控制指令；驱动单元将控制单元下发的控制指令分解为力矩和转速以驱动动力单元提供执行单元作业所需的动力；执行单元根据动力单元提供的动力，执行自主和人机协同两种作业模式下的作业任务；采集单元实时反馈作业场景、执行单元的位姿信息，反馈给控制单元形成闭环控制，保障顺利完成作业目标。这样，采用基于视觉反馈、力觉反馈的人机交互方式来进行自主或人机协同作业，能够有效的提高人机交互操作作业效率，提高人机交互系统的智能性和交互性，实现基于力/视觉反馈的人机交互操作系统智能化、自主化及友好化交互作业。附图说明图1为本专利技术实施例提供的人机交互操作系统的结构示意图；图2为本专利技术实施例提供的视觉交互单元工作原理示意图；图3为本专利技术实施例提供的信号处理单元的工作流程示意图；图4为本专利技术实施例提供的力觉交互单元工作流程示意图；图5为本专利技术实施例提供的控制单元工作原理图；图6为本专利技术实施例提供的驱动单元工作流程示意图；；图7为本专利技术实施例提供的执行单元工作流程图；图8为本专利技术实施例提供的阻抗控制原理示意图。具体实施方式为使本专利技术要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。本文档来自技高网...

【技术保护点】
1.一种人机交互操作系统，其特征在于，包括：采集单元、信息处理单元、视觉交互单元、力觉交互单元、控制单元、驱动单元、动力单元和执行单元；其中，所述采集单元，用于采集作业场景和实时作业信息，将采集的信息通过控制单元传输至信息处理单元，其中，所述作业信息包括：执行单元各关节的位姿信息；所述信息处理单元，用于根据采集的信息、控制单元反馈的执行单元各关节实际的位姿，构建增强现实显示，并确定作业模式，根据确定的作业模式，对控制单元下发任务指令，其中，所述作业模式包括：自主作业模式和人机协同作业模式；所述视觉交互单元，用于增强现实的显示远端作业场景和实时作业信息；所述力觉交互单元，用于根据控制单元接收到的任务指令、执行单元末端力信息，基于力反馈，通过控制单元实时远端控制执行单元作业；所述控制单元，用于根据信息处理单元下发的任务指令和力觉交互单元输出的期望执行单元各关节的位姿，向驱动单元下发控制指令；所述驱动单元，用于将控制单元下发的控制指令分解为力矩和转速以驱动动力单元提供执行单元作业所需的动力；所述执行单元，用于根据动力单元提供的动力，执行自主和人机协同两种作业模式下的作业任务。

【技术特征摘要】
1.一种人机交互操作系统，其特征在于，包括：采集单元、信息处理单元、视觉交互单元、力觉交互单元、控制单元、驱动单元、动力单元和执行单元；其中，所述采集单元，用于采集作业场景和实时作业信息，将采集的信息通过控制单元传输至信息处理单元，其中，所述作业信息包括：执行单元各关节的位姿信息；所述信息处理单元，用于根据采集的信息、控制单元反馈的执行单元各关节实际的位姿，构建增强现实显示，并确定作业模式，根据确定的作业模式，对控制单元下发任务指令，其中，所述作业模式包括：自主作业模式和人机协同作业模式；所述视觉交互单元，用于增强现实的显示远端作业场景和实时作业信息；所述力觉交互单元，用于根据控制单元接收到的任务指令、执行单元末端力信息，基于力反馈，通过控制单元实时远端控制执行单元作业；所述控制单元，用于根据信息处理单元下发的任务指令和力觉交互单元输出的期望执行单元各关节的位姿，向驱动单元下发控制指令；所述驱动单元，用于将控制单元下发的控制指令分解为力矩和转速以驱动动力单元提供执行单元作业所需的动力；所述执行单元，用于根据动力单元提供的动力，执行自主和人机协同两种作业模式下的作业任务。2.根据权利要求1所述的人机交互操作系统，其特征在于，所述采集单元包括：垂直陀螺仪、双目相机、激光雷达、六维力传感器和防碰撞超声波传感器；其中，所述垂直陀螺仪，用于检测执行单元的横滚角和俯仰角，确定执行单元末端姿态信息，并将确定的执行单元末端姿态信息通过控制单元传输至信息处理单元；所述双目相机，用于实时采集作业环境和作业目标的位置状态，并将所采集的作业环境和作业目标的位置状态通过控制单元传输至信息处理单元；所述激光雷达，用于扫描作业环境，建立作业环境三维点云，并将建立的作业环境三维点云通过控制单元传输至信息处理单元；所述六维力传感器，用于实时采集执行单元末端力信息，将采集到的力信息通过控制单元传输至力觉交互单元和信息处理单元；所述防碰撞超声波传感器，用于执行单元作业过程中，实时检测执行单元与障碍物间的距离，并将距离通过控制单元传输至信息处理单元。3.根据权利要求1所述的人机交互操作系统，其特征在于，所述力觉交互单元，采用串并联平动转动机构，具有航空钛合金构建的六自由度本体和重力补偿机制；其中，所述串并联平动转动机构包括：Delta平动并联机构和串联转动机构；所述六...

【专利技术属性】
技术研发人员：解仑，李连鹏，潘航，王志良，王先梅，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：北京,11