基于视觉和力觉触觉增强现实的工业人机交互系统及方法技术方案

本发明专利技术涉及一种基于视觉和力觉触觉增强现实的工业人机交互系统，包括被控设备、增强现实智能设备以及穿戴在操作者指尖或者由操作者手持的指尖力觉/触觉反馈设备；所述增强现实智能设备运行被控设备App，并将被控设备App软件界面叠加在物理环境上显示，利用增强现实智能设备上的传感器检测计算指尖力觉/触觉反馈设备的位置，然后判断指尖力觉/触觉反馈设备与被控设备App软件界面是否碰撞，若碰撞，则向被控设备App发送界面碰撞指令和碰撞点，被控设备App解析碰撞指令和碰撞点，生成鼠标指令，执行鼠标指令生成对应的设备操作指令，将设备操作指令发送给被控设备，从而实现操作者与被控设备App软件界面间的人机交互。

【技术实现步骤摘要】
基于视觉和力觉触觉增强现实的工业人机交互系统及方法
本专利技术涉及一种基于视觉和力觉触觉增强现实的工业人机交互系统及方法，属于人机交互和工业测量控制领域。
技术介绍
当前工业现场有很多人机界面，包括工业触摸屏、仪表等，这些人机界面通常与设备直接连接，每台设备都需要一个人机交互界面，系统集成时间长、成本高、灵活性低。公开号为CN107506037A的专利技术专利《一种基于增强现实的控制设备的方法和装置》，该技术方案检测用户眼球聚焦一设备时，确定该设备为待识别的设备，进而用户通过智能交互方式对目标设备信息中的控制菜单进行操作。该方案必须使用户与设备位于相同的位置空间内，才能使眼球注视到被控制设备，人机交互过程依然受到空间限制，无法使人机交互摆脱空间限制随人走动，且识别图像处理过程复杂。除此之外，该技术方案的智能交互方式无法将交互有效性及时反馈给用户，即无法及时获知用户的操作是否已被系统识别。本专利技术旨在专利技术一种基于视觉和力觉/触觉增强现实的工业人机交互系统及方法，以克服上述缺点。
技术实现思路
为了解决上述技术问题，本专利技术提供一种基于视觉和力觉触觉增强现实的工业人机交互系统，其替代传统工业的触摸屏，提高人机交互的便利性，且能够及时反馈交互的有效性。本专利技术的技术方案如下：基于视觉和力觉触觉增强现实的工业人机交互系统，包括被控设备、增强现实智能设备以及穿戴在操作者指尖或者由操作者手持的指尖力觉/触觉反馈设备；所述增强现实智能设备运行被控设备App，并将被控设备App软件界面叠加在物理环境上显示，利用增强现实智能设备上的传感器检测计算指尖力觉/触觉反馈设备的位置，然后判断指尖力觉/触觉反馈设备与被控设备App软件界面是否碰撞，若未碰撞，则向被控设备App发送未碰撞指令；若碰撞，则向被控设备App发送界面碰撞指令和碰撞点，被控设备App解析碰撞指令和碰撞点，生成鼠标指令，执行所述鼠标指令生成对应的设备操作指令，将所述设备操作指令发送给被控设备，从而实现操作者与被控设备App软件界面间的人机交互。更优地，发生碰撞时，向被控设备App发送界面碰撞指令和碰撞点的同时，还向指尖力觉/触觉反馈设备发送界面碰撞指令；所述指尖力觉/触觉反馈设备接受到界面碰撞指令后给操作者以力觉/触觉反馈，以提示操作者已完成点击动作；未发生碰撞时，向被控设备App发送未碰撞指令的同时，也向指尖力觉/触觉反馈设备发送未碰撞指令；被控设备App还接收并解析被控设备发送的信息，然后显示在其软件界面上。更优地，所述工业人机交互系统还包括用于提供下载被控设备App的云服务器，所述增强现实智能设备还包括App管理软件，在所述增强现实智能设备上先运行所述App管理软件，进而通过所述App管理软件查找并运行被控设备App；所述App管理软件包括App数据存储表、增强现实注册模块、与指尖力觉/触觉反馈设备交互的交互模块、被控设备代号输入模块；所述App数据存储表存储被控设备代码与被控设备App之间的映射关系；所述被控设备代号输入模块用于输入被控设备的代号，根据代号查询被控设备App，若存在于所述增强现实智能设备，则启动并运行该被控设备App，隐藏App管理软件界面；若不存在，则访问所述云服务器，从云服务器上下载该被控设备App，并将被控设备代号和对应的被控设备App名称添加到App数据存储表中，启动运行该被控设备App，隐藏App管理软件界面；所述增强现实注册模块将被控设备App软件界面以及App管理软件界面叠加在物理环境中显示；所述交互模块利用增强现实智能设备上的传感器采集指尖力觉/触觉反馈设备的图像并计算指尖力觉/触觉反馈设备在传感器坐标上的位置，然后在增强现实智能设备所呈现的虚拟环境中以代理点表示指尖力觉/触觉反馈设备所在位置；根据代理点的位置和被控设备App软件界面在增强现实智能设备所呈现的虚拟环境中的显示方位，检测是否碰撞的过程为：若代理点接触或者穿透所述被控设备App软件界面，则发生碰撞，则由交互模块生成鼠标指令，然后向被控设备App发送界面碰撞指令和鼠标指令，若代理点位于操作者与被控设备App软件界面之间，则未发生碰撞。更优地，被控设备的代号输入方式包括扫描条形码、二维码、设备图像识别以及指尖力觉/触觉反馈设备位置跟踪输入。更优地，所述鼠标指令生成过程为：将当前发生的碰撞还结合上一次发生碰撞的时间间隔和碰撞点，生成单击、双击以及拖拽的鼠标指令：若两次发生碰撞的碰撞点间的距离小于距离阈值、间隔时间小于时间阈值且两次碰撞之间有检测到未碰撞，即碰撞-未碰撞-碰撞，则解析为双击鼠标指令；若检测到碰撞-未碰撞，且在后续的预设的时间段内未检测到碰撞，则解析为鼠标单击指令；若一直检测到碰撞，则解析为拖拽鼠标指令，界面拖拽区域为第一碰撞点到当前碰撞点。更优地，被控设备App接收到碰撞指令后，在碰撞点显示设定的图形或动画，从视觉上提示操作者。本专利技术还一种基于视觉和力觉触觉增强现实的工业人机交互方法，技术方案如下：步骤10、在增强现实智能设备上运行被控设备App，建立被控设备App与被控设备间的连接，并将被控设备App软件界面叠加在物理环境上显示；步骤20、利用增强现实智能设备上的传感器检测计算指尖力觉/触觉反馈设备的位置，然后判断指尖力觉/触觉反馈设备与被控设备App软件界面是否碰撞，若未碰撞，则向被控设备App发送未碰撞指令，若碰撞，则向被控设备App发送界面碰撞指令和碰撞点；所述指尖力觉/触觉反馈设备穿戴在操作者指尖，或由操作者手持；步骤30、被控设备App解析碰撞指令和碰撞点，生成鼠标指令，执行所述鼠标指令生成对应的设备操作指令，将所述设备操作指令发送给被控设备，从而实现操作者与被控设备App软件界面间的人机交互。更优地，所述步骤20中，发生碰撞时，向被控设备App发送界面碰撞指令和碰撞点的同时，还向指尖力觉/触觉反馈设备发送界面碰撞指令；所述指尖力觉/触觉反馈设备接受到界面碰撞指令后给操作者以力觉/触觉反馈，以提示操作者已完成点击动作；未发生碰撞时，向被控设备App发送未碰撞指令的同时，也向指尖力觉/触觉反馈设备发送未碰撞指令；所述步骤30之后还包括步骤40：步骤40、被控设备App还接收并解析被控设备发送的信息，然后显示在其软件界面上。更优地，在步骤10之前，还包括如下步骤：步骤00、在所述增强现实智能设备上运行App管理软件，建立App管理软件与指尖力觉/触觉反馈设备通信，利用增强现实技术将App管理软件界面叠加在物理环境上显示；步骤01、App管理软件界面上输入被控设备代号；被控设备的代号输入方式包括扫描条形码、二维码、设备图像识别以及指尖力觉/触觉反馈设备位置跟踪输入；步骤02、查询该被控设备App，如存在，执行步骤10；如果不存在，执行步骤03；步骤03、根据被控设备代号从云服务器下载并安装该被控设备App，并将被控设备代号和对应的被控设备App名称添加到App管理软件中；然后执行步骤10至步骤30：所述步骤10包括：步骤11、启动运行该被控设备App，隐藏App管理软件界面，后台运行；步骤12、利用增强现实技术将被控设备App软件界面显叠加在物理环境上显示；所述步骤20包括：步骤21、利用增强现实智能设备上的传感器采集指尖力觉/触觉反馈设备的图像本文档来自技高网...

【技术保护点】
1.基于视觉和力觉触觉增强现实的工业人机交互系统，其特征在于，包括被控设备、增强现实智能设备以及穿戴在操作者指尖或者由操作者手持的指尖力觉/触觉反馈设备；所述增强现实智能设备运行被控设备App，并将被控设备App软件界面叠加在物理环境上显示，利用增强现实智能设备上的传感器检测计算指尖力觉/触觉反馈设备的位置，然后判断指尖力觉/触觉反馈设备与被控设备App软件界面是否碰撞，若未碰撞，则向被控设备App发送未碰撞指令；若碰撞，则向被控设备App发送界面碰撞指令和碰撞点，被控设备App解析碰撞指令和碰撞点，生成鼠标指令，执行所述鼠标指令生成对应的设备操作指令，将所述设备操作指令发送给被控设备，从而实现操作者与被控设备App软件界面间的人机交互。

【技术特征摘要】
1.基于视觉和力觉触觉增强现实的工业人机交互系统，其特征在于，包括被控设备、增强现实智能设备以及穿戴在操作者指尖或者由操作者手持的指尖力觉/触觉反馈设备；所述增强现实智能设备运行被控设备App，并将被控设备App软件界面叠加在物理环境上显示，利用增强现实智能设备上的传感器检测计算指尖力觉/触觉反馈设备的位置，然后判断指尖力觉/触觉反馈设备与被控设备App软件界面是否碰撞，若未碰撞，则向被控设备App发送未碰撞指令；若碰撞，则向被控设备App发送界面碰撞指令和碰撞点，被控设备App解析碰撞指令和碰撞点，生成鼠标指令，执行所述鼠标指令生成对应的设备操作指令，将所述设备操作指令发送给被控设备，从而实现操作者与被控设备App软件界面间的人机交互。2.根据权利要求1所述的基于视觉和力觉触觉增强现实的工业人机交互系统，其特征在于：发生碰撞时，向被控设备App发送界面碰撞指令和碰撞点的同时，还向指尖力觉/触觉反馈设备发送界面碰撞指令；所述指尖力觉/触觉反馈设备接受到界面碰撞指令后给操作者以力觉/触觉反馈，以提示操作者已完成点击动作；未发生碰撞时，向被控设备App发送未碰撞指令的同时，也向指尖力觉/触觉反馈设备发送未碰撞指令；被控设备App还接收并解析被控设备发送的信息，然后显示在其软件界面上。3.根据权利要求1所述的基于视觉和力觉触觉增强现实的工业人机交互系统，其特征在于：还包括用于提供下载被控设备App的云服务器，所述增强现实智能设备还包括App管理软件，在所述增强现实智能设备上先运行所述App管理软件，进而通过所述App管理软件查找并运行被控设备App；所述App管理软件包括App数据存储表、增强现实注册模块、与指尖力觉/触觉反馈设备交互的交互模块、被控设备代号输入模块；所述App数据存储表存储被控设备代码与被控设备App之间的映射关系；所述被控设备代号输入模块用于输入被控设备的代号，根据代号查询被控设备App，若存在于所述增强现实智能设备，则启动并运行该被控设备App，隐藏App管理软件界面；若不存在，则访问所述云服务器，从云服务器上下载该被控设备App，并将被控设备代号和对应的被控设备App名称添加到App数据存储表中，启动运行该被控设备App，隐藏App管理软件界面；所述增强现实注册模块将被控设备App软件界面以及App管理软件界面叠加在物理环境中显示；所述交互模块利用增强现实智能设备上的传感器采集指尖力觉/触觉反馈设备的图像并计算指尖力觉/触觉反馈设备在传感器坐标上的位置，然后在增强现实智能设备所呈现的虚拟环境中以代理点表示指尖力觉/触觉反馈设备所在位置；根据代理点的位置和被控设备App软件界面在增强现实智能设备所呈现的虚拟环境中的显示方位，检测是否碰撞的过程为：若代理点接触或者穿透所述被控设备App软件界面，则发生碰撞，则由交互模块生成鼠标指令，然后向被控设备App发送界面碰撞指令和鼠标指令，若代理点位于操作者与被控设备App软件界面之间，则未发生碰撞。4.根据权利要求3所述的基于视觉和力觉触觉增强现实的工业人机交互系统，其特征在于：被控设备的代号输入方式包括扫描条形码、二维码、设备图像识别以及指尖力觉/触觉反馈设备位置跟踪输入。5.根据权利要求1或3所述的基于视觉和力觉触觉增强现实的工业人机交互系统，其特征在于：所述鼠标指令生成过程为：将当前发生的碰撞还结合上一次发生碰撞的时间间隔和碰撞点，生成单击、双击以及拖拽的鼠标指令：若两次发生碰撞的碰撞点间的距离小于距离阈值、间隔时间小于时间阈值且两次碰撞之间有检测到未碰撞，即碰撞-未碰撞-碰撞，则解析为双击鼠标指令；若检测到碰撞-未碰撞，且在后续的预设的时间段内未检测到碰撞，则解析为鼠标单击指令；若一直检测到碰撞，则解析为拖拽鼠标指令，界面拖拽区域为第一碰撞点到当前碰撞点。6.根据权利要求1所述的基于视觉和力觉触觉增强现实的工业人机交互系统，其特征在于：被控设备App接收到碰撞指令后，在碰撞...

【专利技术属性】
技术研发人员：陈成军，李东年，于浩，洪军，井陆阳，
申请(专利权)人：青岛理工大学，
类型：发明
国别省市：山东,37