一种可触摸现场实时视频图像的远程呈现交互方法和系统技术方案

本发明专利技术提出的一种可触摸现场实时视频图像的远程呈现交互方法和系统，属于人机交互技术领域。包括一种可触摸现场实时视频图像的远程呈现交互方法(简称本方法)和一种可触摸现场实时视频图像的远程呈现交互系统，简称本系统；本系统由包括远程呈现机器人和远程可交互装置的本地空间和包括用户、带有触摸屏的计算装置和TIUI的远程空间组成。远程呈现机器人作为用户化身，在本地空间中移动，并获取本地空间的现场实时视频图像；无线网络将视频图像传送到远程空间；远程空间中的用户通过掌上电脑触摸屏上的TIUI，使用触摸点击及拖拽操作，完成与远程可交互装置的远程呈现交互。本发明专利技术增强了用户体验，提高了交互效率。

【技术实现步骤摘要】

本专利技术涉及一种远程呈现交互方式的设计，尤其涉及一种可触摸现场实时视频图像的远程呈现交互方法和系统，属于人机交互

技术介绍
如今我们可以通过网络相机获取世界任意地点的现场实时视频图像(LiveVideoImage)，并与该地点的人们进行交流，与该地点中的设备进行交互，就好像我们在现场一样。目前，有很多远程交互方式和系统，例如视频会议、远程操作机器人、远程健康护理以及远程呈现机器人(telepresencerobot)等。这些系统多是采用传统的远程交互方式，即用户在远程空间(remotespace)中的用户界面上通过键盘、鼠标、操作杆以及图形界面来与本地空间(localspace)进行交互。这些系统通常是为特定的任务设计并且需要经过训练的操作员进行操作。触屏技术的发展，为实现更加自然且更加普适的人机交互提供了支撑。触屏交互摆脱了输入设备的限制，实现了人与设备的直观交互。触屏技术让计算机、手机、Pad等设备变成了可触摸交互的智能设备，用户可以直接用手指点击屏幕从而便捷地完成操作。一些远程交互系统也采用掌上计算机或平板电脑、智能手机以及其他移动装置作为交互设备，在现场视频图像上叠加图形用户界面，通过点击图形用户界面上的虚拟按钮来进行交互操作。上述已有的远程交互技术虽然可以实现远程交互，但是这些远程交互技术无法直接利用现有装置成熟的、符合人体工效学的控制面板，需要设计额外的图形用户界面，并且用户使用时需要预先进行相应的训练，限制了远程呈现交互的应用范围，降低了远程交互的效果和用户体验。为了实现更好的远程交互效果和用户体验，本专利技术设计了一种可触摸现场实时视频图像的用户界面，简称TIUI(TouchablelivevideoImagebasedUserInterface)，实现远程呈现交互。具体通过远程呈现机器人获取本地空间现场实时视频图像，用户在远程空间通过TIUI直接触摸本地空间的现场实时视频图像，实现与本地空间中物体和环境交互，称为远程呈现交互方法。通过直接触摸现场实时视频图像进行远程呈现交互，可以直接利用现有装置成熟的、符合人体工效学的控制面板,无需设计额外的图形用户界面；可以给用户身临其境的用户体验；并且，借助于智能手机、平板等掌上电脑设备，可以在移动的情况下随时随地的进行远程呈现交互。
技术实现思路
本专利技术的目的是克服现有远程交互方法和系统在易用性以及用户体验方面的技术缺陷，进一步提升远程交互的效果和用户体验，提出了一种可触摸现场实时视频图像的远程呈现交互方法和系统。一种可触摸现场实时视频图像的远程呈现交互方法和系统，包括一种可触摸现场实时视频图像的远程呈现交互方法(简称本方法)和一种可触摸现场实时视频图像的远程呈现交互系统，(简称本系统)；其中，本系统包括本地空间和远程空间；本地空间中包含远程呈现机器人和远程可交互装置；远程空间中包括用户、带有触摸屏的计算装置和TIUI；其中，带有触摸屏的计算装置至少可以为掌上电脑和智能手机；本地空间和远程空间通过无线网络连接；其中，TIUI是一种基于可触摸现场实时视频图像的用户界面，用于触摸带有触摸屏的计算装置；计算装置包括远程空间无线通信网络模块；远程可交互装置和智能家居(或智能办公装置)的主要区别是前者每一个装置是完全独立的，由远程直接控制，该装置的识别主要通过计算机视觉方法或/和条形码标签方法实现；后者装置需要事先固定，并连接到本地中央控制单元，由本地控制单元接收远程控制；远程可交互装置也可以是远程呈现机器人；远程呈现机器人由计算机、移动底座和机器人头部组成；其中，机器人头部包括呈现用户的显示屏、前视摄像头、俯视广角摄像头、扬声器、麦克风、云台和升降杆；远程可交互装置包括标识(id)、驱动器(actuator)和本地空间无线通信网络模块；其中，标识是指独一无二的特征，可以用计算机视觉的方法识别，也可以用二维条形码标签来标识；比如，家里的空调、监控摄像机、窗帘、照明灯，都可以用计算机视觉的方法识别外观，同人的视觉识别方法一样；也可以用他们的二维码进行区分；计算机视觉技术在识别外观相同的两个装置时，还要识别装置所处的位置，以区分这两个装置，或用定位技术获取装置的位置参数：比如，室内有两个窗帘，可以通过定位技术区分不同位置的窗帘，实现不同窗帘的控制；驱动器是指电机、继电器为主的电能到机械能或其它能量形式的转化装置；本地空间无线通信网络模块，比如WIFI模块，是实现远程可交互装置与互联网连接的重要工具；本系统中各组成部分的功能如下：远程可交互装置的功能是实现远程交互；其中，标识的功能是用于区分两个装置；驱动器的功能是实现自动控制；无线通信网络的功能是实现远程可交互装置与互联网连接；远程呈现机器人中的升降杆的功能是使远程呈现机器人根据不用的应用场景调节头部高度；云台的功能是使远程呈现机器人左右和上下运动头部，更便捷地获取现场实时视频图像；一种可触摸现场实时视频图像的远程呈现交互方法(简称本方法)，包括如下步骤：步骤一、远程呈现机器人利用计算机视觉的方法，直接识别远程可交互装置或通过远程可交互装置的二维码标签识别该装置，具体为：步骤1.1远程呈现机器人利用计算机视觉的方法直接识别远程可交互装置，并根据是否识别了远程可交互装置，决定是否进行步骤1.2的操作，若已经识别，直接跳到步骤二；若未识别，跳至步骤1.2；其中，通过计算机视觉的方法识别远程可交互装置通常是通过提取图像特征进行识别，比如颜色、纹理、表观和形状；步骤1.2当通过计算机视觉的方法无法准确识别远程可交互装置时，本专利技术使用二维码作为远程可交互装置的标识进行识别，此种识别方法简单，计算效率高，识别率达到100％；其中，二维码包含了装置名称、装置位置、连接接口、操作指令为主的信息；步骤二、远程呈现机器人在本地空间中移动来获取本地空间的现场实时视频图像，具体为：2.1远程呈现机器人通过机器人头部的前视摄像头获取本地空间的现场实时视频图像用于远程呈现交互；2.2机器人头部的俯视广角摄像头获取机器人底座及其周围环境图像，用于用户操作远程呈现机器人运动的反馈视觉信息；步骤三、计算机将两个摄像头采集的视频图像实时拼接，形成的拼接视频图像作为现场实时视频图像，通过本地空间无线通信网络模块传输给远程空间的TIUI；其中，拼接视频图像分为上下两部分，上部分为前视摄像机采集的本地空间视频图像，下部分来自俯视广角摄像头采集的机器人底座及周围环境图像；步骤四、用户在TIUI上触摸步骤三输出的拼接视频图像，实现与本地空间中的远程可交互装置的交互及控制远程呈现机器人在本地空间的运动，具体为：4.1用户触摸拼接视频图像的上部分，完成用户与远程可交互装置的交互任务，也能控制云台转动，转动前视摄像头获取左右上下方位的图像，能控制升降杆上下运动，调整机器人高度；4.2用户触摸拼接视频图像的下部分，完成远程呈现机器人的运动，也可以对导航路径、障碍物、安全区域、目的地为主的信息进行标记；其中，为了便于用户区分和使用方便，针对4.1和4.2的不同操作定义了单手指触摸手势和双手指触摸手势两类触摸手势；其中，单手指触摸手势用于操作远程可交互装置，具体用于标记地面导航路径和障碍物；具体为：当步骤一中识别远程可交互装置采用步骤1.2，即二维本文档来自技高网...

【技术保护点】
一种可触摸现场实时视频图像的远程呈现交互方法和系统，其特征在于：包括一种可触摸现场实时视频图像的远程呈现交互方法(简称本方法)和一种可触摸现场实时视频图像的远程呈现交互系统，简称本系统；其中，本系统包括本地空间和远程空间；本地空间中包含远程呈现机器人和远程可交互装置；远程空间中包括用户、带有触摸屏的计算装置和TIUI；其中，带有触摸屏的计算装置至少可以为掌上电脑和智能手机；本地空间和远程空间通过无线网络连接；其中，TIUI是一种基于可触摸现场实时视频图像的用户界面，用于触摸带有触摸屏的计算装置；计算装置包括远程空间无线通信网络模块；远程可交互装置和智能家居(或智能办公装置)的主要区别是前者每一个装置是完全独立的，由远程直接控制，该装置的识别主要通过计算机视觉方法或/和条形码标签方法实现；后者装置需要事先固定，并连接到本地中央控制单元，由本地控制单元接收远程控制；远程可交互装置也可以是远程呈现机器人；远程呈现机器人由计算机、移动底座和机器人头部组成；其中，机器人头部包括呈现用户的显示屏、前视摄像头、俯视广角摄像头、扬声器、麦克风、云台和升降杆。

【技术特征摘要】
2015.09.14 CN 20151058260651.一种可触摸现场实时视频图像的远程呈现交互方法和系统，其特征在于：包括一种可触摸现场实时视频图像的远程呈现交互方法(简称本方法)和一种可触摸现场实时视频图像的远程呈现交互系统，简称本系统；其中，本系统包括本地空间和远程空间；本地空间中包含远程呈现机器人和远程可交互装置；远程空间中包括用户、带有触摸屏的计算装置和TIUI；其中，带有触摸屏的计算装置至少可以为掌上电脑和智能手机；本地空间和远程空间通过无线网络连接；其中，TIUI是一种基于可触摸现场实时视频图像的用户界面，用于触摸带有触摸屏的计算装置；计算装置包括远程空间无线通信网络模块；远程可交互装置和智能家居(或智能办公装置)的主要区别是前者每一个装置是完全独立的，由远程直接控制，该装置的识别主要通过计算机视觉方法或/和条形码标签方法实现；后者装置需要事先固定，并连接到本地中央控制单元，由本地控制单元接收远程控制；远程可交互装置也可以是远程呈现机器人；远程呈现机器人由计算机、移动底座和机器人头部组成；其中，机器人头部包括呈现用户的显示屏、前视摄像头、俯视广角摄像头、扬声器、麦克风、云台和升降杆。2.根据权利要求1所述的一种可触摸现场实时视频图像的远程呈现交互方法和系统，其特征还在于：远程可交互装置包括标识(id)、驱动器(actuator)和本地空间无线通信网络模块；其中，标识是指独一无二的特征，可以用计算机视觉的方法识别，也可以用二维条形码标签来标识；比如，家里的空调、监控摄像机、窗帘、照明灯，都可以用计算机视觉的方法识别外观，同人的视觉识别方法一样；也可以用他们的二维码进行区分；计算机视觉技术在识别外观相同的两个装置时，还要识别装置所处的位置，以区分这两个装置，或用定位技术获取装置的位置参数：比如，室内有两个窗帘，可以通过定位技术区分不同位置的窗帘，实现不同窗帘的控制；驱动器是指电机、继电器为主的电能到机械能或其它能量形式的转化装置；本地空间无线通信网络模块，比如WIFI模块，是实现远程可交互装置与互联网连接的重要工具。3.根据权利要求1所述的一种可触摸现场实时视频图像的远程呈现交互方法和系统，其特征还在于：本系统中各组成部分的功能如下：远程可交互装置的功能是实现远程交互；其中，标识的功能是用于区分两个装置；驱动器的功能是实现自动控制；无线通信网络的功能是实现远程可交互装置与互联网连接；远程呈现机器人中的升降杆的功能是使远程呈现机器人根据不用的应用场景调节头部高度；云台的功能是使远程呈现机器人左右和上下运动头部，更便捷地获取现场实时视频图像。4.根据权利要求1所述的一种可触摸现场实时视频图像的远程呈现交互方法和系统，其特征还在于：一种可触摸现场实时视频图像的远程呈现交互方法(简称本方法)，包括如下步骤：步骤一、远程呈现机器人利用计算机视觉的方法，直接识别远程可交互装置或通过远程可交互装置的二维码标签识别该装置；步骤二、远程呈现机器人在本地空间中移动来获取本地空间的现场实时视频图像；步骤三、计算机将两个摄像头采集的视频图像实时拼接，形成的拼接视频图像作为现场实时视频图像，通过本地空间无线通信网络模块传输给远程空间的TIUI；步骤四、用户在TIUI上触摸步骤三输出的拼接视频图像，实现与本地空间中的远程可交互装置的交互及控制远程呈现机器人在本地空间的运动；至此，从步骤一到步骤四，完成了一种可触摸现场实时视频图像的远程呈现交互方法。5.根据权利要求...

【专利技术属性】
技术研发人员：贾云得，沈家峻，许彬，裴明涛，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11