一种可视可操作无实体的触摸屏系统技术方案

本发明专利技术属于人机交互技术领域，是作为一种可视可操作无实体的触摸屏系统，该系统由一台计算机，两个网络摄像头，一个头戴式显示器，以及一个标定参照物组成，该参照物标定了一个虚拟触摸屏。用户可以通过头戴式显示器观察含有虚拟触摸屏的现实世界，并且可以直接用手操作没有实体的触摸屏。本发明专利技术采用两个摄像头进行实时的图像采集。计算机系统根据摄像头输入的图像，在标定参照物的配合下进行空间定标与指尖位置动作识别，并且合成相应的图像。头戴式显示器把含有虚拟触摸屏的图像输出给用户，用户通过头戴式显示器直接观察到虚拟触摸屏的反馈。本发明专利技术可以用于人机交互领域，特别适合作为便携式计算机或多媒体交互体验系统的人机交互设备。

A visual, operable, disembodied touch screen system

The invention belongs to the field of human-computer interaction technology, as a kind of visual operation without physical touch screen system, the system consists of a computer, two network camera, a head mounted display, and a calibration reference, the reference calibration of a virtual touch screen. Users can observe the real world of virtual touch screens through the head mounted display device and can operate the touch screen without entity directly by hand. The invention adopts two cameras to carry out real-time image acquisition. According to the image inputted by the camera, the computer system carries out the space calibration and the fingertip action recognition under the coordination of the reference object, and synthesizes the corresponding image. The head mounted display outputs the image containing the virtual touch screen to the user, and the user directly monitors the feedback of the virtual touch screen through the head mounted display. The invention can be used in the field of human-computer interaction, and is especially suitable as a human-computer interaction device for a portable computer or a multimedia interactive experience system.

【技术实现步骤摘要】

本专利技术属于人机交互
，具体涉及一种可视可操作的触摸屏系统。
技术介绍
在很多虚拟现实系统中，用户使用数据手套、指示笔、三维鼠标代替鼠标和键盘进行操作。它们能适应虚拟现实系统中空间定位的要求，扩展了操作的形式。但是，它们有共同的缺点使用不自然。用户使用这些器材的时候，有的要佩戴沉重的设备，有的要连着限制活动范围的数据线。以虚拟现实为代表的计算机系统的拟人化和以手持电脑、智能手机为代表的计算机的微型化、随身化、嵌入化,是当前计算机的两个重要的发展趋势，而以鼠标和键盘为代表的GUI技术是影响它们发展的瓶颈。所以，脱离设备，使用人的感觉和动作来进行输入越来越受到人们重视。另一方面，在虚拟现实的人机交互中，人们不单需要有自然的输入，还需要自然的输出。人们希望观察的虚拟世界就在他们周围，而不仅限于屏幕中。这样人们才能以平常观察物体的方式，从自己喜欢的角度观看并获取需要的信息。研究者开始抛弃传统的固定显示器，提出了用投影以及头戴式显示器来进行输出的方法，或者是使用三维全息显示设备来向人们展示虚拟的物体。CN1912816A号专利公告公布了一种基于多摄像头的虚拟触摸屏系统。该系统有2个或本文档来自技高网...

【技术保护点】
一种可视可操作无实体的触摸屏系统，其特征在于包括一台计算机，两个网络摄像头，一个头戴式显示器，一个标定参照物，该标定参照物标定了一个供用户手部触摸操作的虚拟触摸屏；两个网络摄像头和计算机连接，计算机再与头戴式显示器连接；头戴式显示器佩戴于用户眼前，两个网络摄像头分别设置于头戴式显示器左右上方，用于拍摄用户手部以及标定参照物，实时捕获得到视频图像；两个网络摄像头拍摄方向所在射线相交，在同一水平面上成３０到９０度的夹角；网络摄像头把捕获的视频帧传送到计算机；计算机中设有计算软件系统，该软件系统根据标定参照物在视频帧中的图像，计算得到当前摄像头所在的方位，从而确定虚拟触摸屏所在位置，并根据人手在视频...

【技术特征摘要】

【专利技术属性】
技术研发人员：许景禧，沈一帆，
申请(专利权)人：复旦大学，
类型：发明
国别省市：31[中国|上海]