基于体感设备的人机交互集成装置制造方法及图纸

本发明专利技术公开了一种基于体感设备的人机交互集成装置，包括：Kinect摄像头，用于获取用户的骨骼图像信息和深度图像信息；Leap Motion体感设备，用于获取用户的手部或工具图像信息；摄像头，用于获取位于Kinect摄像头视觉盲区的图像信息，位于所述Kinect摄像头的一侧；处理终端，用于接收并处理所述骨骼图像信息、深度图像信息、手部或工具图像信息和位于Kinect摄像头视觉盲区的图像信息；显示终端，用于显示初始图像，并将经过处理终端处理后的图像信息进行动态显示，以实现人机交互操作。采用本发明专利技术，实现了远距离、近距离以及各种手势或者工具的识别操作，大大提升了3D虚拟现实的人机交互的体感享受。

Human machine interaction integrated device based on somatosensory device

The invention discloses a man-machine integration device, somatosensory equipment based on Kinect camera, including: for bone image information and depth image information from the user; Leap Motion somatosensory equipment, hand tools or for obtaining image information of the user; the camera, used to acquire image information in Kinect camera visual blind area, located on one side of the Kinect camera; processing terminal for receiving and processing the skeleton image information, hand or tool depth image information, image information and Kinect camera in the visual blind spot image information; display terminal for displaying the initial image, and the image information processing terminal processed dynamic display in order to achieve human-computer interaction. By adopting the invention, the recognition operation of long distance, close range and various gestures or tools is realized, and the human body interaction enjoyment of the 3D virtual reality is greatly improved.

【技术实现步骤摘要】
基于体感设备的人机交互集成装置
本专利技术属于人机交互
，具体涉及一种基于体感设备的人机交互集成装置。
技术介绍
虚拟现实，简称VR技术，是利用计算机模拟产生的三维空间，提供使用者视觉，听觉，触觉等感官的模拟，让使用者如同身临其境一般体验虚拟的世界。虚拟现实(VR)的概念从上世纪50年代提出以来，引起广泛关注，并且随着硬件技术和视频技术日益成熟，VR产业开始启动商业化进程。在裸眼3D显示中嵌入识别跟踪的功能，将给予人们一种全新的人机交互VR体验，如在游戏、社交等领域方面的应用，特别是可实现深度拓展的裸眼3D显示技术，有望成为真正实用的新一代产品。国务院发布的“十三五”规划中也指出，加强内容和技术装备协同创新，加快裸眼3D等核心技术创新发展。传统的人机交互方式大多依赖于鼠标、键盘等接触式设备，而新型的人机交互方式包括人脸识别、手势识别、体感识别等，已经成为一项研究热点。如今的手势识别技术可分为可穿戴设备的手势识别和基于图像处理的手势识别，对于该两种识别方法，存在以下特点：(1)对于手势识别方法而言，其具有的识别精度、效率高，但是相应地也有成本高、维护难、实际应用不方便等缺点；(2)对于基于图像处理的手势识别方法，由于其更多地依赖于算法，而不是硬件去实现，成本较低，有更好的市场前景，常见的有基于摄像头或Leapmotion的手势识别技术。Leapmotion可用于识别丰富的手势动作，但是无法像Kinect一样获得全身体感交互体验。而像Kinect,Xtion,Realsense等这一类体感交互设备拥有较长距离体感交互的优势，可以对用户的全身动作进行跟踪识别。在Kinect的舒适范围内其骨骼追踪效果可以达到毫米级，但在较近距离处会出现视觉盲区，并且在手势识别方面准确率不高。
技术实现思路
为了解决单一体感装置距离上和识别精确度上的缺陷问题，本专利技术的目的在于提供一种基于体感设备的人机交互集成装置，克服远近距离体感识别与识别精度的困难，实现了远距离、近距离以及各种手势或者工具的识别操作，大大提升了3D虚拟现实的人机交互的体感享受。为实现上述目的，本专利技术按以下技术方案予以实现：本专利技术所述基于体感设备的人机交互集成装置，包括：Kinect摄像头，用于获取用户的骨骼图像信息和深度图像信息；LeapMotion体感设备，用于获取用户的手部或工具图像信息；摄像头，用于获取位于Kinect摄像头视觉盲区的图像信息，位于所述Kinect摄像头的一侧；处理终端，用于接收并处理所述骨骼图像信息、深度图像信息、手部或工具图像信息和位于Kinect摄像头视觉盲区的图像信息；显示终端，用于显示初始图像，并将经过处理终端处理后的图像信息进行动态显示，以实现人机交互操作；所述Kinect摄像头安装于所述显示终端的顶部；所述LeapMotion体感设备与处理终端连接。进一步地，所述处理终端包括接收单元、计算处理单元和发送单元；所述接收单元用于接收所述骨骼图像信息、深度图像信息、手部或工具图像信息和位于Kinect摄像头视觉盲区的图像信息；所述计算处理单元用于计算并处理以上所述图像信息；所述发送单元用于将已经计算并处理后的图像信息发送至显示终端。进一步地，所述计算处理单元用于计算并处理所述图像信息，具体是：对所述图像信息进行颜色空间分离、滤波及分割提取轮廓处理，获取特征点，以判别进入具体模式的处理。进一步地，根据人体与检测设备的相对位置关系，利用图像信息计算出人体手指或手心的特征点空间分布，综合各时刻特征点的空间分布，计算手指或手心的特征点的运动放向、速度与加速度，与其预存的手势进行匹配，判断出使用者的目标动作，用于实现3D键盘的处理。进一步地，根据人体与检测设备的相对位置关系，利用图像信息计算出持笔的手的特征点空间分布，综合各时刻特征点的空间分布，在显示终端上描绘出特征点的三维运动轨迹，并且摄像头对另一只手的手势动作进行识别，实现模式启动，模式切换或模式终止功能，用于实现3D画板的处理。进一步地，根据人体与检测设备的相对位置关系，利用图像信息计算出双手特征点的空间分布，综合各时刻特征点的空间分布，当一定时间段内特征点的变化量少于阈值，将检测结果与其预存的手势进行匹配，判断出使用者的目标动作，实现3D模型的旋转、平移或放缩操作，或对3D模型的特定部位进行选取，用于实现3D模型手势控制的处理。进一步地，所述摄像头设置为两个，分别位于所述Kinect摄像头的两侧。进一步地，所述显示终端为裸眼3D显示器，包括2D模式和3D模式。进一步地，不同的操作模式，包括3D键盘，3D画板及3D模型独立配置子手势库，在每一模式下运行时，只需判断子手势库及公共手势库中的手势。与现有技术相比，本专利技术的有益效果是：本专利技术所述基于体感设备的人机交互集成装置借助Kinect和摄像头采集信息，可在不同纵深距离下进行人眼跟踪，因此不同纵深均可观看到良好的3D显示效果，启动体感控制功能，根据用户作出的手势类型进入对应的操作模式。本专利技术实现了远距离与近距离的人机交互结合，弥补了单一体感装置距离上和识别精确度上的缺陷，多种体感设备的结合也让系统功能更加强大。附图说明下面结合附图对本专利技术的具体实施方式作进一步详细的说明，其中：图1是本专利技术所述的基于体感设备的人机交互集成装置的结构示意简图；图2是本专利技术所述的基于体感设备的人机交互集成装置中Kinect摄像头和LeapMotion体感设备的视区示意图；图3是本专利技术所述的基于体感设备的人机交互集成装置中摄像头的视区示意图；图4是本专利技术所述的基于体感设备的人机交互集成装置的进行人机交互的实现方法的流程图；图5是本专利技术实施例1所述的基于体感设备的人机交互集成装置运用于3D键盘中的触控平台示意图；图6是本专利技术实施例2所述的基于体感设备的人机交互集成装置运用于3D画板中的触控平台示意图；图7是本专利技术实施例3所述的基于体感设备的人机交互集成装置运用于骨骼跟踪的触控平台示意图；图8是本专利技术实施例4所述的基于体感设备的人机交互集成装置运用于3D模型手势控制的触控平台示意图。图中：11：Kinect摄像头12：显示终端13：LeapMotion体感设备14：摄像头21：为触控识别区22：触控预判区31：笔41：Kinect检测识别区42：Kinect的舒适视区43：LeapMotion视区44：双摄像头视区具体实施方式以下结合附图对本专利技术的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。如图1～图8所示，本专利技术所述的基于体感设备的人机交互集成装置，通过将多种体感设备的优点结合起来，提供一种高精度的3D人机交互系统，其中通过Kinect摄像头11获取骨骼图像信息和深度图像信息，从而可以的获取全身体感交互体验，达到毫米级的高精度，并且配合摄像头14将其近距离的盲区进行弥补，真正做到360度无死角的体验。同时，还结合LeapMotion体感设备13能够捕捉到丰富的手势动作，从而实现了远距离、近距离以及各种手势或者工具的识别操作，大大提升了3D虚拟现实的人机交互的体感享受。如图1所示，所述的基于体感设备的人机交互集成装置包括Kinect摄像头11、LeapMotion体感设备13、摄像头14、处理终端和本文档来自技高网...

【技术保护点】
一种基于体感设备的人机交互集成装置，其特征在于，包括：Kinect摄像头，用于获取用户的骨骼图像信息和深度图像信息；Leap Motion体感设备，用于获取用户的手部或工具图像信息；摄像头，用于获取位于Kinect摄像头视觉盲区的图像信息，位于所述Kinect摄像头的一侧；处理终端，用于接收并处理所述骨骼图像信息、深度图像信息、手部或工具图像信息和位于Kinect摄像头视觉盲区的图像信息；显示终端，用于显示初始图像，并将经过处理终端处理后的图像信息进行动态显示，以实现人机交互操作；所述Kinect摄像头安装于所述显示终端的顶部；所述Leap Motion体感设备与处理终端连接。

【技术特征摘要】
1.一种基于体感设备的人机交互集成装置，其特征在于，包括：Kinect摄像头，用于获取用户的骨骼图像信息和深度图像信息；LeapMotion体感设备，用于获取用户的手部或工具图像信息；摄像头，用于获取位于Kinect摄像头视觉盲区的图像信息，位于所述Kinect摄像头的一侧；处理终端，用于接收并处理所述骨骼图像信息、深度图像信息、手部或工具图像信息和位于Kinect摄像头视觉盲区的图像信息；显示终端，用于显示初始图像，并将经过处理终端处理后的图像信息进行动态显示，以实现人机交互操作；所述Kinect摄像头安装于所述显示终端的顶部；所述LeapMotion体感设备与处理终端连接。2.根据权利要求1所述的基于体感设备的人机交互集成装置，其特征在于：所述处理终端包括接收单元、计算处理单元和发送单元；所述接收单元用于接收所述骨骼图像信息、深度图像信息、手部或工具图像信息和位于Kinect摄像头视觉盲区的图像信息；所述计算处理单元用于计算并处理以上所述图像信息；所述发送单元用于将已经计算并处理后的图像信息发送至显示终端。3.根据权利要求2所述的基于体感设备的人机交互集成装置，其特征在于：所述计算处理单元用于计算并处理所述图像信息，具体是：对所述图像信息进行颜色空间分离、滤波及分割提取轮廓处理，获取特征点，以判别进入具体模式的处理。4.根据权利要求3所述的基于体感设备的人机交互集成装置，其特征在于：根据人体与检测设备的相对位置关系，利用图像信息计算出人体手指或手心的特征点空间分布，综合各时刻特征...

【专利技术属性】
技术研发人员：李焜阳，范杭，张瀚韬，吴逸畅，周延桂，刘婷婷，
申请(专利权)人：广州弥德科技有限公司，
类型：发明
国别省市：广东,44