一种实时3D远程人机交互系统技术方案

本实用新型专利技术公开了一种实时3D远程人机交互系统，该系统至少包括服务操作端和客户交互端，服务操作端至少包括一台电脑、深度摄像机、图像处理模块、数据发送\接收模块、服务操作端命令处理模块、3D图像显示器；客户交互端至少包括一台电脑、leap motion、3D图像显示器、命令处理模块、图像处理模块、数据发送\接收模块、手的信息处理模块。本实用新型专利技术利用廉价的深度摄像头采集操作者信息，并利用局域网将操作信息传送到客户端，实现实时传输。在交互方面，利用Leap Motion采集人手信息，去控制模拟鼠标，实现人与3D投影交互，操作方便，简单。

A real time 3D remote human computer interaction system

The utility model discloses a 3D remote real-time interactive system, the system includes at least the service operation end and end customer interaction, service operation terminal includes at least one computer, depth camera, image processing module, data sending, receiving module, service operation terminal command processing module, 3D image display; customer interaction is at least including a computer, leap motion, 3D image display, command processing module, image processing module, data sending, receiving module, information processing module of the hand. The utility model uses the cheap depth camera to collect operator information, and transmits the operation information to the client by using the LAN, so as to realize the real-time transmission. In the interaction, the use of Leap Motion acquisition staff information, to realize the human and mouse control simulation, 3D projection interaction, convenient operation, simple.

【技术实现步骤摘要】
一种实时3D远程人机交互系统
本技术涉及到人机交互和实时远程3D视频通信领域，尤其是涉及到一种实时3D远程人机交互系统的技术背景。
技术介绍
如今，双目摄像头快速发展，如ZED、KINECT等双目摄像头，使获取深度图像信息越来越便利，并且成本低、精度高。特别是KINECT双目摄像头，用户可以很方便去获取和使用3D点云数据。将KINCKET运用到一种实时3D远程人机交互系统中，可以做到在一个较高的精度下节约制造成本。PCL（PointCloudLibrary）的出现，人们处理3D图片操作变得更加简单，结果更加稳定。一种实时3D远程AR交互系统使用PCL去处理采集到的3D点云数据，具有很大的优势。AR技术的兴起，各种识别人身体部位的3D信息的设备得到快速发展，LEAPMOTION能够快速、稳定、准确采集到人的手部3D信息，这个为一种实时3D远程人机交互系统提供了交互技术硬件支持。学术界已经有一些应用于远程人机交互系统和3D视频实时传输的相关专利，主要有：1.中国公开专利：CN103793060A一种用户交互系统和方法：交互界面的虚拟物体跟随提取人手的3D位置信息移动，该专利技术实现了3D交互系统，但是该专利技术只是单方向交互，并且用户必须佩戴头戴式3D显示器等，使用者操作繁琐。2.中国公开专利：CN105389006A一种基于Kinect的裸眼3D交互改进方法：利用Kinect采集到人手关节信息进行交互，但是在交互之前必须调整Kinect到合适的位置和角度，由于安装复杂，限制了其使用范围。3.中国公开专利：CN103269423A可拓展式三维显示远程视频通信方法：利用RGB-D相机采集到人物图像，经过处理并发送到第二个用户，第二个用户接收并显示任务图像信息和播放声音，该专利技术只是实现了信息提取和传输，并没有双向交互过程。
技术实现思路
本技术是实现一种实时3D远程交互系统，目的是在裸眼3D效果下，实现人与3D投影交互，其中3D投影是远程的操作的替身。本技术可概述为两大部分，分别是服务操作端、客户交互端，其中客户交互端为移动机器人。服务操作端至少包括一台电脑、深度摄像机、服务操作端图像处理模块、服务操作端数据发送\接收模块、服务操作端命令处理模块、服务操作端3D图像显示模块；客户交互端至少包括一台电脑、leapmotion、客户交互端3D图像显示模块、客户交互端命令处理模块、客户交互端图像处理模块、客户交互端数据发送\接收模块、手的信息处理模块。服务操作端和客户交互端实现实时在线通讯，服务操作端将3D图像和操作命令发送给客户交互端，客户交互端把交互结果发送给服务操作端。服务操作端数据发送\接收模块和客户交互端数据发送\接收模块，用来发送和接收网络数据，且必须可以处理大数据。服务操作端可显示交互结果的3D效果，客户交互端可显示操作者信息和命令（或者指导信息）的3D效果。服务操作端图像处理模块和服务操作端命令处理模块，分别用来对点云数据进行处理（如滤波、分割、重建）、处理操作者命令和客户交互端发送过来的命令；客户交互端图像处理模块、渲染模块和客户交互端命令处理模块，分别用来对点云数据进行存储（如滤波、分割、重建）、渲染3D图像、处理服务操作端发送过来的操作者命令和客户交互的结果。客户交互端手的信息处理模块，可以对leapmotion获得数据进行处理，从而达到对模拟鼠标的控制。服务操作端可以对客户交互端的移动机器人进行控制，可以在客户交互端显示操作者的命令；客户在客户交互端可以和3D投影进行交互，交互结果可以更新在投影上和发送到服务操作端。本技术具体操作过程如下：服务操作端：实现操作者上本身的3D点云数据采集、3D点云数据处理、命令处理、数据发送\接收功能。实施步骤如下：1.深度相机采集操作者上身的3D点云数据，3D点云数据通过串口传输到近端电脑上；2.服务操作端电脑接收到3D点云数据，将3D点云数据进行滤波、分割、重建等处理工作；3.将处理好的3D点云数据和操作者对远端的操作命令一起打包数据包；4.把打包好的数据包发送远端和接收客户交互端发送过来的命令；5.解析远端发送反馈过来的命令，显示给操作者；6.循环1-5步骤。客户交互端：实现3D点云数据和近端发送的命令的接收、渲染3D点云数据、利用leapmotion进行交互、发送交互结果到服务操作端的功能。实施步骤如下;1.客户交互端接收到服务操作端发送过来的数据包，将数据包拆包，并存在相应的缓存中，比如点云数据缓存区、命令寄存器等。2.将命令寄存器的命令解析成相应的文字，将点云数据缓存区的点云数据和渲染3D图片，以及将命令的文字赋给Text标签的值并渲染Text标签。3.利用投影仪将渲染出来的效果投影到贴有幕布的玻璃上。4.使用中断方式实现leapmotion交互，其中，leapmotion提取客户的手掌的位置信息、手掌法线、各个手指的向量等信息，然后把手掌的位置信息赋给模拟鼠标的位置，让模拟鼠标跟随手掌运动；利用手掌法线和手指向量信息识别两种手势，作为模拟鼠标的左右点击。当模拟鼠标移动到Text处，点击Text会触发中断，不同的Text会得到不同的命令。5.将得到的命令打包，发送给服务操作端，并显示给操作者。6.重复1-5步骤，其中步骤1和2是并行进行的，处于不同的线程，步骤4中，leapmotion处理客户手的信息也是处于不同的线程。本技术的优点：本技术结合不同领域的知识，利用廉价的深度摄像头采集操作者信息，并利用局域网将操作信息传送到客户端，实现实时传输。在交互方面，利用LeapMotion采集人手信息，去控制模拟鼠标，实现人与3D投影交互，操作方便，简单。附图说明图1为本技术整体结构流程图图2为本技术服务操作端图像处理模块图3为本技术客户交互端图像处理模块图4为本技术客户交互端手的信息处理模块图5为本技术交互信息控制流程图其中0为操作者、1为深度摄像机、2为服务操作端图像处理模块、3为服务操作端3D图像显示模块、4为服务操作端命令处理模块、5为服务操作端数据发送\接收模块、6为客户交互端数据发送\接收模块、7为客户交互端命令处理模块、8为客户交互端图像处理模块、9为渲染模块、10为投影仪、11为客户交互端3D图像显示模块、12为手的信息处理模块、13为客户的操作手、14为leapmotion。具体实施方式下面结合附图1到附图5以及实施例对本技术作进一步详细的描述。如图1所示，本技术整体流程大致包括15个模块，其中由两大部分组成，分别是服务操作端和客户交互端，服务操作端利用深度摄像头采集操作者的上半身的信息，经过图像处理后，然后组合操作者的命令成数据包，一起发送到客户交互端。客户交互端接收到网络传过来的数据，然后将数据包分包，存入不同的缓冲区，然后显示相关信息，其中这个需要一台投影仪和贴着玻璃幕布的玻璃板，最终可以在客户面前显示相关的3D信息。在客户交互端，客户可以通过leapmotion和3D投影图像交互，交互的结果同样会显示在客户交互端的玻璃板上，该结果同时通过局域网传到服务操作端。在服务操作端至少包括操作者0、深度摄像机1、服务操作端图像处理模块2、服务操作端3D图像显示模块3、服务操作端命令处理模块本文档来自技高网...

【技术保护点】
一种实时3D远程人机交互系统，其特征在于：所述的实时3D远程人机交互系统至少包括服务操作端和客户交互端，服务操作端至少包括一台电脑、深度摄像机、服务操作端图像处理模块、服务操作端数据发送\接收模块、服务操作端命令处理模块、服务操作端3D图像显示模块；客户交互端至少包括一台电脑、leap motion、客户交互端3D图像显示模块、客户交互端命令处理模块、客户交互端图像处理模块、客户交互端数据发送\接收模块、手的信息处理模块，其中客户交互端为移动机器人。

【技术特征摘要】
1.一种实时3D远程人机交互系统，其特征在于：所述的实时3D远程人机交互系统至少包括服务操作端和客户交互端，服务操作端至少包括一台电脑、深度摄像机、服务操作端图像处理模块、服务操作端数据发送\接收模块、服务操作端命令处理模块、服务操作端3D图像显示模块；客户交互端至少包括一台电脑、leapmotion、客户交互端3D图像显示模块、客户交互端命令处理模块、客户交互端图像处理模块、客户交互端数据发送\接收模块、手的信息处理模块，其中客户交互端为移动机器人。2.根据权利要求1所述的一种实时3D远程人机交互系统，其特征在于：服务操作端和客户交互端实现实时在线通讯，服务操作端将3D图像和操作命令发送给客户交互端，客户交互端把交互结果发送给服务操作端。3.根据权利要求2所述的一种实时3D远程人机交互系统，其特征在于：服务操作端数据发送\接收模块和客户交互端数据发送\接收模块，用来发送和接收网络数据，且必须可以处理大数据。4.根据权利要求1所述的一种实时3D远程人机交互系统，其...

【专利技术属性】
技术研发人员：杨辰光，王尊冉，贺波涛，
申请(专利权)人：华南理工大学，苏州晨本智能科技有限公司，
类型：新型
国别省市：广东,44