一种实时3D远程人机交互系统技术方案

本实用新型专利技术公开了一种实时3D远程人机交互系统，该系统至少包括服务操作端和客户交互端，服务操作端至少包括一台电脑、深度摄像机、图像处理模块、数据发送\接收模块、服务操作端命令处理模块、3D图像显示器；客户交互端至少包括一台电脑、leap motion、3D图像显示器、命令处理模块、图像处理模块、数据发送\接收模块、手的信息处理模块。本实用新型专利技术利用廉价的深度摄像头采集操作者信息，并利用局域网将操作信息传送到客户端，实现实时传输。在交互方面，利用Leap Motion采集人手信息，去控制模拟鼠标，实现人与3D投影交互，操作方便，简单。

A real time 3D remote human computer interaction system

The utility model discloses a 3D remote real-time interactive system, the system includes at least the service operation end and end customer interaction, service operation terminal includes at least one computer, depth camera, image processing module, data sending, receiving module, service operation terminal command processing module, 3D image display; customer interaction is at least including a computer, leap motion, 3D image display, command processing module, image processing module, data sending, receiving module, information processing module of the hand. The utility model uses the cheap depth camera to collect operator information, and transmits the operation information to the client by using the LAN, so as to realize the real-time transmission. In the interaction, the use of Leap Motion acquisition staff information, to realize the human and mouse control simulation, 3D projection interaction, convenient operation, simple.

【技术实现步骤摘要】
一种实时3D远程人机交互系统
本技术涉及到人机交互和实时远程3D视频通信领域，尤其是涉及到一种实时3D远程人机交互系统的技术背景。
技术介绍
如今，双目摄像头快速发展，如ZED、KINECT等双目摄像头，使获取深度图像信息越来越便利，并且成本低、精度高。特别是KINECT双目摄像头，用户可以很方便去获取和使用3D点云数据。将KINCKET运用到一种实时3D远程人机交互系统中，可以做到在一个较高的精度下节约制造成本。PCL（PointCloudLibrary）的出现，人们处理3D图片操作变得更加简单，结果更加稳定。一种实时3D远程AR交互系统使用PCL去处理采集到的3D点云数据，具有很大的优势。AR技术的兴起，各种识别人身体部位的3D信息的设备得到快速发展，LEAPMOTION能够快速、稳定、准确采集到人的手部3D信息，这个为一种实时3D远程人机交互系统提供了交互技术硬件支持。学术界已经有一些应用于远程人机交互系统和3D视频实时传输的相关专利，主要有：1.中国公开专利：CN103793060A一种用户交互系统和方法：交互界面的虚拟物体跟随提取人手的3D位置信息移动，该专利技术实现了3D本文档来自技高网...

【技术保护点】
一种实时3D远程人机交互系统，其特征在于：所述的实时3D远程人机交互系统至少包括服务操作端和客户交互端，服务操作端至少包括一台电脑、深度摄像机、服务操作端图像处理模块、服务操作端数据发送\接收模块、服务操作端命令处理模块、服务操作端3D图像显示模块；客户交互端至少包括一台电脑、leap motion、客户交互端3D图像显示模块、客户交互端命令处理模块、客户交互端图像处理模块、客户交互端数据发送\接收模块、手的信息处理模块，其中客户交互端为移动机器人。

【技术特征摘要】
1.一种实时3D远程人机交互系统，其特征在于：所述的实时3D远程人机交互系统至少包括服务操作端和客户交互端，服务操作端至少包括一台电脑、深度摄像机、服务操作端图像处理模块、服务操作端数据发送\接收模块、服务操作端命令处理模块、服务操作端3D图像显示模块；客户交互端至少包括一台电脑、leapmotion、客户交互端3D图像显示模块、客户交互端命令处理模块、客户交互端图像处理模块、客户交互端数据发送\接收模块、手的信息处理模块，其中客户交互端为移动机器人。2.根据权利要求1所述的一种实时3D远程人机交互系统，其特征在于：服务操作端和客户交互端实现实时在线通讯，服务操作端将3D图像和操作命令发送给客户交互端，客户交互端把交互结果发送给服务操作端。3.根据权利要求2所述的一种实时3D远程人机交互系统，其特征在于：服务操作端数据发送\接收模块和客户交互端数据发送\接收模块，用来发送和接收网络数据，且必须可以处理大数据。4.根据权利要求1所述的一种实时3D远程人机交互系统，其...

【专利技术属性】
技术研发人员：杨辰光，王尊冉，贺波涛，
申请(专利权)人：华南理工大学，苏州晨本智能科技有限公司，
类型：新型
国别省市：广东,44