一种手机与其他显示设备的交互方法及装置制造方法及图纸

本公开涉及一种手机与其他显示设备的交互方法及装置，该方法包括如下步骤：S100：通过手机中的深度相机获取人体的深度图；S200：利用所述人体的深度图对人体的骨骼进行定位和追踪；S300：从所述人体的骨骼中选取人体的手部的关节点进行追踪，将手部的关节点运动的轨迹转化为手机的控制指令来控制手机；S400：手机将所述控制指令传递到与其通信的其他显示设备，实现了手机对其他显示设备的控制。所述方法将通过其他显示设备显示人体姿态所要实现的功能，将手机的人机交互与其他显示设备结合起来，使得人机交互的效果更加直观和立体。

An Interactive Method and Device for Mobile Phone and Other Display Devices

The present disclosure relates to an interactive method and device between a mobile phone and other display devices. The method comprises the following steps: S100: obtaining a depth map of the human body through a depth camera in the mobile phone; S200: locating and tracking the human skeleton by using the depth map of the human body; S300: tracking the joint points of the human hand from the skeleton, and tracking the joint of the hand. The trajectory of point movement is converted into the control command of the mobile phone to control the mobile phone; S400: The mobile phone transmits the control command to other display devices communicating with it, and realizes the control of the mobile phone to other display devices. The method combines the human-computer interaction of mobile phone with other display devices to make the effect of human-computer interaction more intuitive and stereoscopic.

【技术实现步骤摘要】
一种手机与其他显示设备的交互方法及装置
本公开属于图像处理、自然交互和集成电路
，特别涉及一种手机与其他显示设备的交互方法及装置。
技术介绍
自然和谐的人机交互方式是人类对操控机器的理想目标，使机器能读懂人在自然状态所传递的命令。利用图像处理技术获取深度信息进行三维图像的实时识别及动作捕捉，使人能以表情、手势、体感动作等自然方式与终端进行交互成为可能。深度感知技术是人机自然交互的核心技术，在机器视觉、智能监控、三维重建、体感交互、3D打印等领域有着广泛的应用前景，已逐步从游戏机外设拓展到其它智能终端，包括智能电视、智能手机、PC/平板电脑、智能家电等，为用户带来“科幻”般的操控方式和全新的人机交互体验。利用肢体动作对手机进行信息交互具有方便，实用的特点。而基于结构光的主动深度感知使得人机交互更加稳定，流畅。将手机的人机交互与显示其他显示设备结合起来，使得人机交互的效果更加直观和立体。
技术实现思路
鉴于此，本公开提供了一种手机与其他显示设备的交互方法，包括如下步骤：S100：通过手机中的深度相机获取人体的深度图；S200：利用所述人体的深度图对人体的骨骼进行定位和追踪；S300：从所述人体的骨骼中选取人体的手部的关节点进行追踪，将手部的关节点运动的轨迹转化为手机的控制指令来控制手机；S400：手机将所述控制指令传递到与其通信的其他显示设备，实现了手机对其他显示设备的控制。本公开还提供了一种手机与其他显示设备的交互装置，包括：三维深度感知单元：用于通过手机中的深度相机获取人体的深度图；人体骨骼追踪单元：利用所述人体的深度图对人体的骨骼进行定位和追踪；人体手势识别单元：从所述人体的骨骼中选取人体的手部的关节点进行追踪，将手部的关节点运动的轨迹转化为手机的控制指令来控制手机；其他显示设备显示单元：手机将所述控制指令传递到与其通信的其他显示设备，实现了手机对其他显示设备的控制。通过上述技术方案，通过手机里的深度相机对人体的姿态进行感应，对人体的骨骼进行追踪，从而进行人机交互，然后将手机感应到的人体动作转化为手机的控制指令，然后执行相应的功能，手机通过通信协议与其他显示设备进行通信，最后通过液晶屏显示人体姿态所要实现的功能。附图说明图1是本公开一个实施例中所提供的一种手机与其他显示设备的交互方法的流程示意图；图2是本公开一个实施例中所提供的一种手机与其他显示设备的交互装置结构示意图。具体实施方式下面结合附图对本专利技术进行进一步的详细说明。在一个实施例中，参见图1，其公开了一种手机与其他显示设备的交互方法，包括如下步骤：S100：通过手机中的深度相机获取人体的深度图；S200：利用所述人体的深度图对人体的骨骼进行定位和追踪；S300：从所述人体的骨骼中选取人体的手部的关节点进行追踪，将手部的关节点运动的轨迹转化为手机的控制指令来控制手机；S400：手机将所述控制指令传递到与其通信的其他显示设备，实现了手机对其他显示设备的控制。在另一个实施例中，步骤S100进一步包括：S101：打开手机，让手机处于正常的工作状态；S102：人站在离手机30-200cm的位置，手机中的深度相机中包含的红外散斑编码投射器向人体投射出红外散斑编码图案，同时手机中的深度相机包含的红外接收摄像头开始接收人体反射后的红外散斑编码图案；S103：将接收到的红外散斑编码图案送给手机芯片进行图像的预处理，图像增强，块匹配深度计算步骤后得到人体的深度图。在另一个实施例中，步骤S200进一步包括：S201：利用所述人体的深度图，根据深度学习的方法对人体的关节点的特征值进行提取；S202：将提取到的关节点的特征值进行训练，根据训练后得到的特征值对人体的骨骼进行精确的定位与追踪。其中，所述的深度学习方法采取的是一种基于卷积神经网络的深度学习方法，选用的神经网络的层数是5层，5层的卷积核个数分别为4，12，36，108，324，这样的神经网络有利于提高特征值提取的精度和速度。特征值的训练也是采用深度学习的方法，搭建神经网络模型。选用的神经网络的层数是5层，5层的卷积核个数分别为4，12，36，108，324，这样的神经网络有利于提高训练的精度和速度。在另一个实施例中，步骤S200中的人体的关节点大约是28个，主要包括大脑关节点，双肩关节点，手关节关节点，脚关节关节点。在另一个实施例中，步骤S300中的将手部的关节点运动的轨迹转化为手机的控制指令具体为：将手部的关节点从上往下运动的轨迹转化为手机的从上往下翻页指令；和/或，将手部的关节点从上往下运动的轨迹转化为手机的滚动滑条指令；和/或，将手部的关节点从左往右运动的轨迹转化为手机的确定指令；和/或，将手部的关节点从右往左运动的轨迹转化为手机的取消指令。在另一个实施例中，其中，步骤S400中的所述通信具体为交换机或I/0接口。在另一个实施例中，其中，所述其他显示设备是液晶的电视屏幕或教学使用的ppt其他显示设备，当所述其他显示设备是液晶的电视屏幕时，手机就相当于一个远程遥控器；当所述其他显示设备是教学使用的ppt其他显示设备时，手机就相当于一个播放器。在另一个实施例中，参见图2，其公开了一种手机与其他显示设备的交互装置，包括：三维深度感知单元：用于通过手机中的深度相机获取人体的深度图；人体骨骼追踪单元：利用所述人体的深度图对人体的骨骼进行定位和追踪；人体手势识别单元：从所述人体的骨骼中选取人体的手部的关节点进行追踪，将手部的关节点运动的轨迹转化为手机的控制指令来控制手机；其他显示设备显示单元：手机将所述控制指令传递到与其通信的其他显示设备，实现了手机对其他显示设备的控制。在另一个实施例中，三维深度感知单元进一步包括：手机初始化单元：打开手机，让手机处于正常的工作状态；红外散斑编码图案获取单元：人站在离手机30-200cm的位置，手机中的深度相机中包含的红外散斑编码投射器向人体投射出红外散斑编码图案，同时手机中的深度相机包含的红外接收摄像头开始接收人体反射后的红外散斑编码图案；人体的深度图获取单元：将接收到的红外散斑编码图案送给手机芯片进行图像的预处理，图像增强，块匹配深度计算步骤后得到人体的深度图。在另一个实施例中，人体骨骼追踪单元进一步包括：特征值提取单元：利用所述人体的深度图，根据深度学习的方法对人体的关节点的特征值进行提取；特征值训练单元：将提取到的关节点的特征值进行训练，根据训练后得到的特征值对人体的骨骼进行精确的定位与追踪。需要说明的是，说明书附图中以显示屏作为一种示例的“其他显示设备”。能够理解，其他显示设备可以是各种具有显示屏的适当设备，例如，监视器、带显示屏的智能手机/智能电视/智能投影等。尽管以上结合附图对本专利技术的实施方案进行了描述，但本专利技术并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本专利技术权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本专利技术保护之列。本文档来自技高网...

【技术保护点】
1.一种手机与其他显示设备的交互方法，包括如下步骤：S100：通过手机中的深度相机获取人体的深度图；S200：利用所述人体的深度图对人体的骨骼进行定位和追踪；S300：从所述人体的骨骼中选取人体的手部的关节点进行追踪，将手部的关节点运动的轨迹转化为手机的控制指令来控制手机；S400：手机将所述控制指令传递到与其通信的其他显示设备，实现了手机对其他显示设备的控制。

【技术特征摘要】
1.一种手机与其他显示设备的交互方法，包括如下步骤：S100：通过手机中的深度相机获取人体的深度图；S200：利用所述人体的深度图对人体的骨骼进行定位和追踪；S300：从所述人体的骨骼中选取人体的手部的关节点进行追踪，将手部的关节点运动的轨迹转化为手机的控制指令来控制手机；S400：手机将所述控制指令传递到与其通信的其他显示设备，实现了手机对其他显示设备的控制。2.根据权利要求1所述的方法，优选的，步骤S100进一步包括：S101：打开手机，让手机处于正常的工作状态；S102：人站在离手机30-200cm的位置，手机中的深度相机中包含的红外散斑编码投射器向人体投射出红外散斑编码图案，同时手机中的深度相机包含的红外接收摄像头开始接收人体反射后的红外散斑编码图案；S103：将接收到的红外散斑编码图案送给手机芯片进行图像的预处理，图像增强，块匹配深度计算步骤后得到人体的深度图。3.根据权利要求1所述的方法，步骤S200进一步包括：S201：利用所述人体的深度图，根据深度学习的方法对人体的关节点的特征值进行提取；S202：将提取到的关节点的特征值进行训练，根据训练后得到的特征值对人体的骨骼进行精确的定位与追踪。4.根据权利要求1所述的方法，步骤S200中的人体的关节点大约是28个，主要包括大脑关节点，双肩关节点，手关节关节点，脚关节关节点。5.根据权利要求1所述的方法，步骤S300中的将手部的关节点运动的轨迹转化为手机的控制指令具体为：将手部的关节点从上往下运动的轨迹转化为手机的从上往下翻页指令；和/或，将手部的关节点从上往下运动的轨迹转化为手机的滚动滑条指令；和/或，将手部的关节点从左往右运动的轨迹转化为手机的确定指令；和/或，将手部的关节点从...

【专利技术属性】
技术研发人员：姚慧敏，葛晨阳，侯晓琪，高亚宁，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西,61