一种移动终端及其交互控制方法技术

本发明专利技术公开了一种移动终端及其交互控制方法，该交互控制方法包括：从移动终端的非显示屏一侧采集包含交互对象的目标区域的深度图像；在深度图像中识别交互对象的动作，并将识别结果转化为相应的控制指令；执行控制指令。通过上述方式，本发明专利技术能够在非显示屏一侧对移动终端进行控制，有利于实现对大屏装置的单手操作。

Mobile terminal and interactive control method thereof

The invention discloses a mobile terminal and interactive control method, the interactive control method comprises the following steps: including the depth of target region of image object from the non display side acquisition of mobile terminal recognition; interactive object in depth image in action, and the recognition result is converted into the corresponding control command; execute control commands. By the method, the invention can control the mobile terminal on the non display screen side, and is favorable for realizing the single hand operation of the large screen device.

【技术实现步骤摘要】
一种移动终端及其交互控制方法
本专利技术涉及移动终端控制
，特别是涉及一种移动终端及其交互控制方法。
技术介绍
随着移动互联网的普及以及人们对手机等智能设备的功能要求越来越高，同时兼备通讯、上网以及视频播放等功能是目前手机最为基本的配置。目前手机的尺寸几乎进入了大屏时代，单手操作手机已经摇不可及，尽管如此，兼顾较大屏幕以及单手操作依然是目前用户对手机的的诉求。在手机背后增加功能键是一种解决单手操作的方案，但是无疑会影响手机背面的美观，因而这种方案一直没有被用户接受。在手机背面增加额外的触摸屏是一种更佳的实现单手操作的方案，这种方案通过在背面利用手指的操控实现对手机屏幕无法单手操作区域的控制。但是这种方案成本较高，因而无法成为主流的单手操作方案。
技术实现思路
本专利技术主要解决的技术问题是提供一种移动终端及其交互控制方法，能够在非显示屏一侧对移动终端进行控制，有利于实现对大屏装置的单手操作。为解决上述技术问题，本专利技术采用的一个技术方案是：提供一种移动终端的交互控制方法，该交互控制方法包括：从移动终端的非显示屏一侧采集包含交互对象的目标区域的深度图像；在深度图像中识别交互对象的动作，并将识别结果转化为相应的控制指令；执行控制指令。其中，从移动终端的非显示屏一侧采集包含交互对象的目标区域的深度图像，包括：利用投影模组向交互对象投影不可见光图像；利用采集模组从移动终端的非显示屏一侧采集包含交互对象的目标区域的不可见光图像；根据不可见光图像，获取目标区域的深度信息，从而得到深度图像。其中，根据不可见光图像，获取目标区域的深度信息，从而得到深度图像，包括：对不可见光图像以及预存的参考图像进行相关计算，得到不可见光图像与参考图像的偏移值；根据偏移值以及预存的采集设备参数计算得到不可见光图像中每个像素的深度值，以得到深度图像；其中，采集设备包括投影模组以及采集模组。其中，根据偏移值以及预存的采集设备参数计算得到不可见光图像中每个像素的深度值，具体为：根据以下公式计算得到不可见光图像中每个像素的深度值：其中，ZD不可见光图像中每个像素点的深度值，Z0为参考图像中每个像素点的深度值，B为投影模组与采集模组之间的距离，f为采集模组的焦距，Δu为偏移值。其中，从移动终端的非显示屏一侧采集包含交互对象的目标区域的深度图像，包括：利用激光发射模组向交互对象发射激光；利用激光接收模组从移动终端的非显示屏一侧接收反射激光；根据发射激光以及接收反射激光的时间差来计算得到包含交互对象的目标区域的深度信息，以得到深度图像。其中，在深度图像中识别交互对象的动作，并将识别结果转化为相应的控制指令，包括：对深度图像进行预处理；从深度图像中提取出交互对象的图像部分；对图像部分进行分析，以识别出交互对象的动作，并将识别结果转化为相应的控制指令。其中，交互对象为手指；对图像部分进行分析，以识别出交互对象的动作，并将识别结果转化为相应的控制指令，包括：对手指的图像部分进行处理，以提取手指的骨架图像；对骨架图像进行定位，以确定手指的指尖位置；根据手指的指尖位置、手指的指尖运动轨迹以及手指的骨架图像中的至少一种，确定手指的手势或运动轨迹；根据手指的手势或运动轨迹，生成相应的控制指令。其中，移动终端的非显示屏一侧为与移动终端的显示屏相对的一侧；执行控制指令，包括：根据控制指令，控制显示屏执行相应的显示操作。为解决上述技术问题，本专利技术采用的另一个技术方案是：提供深度图像采集器，设置于移动终端的非显示屏一侧，用于采集包含交互对象的目标区域的深度图像；处理器，用于在深度图像中识别交互对象的动作，并将识别结果转化为相应的控制指令；处理器还用于执行控制指令。其中，处理器具体用于：对深度图像进行预处理；从深度图像中提取出交互对象的图像部分；对图像部分进行分析，以识别出交互对象的动作，并将识别结果转化为相应的控制指令。本专利技术的有益效果是：区别于现有技术的情况，本专利技术的移动终端的交互控制方法包括：从移动终端的非显示屏一侧采集包含交互对象的目标区域的深度图像；在深度图像中识别交互对象的动作，并将识别结果转化为相应的控制指令；执行控制指令。通过上述方式，能够在显示屏上进行触控操作的同时，在非显示屏一侧通过交互对象的动作来实现对移动终端的控制，实现了在非显示屏一侧对移动终端的控制，有利于实现对大屏装置的单手操作。附图说明图1是本专利技术移动终端的交互控制方法一实施方式的流程示意图；图2是本专利技术移动终端的交互控制方法一实施方式中S11一具体实施例的流程示意图；图3是本专利技术移动终端的交互控制方法一实施方式中S11另一具体实施例的流程示意图；图4是本专利技术移动终端的交互控制方法一实施方式中S118一具体实施例的流程示意图；图5是本专利技术移动终端的交互控制方法一实施方式中S12一具体实施例的流程示意图；图6是本专利技术移动终端的交互控制方法一实施方式中S123一具体实施例的流程示意图；图7是本专利技术移动终端一实施方式的结构示意图；图8是本专利技术移动终端一实施方式中的操作示意图。具体实施方式参阅图1，图1是本专利技术移动终端的交互控制方法一实施方式的流程示意图，该交互控制方法包括：S11：从移动终端的非显示屏一侧采集包含交互对象的目标区域的深度图像。其中，移动终端可以是手机、平板电脑等可移动的终端，或智能手表等穿戴设备。可以理解的，移动终端通常包含显示屏，如手机的显示屏设置于手机的正面，而非显示屏一侧是指手机的侧面或者背面。其中，交互对象可以是用户身体的某个部位，也可以是专用的交互工具，例如专用交互笔、穿戴指环等。可选的，交互对象一般为用户的手，特别地，一般用户需要手持移动终端，手指处于移动终端的非显示屏一侧，因此，交互对象可以是手指。其中，目标区域为移动终端的图像采集器所采集的空间区域，该图像采集器可以是深度图像采集器等。其中，该目标区域的深度图像中包含有交互对象。另外，采集的目标区域的图像可以是单个一帧图像，也可以连续采集的图像序列，即连续的图像帧。可选的，深度图像采集器可以是基于结构光的深度相机，也可以是基于TOF原理的深度相机。其中，TOF(Timeofflight，飞行时间)是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行(往返)时间来得到目标物距离。下面具体介绍基于TOF原理的深度相机。如图2所示，具体地，该深度相机可以包括激光发射模组以及激光接收模组，则S11可以具体包括：S111：利用激光发射模组向交互对象发射激光。S112：利用激光接收模组从移动终端的非显示屏一侧接收反射激光。S113：根据发射激光以及接收反射激光的时间差来计算得到包含交互对象的目标区域的深度信息，以得到深度图像。下面具体介绍基于结构光的深度相机。如图3所示，具体地，结构光深度相机包括投影模组以及采集模组，若采用结构光深度相机来获取目标区域的深度图像，则S11可以具体包括：S116：利用投影模组向交互对象投影不可见光图像。S117：利用采集模组从移动终端的非显示屏一侧采集包含交互对象的目标区域的不可见光图像。可选的，在一实施方式中，该结构光深度相机为红外结构光深度相机，其中的投影模组为红外投影模组，采集模组为红外相机。具体地，红外投影模组向交互对象投影不规则的散斑图案，反射后，由红外本文档来自技高网...

【技术保护点】
一种移动终端的交互控制方法，其特征在于，包括：从移动终端的非显示屏一侧采集包含交互对象的目标区域的深度图像；在所述深度图像中识别所述交互对象的动作，并将识别结果转化为相应的控制指令；执行所述控制指令。

【技术特征摘要】
1.一种移动终端的交互控制方法，其特征在于，包括：从移动终端的非显示屏一侧采集包含交互对象的目标区域的深度图像；在所述深度图像中识别所述交互对象的动作，并将识别结果转化为相应的控制指令；执行所述控制指令。2.根据权利要求1所述的交互控制方法，其特征在于，所述从移动终端的非显示屏一侧采集包含交互对象的目标区域的深度图像，包括：利用投影模组向所述交互对象投影不可见光图像；利用采集模组从移动终端的非显示屏一侧采集包含交互对象的目标区域的不可见光图像；根据所述不可见光图像，获取所述目标区域的深度信息，从而得到所述深度图像。3.根据权利要求2所述的交互控制方法，其特征在于，所述根据所述不可见光图像，获取所述目标区域的深度信息，从而得到所述深度图像，包括：对所述不可见光图像以及预存的参考图像进行相关计算，得到所述不可见光图像与所述参考图像的偏移值；根据所述偏移值以及预存的采集设备参数计算得到所述不可见光图像中每个像素的深度值，以得到所述深度图像；其中，所述采集设备包括所述投影模组以及所述采集模组。4.根据权利要求3所述的交互控制方法，其特征在于，所述根据所述偏移值以及预存的采集设备参数计算得到所述不可见光图像中每个像素的深度值，具体为：根据以下公式计算得到所述不可见光图像中每个像素的深度值：其中，ZD所述不可见光图像中每个像素点的深度值，Z0为所述参考图像中每个像素点的深度值，B为所述投影模组与所述采集模组之间的距离，f为所述采集模组的焦距，Δu为所述偏移值。5.根据权利要求1所述的交互控制方法，其特征在于，所述从移动终端的非显示屏一侧采集包含交互对象的目标区域的深度图像，包括：利用激光发射模组向所述交互对象发射激光；利用激光接收模组从移动终...

【专利技术属性】
技术研发人员：黄源浩，刘龙，肖振中，许星，
申请(专利权)人：深圳奥比中光科技有限公司，
类型：发明
国别省市：广东,44