通过跟踪手指的移动来控制装置制造方法及图纸

一种用于通过跟踪目标(例如，手指)的移动来控制装置(例如，智能电话)的方法、系统和计算机程序产品。估计表征具有不同延迟的信号遍历路径的信道脉冲响应。然后选择对应于目标的信道抽头。基于估计的信道脉冲响应来跟踪所选择的信道抽头的相位变化，以估计目标距该装置的距离变化。基于估计的信道脉冲响应，估计该装置与目标之间的绝对距离的估计值。通过将估计的绝对距离和估计的距离变化结合来计算该装置和目标之间的更精确的绝对距离。然后，使用更精确的绝对距离和估计的距离变化，基于到该装置上的不同地标(例如，麦克风)的距离，来跟踪目标的位置。

Control device by tracking finger movement

【技术实现步骤摘要】
【国外来华专利技术】通过跟踪手指的移动来控制装置相关申请的交叉引用本申请要求于2016年12月9日提交的题为“通过跟踪手指的移动来控制装置(ControllingaDevicebyTrackingtheMovementofaFinger)”的第62/432453号美国临时专利申请的优先权，其全部内容通过引用结合于本文。
本专利技术一般涉及控制装置，更具体地说，涉及通过跟踪手指的移动来控制装置(例如，智能手机)。
技术介绍
智能电视、智能家电、虚拟现实(VirtualReality，VR)和增强现实(AugmentedReality，AR)都变得越来越流行。它们成功的关键是拥有易于使用的用户界面来控制装置(例如，智能电视、智能电器和实现VR/AR的装置)。目前，虽然这些装置缺乏易于使用的用户界面。通过让用户浏览各种菜单，智能电视目前控制起来还是比较繁琐的。许多智能装置要求用户手动启动智能手机应用程序并点击页面来控制智能装置，这比打开/关闭交换机更加麻烦。VR和AR提供沉浸式体验，为培训、教育、会议、广告、旅行、医疗保健、应急响应和科学实验的新方式打开了大门。然而，实现VR/AR的装置的当前用户界面相当有限：它们依赖于轻敲、滑动、语音识别或朝向手转动相机，以确保在戴着头戴式设备时手在相机的视野和视线内。最近，已经进行了关于运动跟踪作为控制装置的手段的研究。然而，尽管取得了一些进展，但在商用硬件上实现高度精确和灵敏的无装备(device-free)跟踪仍然是一种公开挑战。根据游戏和应用程序开发人员的说法，需要亚厘米级别的精度和16毫秒内的响应时间才能提供良好的用户体验。考虑到其有限的处理能力和缺乏专用硬件，这对于使用商品装置(例如智能手机)来说尤其具有挑战性。因此，目前没有用于通过高度精确和灵敏的无装备跟踪来容易地交互和控制诸如智能装置和实现VR/AR的装置之类的装置的手段。
技术实现思路
在本专利技术的一个实施例中，一种用于通过跟踪目标的移动来控制装置的方法包括：估计信道脉冲响应，该信道脉冲响应表征在一个或更多个频率下具有不同延迟的信号遍历路径。该方法还包括选择对应于目标的一个或更多个信道抽头(channeltap)。该方法还包括基于估计的信道脉冲响应，估计所选择的一个或更多个信道抽头的相位变化，以估计目标距装置的距离变化。此外，该方法包括由处理器使用目标距装置的估计的距离变化来跟踪目标的移动。上述方法的实施例的其他形式在装置和计算机程序产品中。在本专利技术的一个实施例中，一种用于通过跟踪目标的移动来控制装置的方法包括基于在一个或更多个频率下估计的信道脉冲响应计算装置与目标之间的绝对距离的估计值。该方法还包括由处理器使用装置和目标之间的估计的绝对距离来跟踪目标的移动。上述方法的实施例的其他形式在装置和计算机程序产品中。前面已经相当概括地概述了本专利技术的一个或更多个实施例的特征和技术优点，以便本专利技术随后的详细描述可以更好地被理解。下面将描述本专利技术的附加特征和优点，它们可以构成本专利技术权利要求的主题。附图说明当结合以下附图考虑以下详细描述时，可以获得对本专利技术的更好理解，在附图中：图1示出了根据本专利技术实施例配置的系统；图2示出了根据本专利技术实施例的由手指的移动控制的装置的硬件配置；图3是根据本专利技术实施例的通过允许装置使用声信号连续跟踪手指的移动来使用手指移动来控制装置的方法的流程图；图4A示出了根据本专利技术实施例的信号生成和发送过程；图4B示出了根据本专利技术实施例的信号接收和基带转换过程；图5示出了根据本专利技术实施例当球向装置移动时多个信道抽头的相位；图6A和6B分别示出了根据本专利技术实施例当用户将他的手指移向扬声器和麦克风时h[k]和hd[k]的相位；以及图7A-7B分别示出了根据本专利技术实施例的粗粒度和细粒度信道估计对绝对距离估计的影响。具体实施方式虽然以下讨论了与使用手指的移动来控制装置(例如，计算机、游戏控制台、VR/AR头戴式设备和诸如智能手机和智能手表的智能装置)相关的本专利技术，但是本专利技术的原理可以应用于使用任何目标(例如，笔、铅笔)的移动来控制装置。本领域普通技术人员将能够将本专利技术的原理应用于这些实现。此外，将本专利技术的原理应用于这些实现的实施例将落入本专利技术的范围内。如下所述，本专利技术提供了一种使用声信号的无装备跟踪系统。在一个实施例中，移动计算装置(例如，智能手机)连续地发送不可听的声信号。该信号由附近的物体(包括移动的手指)反射，并到达移动计算装置上的麦克风。移动计算装置分析所接收的信号以估计信道，基于其估计手指的距离变化以及移动计算装置和手指之间的绝对距离，以便定位手指。由于声信号的波长小，因此有希望基于相位导出手指的距离变化。然而，与许多无线信号一样，音频信号通过多条路径到达接收器，例如这是由于不同物体的反射。这种多径传播对于使用原始接收信号的相位进行跟踪提出了重大挑战。为了解决该挑战，本专利技术估计了时域中的信道脉冲响应(channelimpulseresponse，CIR)。该估计给出了每个信道抽头的信道系数。然后选择适当的信道抽头，其中使用所选择的抽头的相位来估计手指的距离变化。为了进一步导出绝对距离，开发了一种框架，用来估计在几个连续间隔期间由移动的手指反射的路径的绝对距离，使得其变化与在这些间隔期间CIR的变化相匹配。推断绝对距离有两个目的：(i)获得初始绝对距离，使得手指的后续距离变化可以被转换成移动计算装置和手指之间的新绝对距离；以及(ii)通过将其与相对距离变化相结合，可以用于提高跟踪精度并减轻后续间隔中的误差累积。在一个实施例中，本专利技术的方法在具有一个扬声器和两个麦克风的智能电话上实现，其能够以高精度(在0.3mm距离跟踪误差内，在二维空间中在0.99mm二维跟踪误差和0.5mm绘制误差之内)、低延迟(每12.5ms更新位置)并且易于部署地(本专利技术简单地利用智能手机，能够在没有任何额外硬件的情况下跟踪附近手指的移动)实时跟踪用户的移动手指。在以下描述中，阐述了许多具体细节以提供对本专利技术的透彻理解。然而，对于本领域技术人员显而易见的是，可以在没有这些具体细节的情况下实践本专利技术。在大多数情况下，省略了考虑时间因素等的细节，因为这些细节对于获得对本专利技术的完整理解不是必需的，并且在相关领域的普通技术人员的技能范围内。现在详细参考附图，图1示出了根据本专利技术实施例配置的系统100。参考图1，系统100包括由用户的手指102控制的装置101。装置101可以是包含扬声器103和两个麦克风104A-104B(在图1中分别标识为“麦克风A”和“麦克风B”)的任何计算装置。麦克风104A-104B可以被统称为或被分别地单独称为麦克风104。虽然图1将装置101示出为包括一个扬声器103和两个麦克风104，但是本专利技术的装置101的范围不限于仅包括单个扬声器103和两个麦克风104。相反，装置101可以包括一个或更多个扬声器103和一个或更多个麦克风104。装置101的一些示例包括但不限于计算机、视频游戏控制台、VR/AR头戴式设备、智能电视和智能电器。装置101被配置为通过其扬声器103发出音频信号，无论是人类听得见的还是听不见的。此外，装置101被配置为通过麦克风104接收由用户的手指102反射的音频信号。装置101使用该反射的音频信号来实本文档来自技高网...

【技术保护点】
1.一种通过跟踪目标的移动来控制装置的方法，所述方法包括：估计信道脉冲响应，所述信道脉冲响应表征在一个或更多个频率下具有不同延迟的信号遍历路径；选择对应于所述目标的一个或更多个信道抽头；基于所述估计的信道脉冲响应，估计所述选择的一个或更多个信道抽头的相位变化，以估计所述目标距所述装置的距离变化；以及由处理器利用所述目标距所述装置的所述估计的距离变化，跟踪所述目标的所述移动。

【技术特征摘要】
【国外来华专利技术】2016.12.09 US 62/432,4531.一种通过跟踪目标的移动来控制装置的方法，所述方法包括：估计信道脉冲响应，所述信道脉冲响应表征在一个或更多个频率下具有不同延迟的信号遍历路径；选择对应于所述目标的一个或更多个信道抽头；基于所述估计的信道脉冲响应，估计所述选择的一个或更多个信道抽头的相位变化，以估计所述目标距所述装置的距离变化；以及由处理器利用所述目标距所述装置的所述估计的距离变化，跟踪所述目标的所述移动。2.根据权利要求1所述的方法，还包括：使用所述目标距所述装置的所述估计的距离变化，基于到所述装置上的不同地标的距离，来跟踪所述目标的位置。3.根据权利要求1所述的方法，还包括：基于在一个或更多个间隔期间在一个或更多个频率下所述估计的信道脉冲响应，计算所述装置与所述目标之间的绝对距离的估计值；以及使用所述装置和所述目标之间的所述估计的绝对距离，来跟踪所述目标的所述移动。4.根据权利要求1所述的方法，还包括：计算所述装置和所述目标之间的绝对距离的估计值；以及通过将所述装置与所述目标之间的所述估计的绝对距离和所述目标距所述装置的所述估计的距离变化进行结合，计算所述装置与所述目标之间的更精确的绝对距离。5.根据权利要求4所述的方法，还包括：使用所述装置和所述目标之间的所述更精确的绝对距离以及所述目标距所述装置的所述估计的距离变化，基于到所述装置上的不同地标的距离，来跟踪所述目标的位置。6.根据权利要求3所述的方法，还包括：通过仅考虑已经改变的路径，基于所述估计的信道脉冲响应，计算所述装置和所述目标之间的所述绝对距离的所述估计值。7.根据权利要求1所述的方法，还包括：通过基于所述估计的信道脉冲响应，计算所述装置和所述目标之间的估计的绝对距离，来初始化所述目标的位置，并使用所述初始位置，将所述装置和所述目标之间的相对距离转换为所述装置与所述目标之间的所述绝对距离。8.根据权利要求4所述的方法，还包括：将在多个间隔期间的所述装置和所述目标之间的所述绝对距离的当前估计与所述目标距所述装置的所述估计的距离变化进行结合。9.根据权利要求3所述的方法，还包括：在下采样之前使用每个样本估计所述信道脉冲响应；以及使用所述信道脉冲响应估计，来估计所述装置和所述目标之间的所述绝对距离。10.根据权利要求1所述的方法，其中，使用基于单载波的通信系统来估计所述信道脉冲响应。11.根据权利要求10所述的方法，其中，所述信道脉冲响应是基于接收帧和已知训练序列从采样间隔中的每r个样本估计的，其中第一组s个样本的平均值用于计算所述信道脉冲响应并估计所述选择的一个或更多个抽头的所述相位变化，其中所述s的值小于或等于所述r的值。12.根据权利要求1所述的方法，还包括：选择第一组采样信号；以及使用所述第一组采样信号的平均值作为下采样输出，来估计所述选择的一个或更多个抽头的所述相位变化。13.根据权利要求1所述的方法，其中，所述一个或更多个信道抽头包含来自所述目标的反射信号的相位和幅度。14.根据权利要求1所述的方法，还包括：比较信道抽头的两个连续测量值，其中所述信道抽头的所述两个连续测量值之间的差值消除了至少一部分静态反射。15.根据权利要求1所述的方法，还包括：测量一个或更多个信道抽头在多个周期期间的相位变化差；以及基于跨一个或更多个频率在多个周期期间的所述相位变化差来识别动态抽头。16.根据权利要求1所述的方法，还包括：获得两个连续信道脉冲响应估计之间的差值以抵消静态路径，从而仅保留动态路径；以及从所述保留的动态路径中选择与所述目标反射的路径相对应的路径。17.根据权利要求2所述的方法，其中，所述地标包括以下项中的一个或更多个：所述装置上的发送器和接收器。18.根据权利要求2所述的方法，还包括：通过找到两个或更多个椭圆之间的交点来跟踪所述目标的所述位置，其中，所述两个或更多个椭圆在所述装置上的所述地标处具有焦点，其中到所述焦点的距离的总和是所述装置与所述目标之间的绝对距离或者更精确的绝对距离的估计值；以及选择所述交点中更靠近所述目标的先前位置的一个交点。19.根据权利要求2所述的方法，还包括：通过找到以所述地标为圆心的两个或更多个圆之间的交点来跟踪所述目标的所述位置，所述两个或更多个圆的半径设置为距所述地标的估计距离；以及选择所述交点中更靠近所述目标的先前位置的一个交点。20.根据权利要求1所述的方法，其中，所述目标包括以下项之一：手指、笔、移动装置。21.根据权利要求1所述的方法，还包括：基于所述一个或更多个信道抽头跨一个或更多个频率在最近一组间隔期间的幅度和相位的变化，选择所述一个或更多个信道抽头。22.一种用于通过跟踪目标的移动来控制装置的计算机程序产品，所述计算机程序产品包括计算机可读存储介质，所述计算机可读存储介质具有包含于其中的程序代码，所述程序代码包括编程指令用于：估计信道脉冲响应，所述信道脉冲响应表征在一个或更多个频率下具有不同延迟的信号遍历路径；选择对应于所述目标的一个或更多个信道抽头；基于所述估计的信道脉冲响应，估计所述选择的一个或更多个信道抽头的相位变化，以估计所述目标距所述装置的距离变化；以及使用所述目标距所述装置的所述估计的距离变化，来跟踪所述目标的所述移动。23.根据权利要求22所述的计算机程序产品，其中，所述程序代码还包括编程指令用于：使用所述目标距所述装置的所述估计的距离变化，基于到所述装置上的不同地标的距离，来跟踪所述目标的位置。24.根据权利要求22所述的计算机程序产品，其中，所述程序代码还包括编程指令用于：基于在一个或更多个间隔期间在一个或更多个频率下所述估计的信道脉冲响应，计算所述装置与所述目标之间的绝对距离的估计值；以及使用所述装置和所述目标之间的所述估计的绝对距离来跟踪所述目标的所述移动。25.根据权利要求22所述的计算机程序产品，其中，所述程序代码还包括编程指令用于：计算所述装置和所述目标之间的绝对距离的估计值；以及通过将所述装置与所述目标之间的所述估计的绝对距离和所述目标距所述装置的所述估计的距离变化进行结合，计算所述装置与所述目标之间的更精确的绝对距离。26.根据权利要求25所述的计算机程序产品，其中，所述程序代码还包括编程指令用于：使用所述装置和所述目标之间的所述更精确的绝对距离以及所述目标距所述装置的所述估计的距离变化，基于到所述装置上的不同地标的距离，来跟踪所述目标的位置。27.根据权利要求24所述的计算机程序产品，其中，所述程序代码还包括编程指令用于：通过仅考虑已经改变的路径，基于所述估计的信道脉冲响应，计算所述装置和所述目标之间的所述绝对距离的所述估计值。28.根据权利要求22所述的计算机程序产品，其中，所述程序代码还包括编程指令用于：通过基于所述估计的信道脉冲响应，计算所述装置和所述目标之间的估计的绝对距离，来初始化所述目标的位置，并使用所述初始位置，将所述装置和所述目标之间的相对距离转换为所述装置与所述目标之间的所述绝对距离。29.根据权利要求25所述的计算机程序产品，其中，所述程序代码还包括编程指令用于：将在多个间隔期间的所述装置和所述目标之间的所述绝对距离的当前估计与所述目标距所述装置的所述估计的距离变化进行组合。30.根据权利要求24所述的计算机程序产品，其中，所述程序代码还包括编程指令用于：在下采样之前使用每个样本估计所述信道脉冲响应；以及使用所述信道脉冲响应估计，来估计所述装置和所述目标之间的所述绝对距离。31.根据权利要求22所述的计算机程序产品，其中，使用基于单载波的通信系统来估计所述信道脉冲响应。32.根据权利要求31所述的计算机程序产品，其中，所述信道脉冲响应是基于所述接收帧和所述已知训练序列从采样间隔中的每r个样本估计的，其中第一组s个样本的平均值用于计算所述信道脉冲响应并估计所述选择的一个或更多个抽头的所述相位变化，其中所述s的值小于或等于所述r的值。33.根据权利要求22所述的计算机程序产品，其中，所述程序代码还包括编程指令用于：选择第一组采样信号；以及使用所述第一组采样信号的平均值作为下采样输出，来估计所述选择的一个或更多个抽头的所述相位变化。34.根据权利要求22所述的计算机程序产品，其中，所述一个或更多个信道抽头包含来自所述目标的反射信号的相位和幅度。35.根据权利要求22所述的计...

【专利技术属性】
技术研发人员：邱锂力，尹相基，
申请(专利权)人：德克萨斯大学系统董事会，
类型：发明
国别省市：美国,US