用于传感器子系统的虚拟刚性框架技术方案

公开了一种用于动态地确定电子系统中的目标传感器的位移的装置。该装置可以包括刚性地安装在目标传感器上或附近并且被配置为测量随目标传感器的位移而变化的参数的非视线传感器。该装置还可以包括耦合到非视线传感器、并且被配置为基于参数计算目标传感器的位移、并且基于所计算的位移来计算调节值的至少一个处理器。

Virtual Rigid Framework for Sensor Subsystem

【技术实现步骤摘要】
【国外来华专利技术】用于传感器子系统的虚拟刚性框架
技术介绍
虚拟现实(VR)和增强现实(AR)可视化系统开始进入主流消费电子市场。诸如头戴式显示(HMD)设备的近眼显示(NED)设备可以用于向用户显示AR或VR内容。AR设备可以包括透明显示元件，这些透明显示元件使得用户能够在用户的现实世界视图上看到转置的虚拟内容。看似叠加在用户的真实世界视图上的显示对象通常被称为虚拟对象或“全息”对象。VR和AR可视化系统可以为用户提供娱乐性沉浸式三维(3D)虚拟环境，在这些环境中，他们可以在视觉上(并且有时可听见地)体验他们在现实生活中通常不会经历的事物。至少一些HMD设备包括各种类型的一个或多个传感器。例如，一些HMD设备包括诸如相机的传感器以促进3D表面映射、用户头部跟踪等。这些相机通常必须非常精确地定位和定向在设备中以便为用户提供令人满意的体验。然而，随着时间的推移，设备的正常使用会导致相机移动到不同角度，这取决于设备的设计。因此，设计HMD设备的挑战是提供一种传感器平台，该传感器平台在工厂中易于校准并且在设备的寿命期间保持高准确度。如果没有这些特性，HMD的性能可以迅速分解为用户的令人不愉快或不舒服的体验，其中所绘出的内容与用户的现实世界视图的混合很差。附图说明本公开的一个或多个实施例通过示例而非限制的方式在附图中示出，附图中的相同的附图标记表示相似的元件。图1示出了HMD设备的示例的透视图。图2示意性地示出了非视线虚拟刚性框架中的传感器子系统。图3示出了相机和相关联的磁场传感器。图4示出了用于将多个相机和相关联的传感器耦合到非视线虚拟刚性框架中的发射器和相关组件的实现。图5示出了具有相关联的跟踪传感器和发射器的传感器如何安装在HMD设备上的一个示例。图6示出了具有相关联的跟踪传感器和发射器的传感器如何安装在HMD设备上的另一示例。图7示出了如何使用非视线虚拟刚性框架来促进未物理地耦合到耳机的可穿戴传感器的示例。图8示意性地示出了采用非视线虚拟刚性框架的便携式全息捕获工作室。图9示出了用于执行非视线传感器跟踪技术的过程的示例。图10示出了用于在NED设备中执行用于相机的非视线传感器跟踪技术的过程的示例。具体实施方式在本说明书中，对“实施例”、“一个实施例”等的引用表示所描述的特定特征、功能、结构或特性被包括在本文中介绍的技术的至少一个实施例中。这些短语在本说明书中的出现并不一定都是指同一实施例。另一方面，所提到的实施例也不一定是相互排斥的。如上所述，设计具有AR或VR功能的HMD设备的一个挑战是提供一种传感器平台，该传感器平台在工厂中容易校准并且在设备的寿命期间保持高准确度。满足该挑战的一种可能方法是为这种设备配备用于传感器的刚性支撑结构，以防止传感器与耳机的其余部分之间或不同传感器之间的任何未对准。然而，这种结构往往体积庞大，迄今为止在避免错位方面取得了有限的成功。附加地，随着HMD的形状因素变得更加简化以满足竞争性需求，它们将变得越来越不那么刚性并且用于传感器和支撑结构的空间也越来越小。此外，刚性要求鼓励传感器的共同定位(以最小化结构的尺寸和变形的可能性)，这倾向于扼杀传感器布局的创新。基于软件的传感器未对准解决方案是刚性支撑结构的一种可能备选方案。可以在设备操作期间将软件用于计算机传感器未对准并且实时地进行校正。然而，基于软件的解决方案并不像真正严格的系统那样准确，并且它需要在计算资源和功耗方面进行权衡。因此，本文中介绍的是一种克服这些和其他缺点的解决方案。该解决方案通过提供具有空间感知的传感器模块来消除构建刚性传感器支撑结构的挑战。传感器至少在每次进行测量时能够感测它们相对于公共参考框架的瞬时刚性变换。在某些实施例中，给定子系统中的每个传感器能够连续测量其相对于公共参考点(发射器)的位置。参考点成为传感器系统的中心(“装备(rig)”)，并且在子系统中的所有传感器与发射器之间建立非视线“虚拟刚性框架(VRF)”。在某些实施例中，采用磁性跟踪(例如，磁场的感测)来跟踪每个传感器相对于VRF的定位(位置)和/或定向(角度)位移。可以基于检测到的位移来将适当的调节应用于所计算和/或所生成的图像。可选地，可以提供并且安装惯性测量单元(IMU)以便刚性地耦合到发射器，以允许对位移测量进行高频校正。这种方法为很多基于计算机视觉的新场景创造了机会，包括更简化的耳机形状因素、更复杂的输入设备和便携式全息捕获阶段，仅举几例。因此，本文中介绍的解决方案包括一种用于动态地确定电子系统中的给定传感器的位移(例如，未对准)的装置和方法，从而实现对这种位移的实时高频校正。电子系统可以是例如NED设备，诸如为AR或VR应用而设计的HMD设备。然而，可以设想，本文中介绍的技术可以有利地应用于很多不同类型的电子设备和系统。给定传感器(“目标传感器”)可以是例如相机，诸如HMD设备上的头部跟踪相机。本文中的术语“目标传感器”是指要跟踪其定位和/或定向的传感器。本文中介绍的装置可以包括非视线传感器，该非视线传感器安装在目标传感器上或附近(即，距离目标传感器不到一厘米)，紧密地机械地耦合到目标传感器，并且被配置为测量随目标传感器的位移(角度和/或平移)而变化的参数。非视线传感器可以是或包括例如接收由发射器线圈产生的磁场的接收器线圈。该装置还可以包括耦合到非视线传感器并且被配置为基于参数计算目标传感器的位移并且基于所计算的位移来计算调节值的至少一个处理器。在进一步讨论该技术之前，考虑可以在其中实现该技术的设备的示例是有用的。图1示出了可以实现本文中介绍的技术的具有AR功能的HMD设备的示例的透视图。HMD设备10包括头带11，通过头带11，HMD设备10可以佩戴在用户的头上。(直接或间接)附接到头带11的是透明保护性遮阳板12，遮阳板12包围一个或多个透明波导13，每个透明波导13可以针对一个或两个眼睛在用户的真实世界环境的视图上覆盖全息图像(例如，通过将发射的光线引导到用户的眼睛中)。保护性遮阳板12还包围各种电路(未示出)和各种传感器。在所示实施例中，传感器包括：用于输入来自用户的语音(例如，语音命令)的一个或多个麦克风15；用于用户头部跟踪(即，跟踪用户在真实世界空间中的头部定位和定向)的一个或多个可见光谱相机17；用于表面重建以模拟用户真实世界环境中的表面和/或手势识别的一个或多个红外(IR)光谱深度相机18；以及用于捕获用户看到的标准视频的一个或多个可见光谱相机30。HMD设备10还包括用于与(多个)深度相机18一起使用的一个或多个音频扬声器16和一个或多个IR照明源19。HMD设备10还包括用于控制至少一些上述元件并且执行相关联的数据处理功能(例如，语音和手势识别和显示生成)的电路系统(未示出)，该电路系统可以被包含在遮阳板12内。该电路系统可以包括例如一个或多个存储器和一个或多个处理器，诸如中央处理单元(CPU)、图形处理单元(GPU)和/或全息处理单元(HPU)。注意，在其他实施例中，上述组件可以位于HMD设备10上的不同位置。附加地，一些实施例可以省略一些上述组件和/或可以包括上面未提到的附加组件。本文中介绍的技术可以用于保持上述传感器中的任何一个或多个(诸如头部跟踪相机17)的定位和定向的校准。为了便于描述，此后在本说明书中使本文档来自技高网...

【技术保护点】
1.一种近眼显示(NED)设备，包括：显示子系统，用于生成图像并且将表示所述图像的光引导到用户的眼睛；目标传感器，被耦合到所述显示子系统；第二传感器，被安装在所述目标传感器上或附近，以测量随所述目标传感器的位移而变化的参数；以及处理器，被耦合到所述第二传感器并且被配置为基于所述参数计算所述目标传感器的所述位移。

【技术特征摘要】
【国外来华专利技术】2016.12.12 US 15/376,5211.一种近眼显示(NED)设备，包括：显示子系统，用于生成图像并且将表示所述图像的光引导到用户的眼睛；目标传感器，被耦合到所述显示子系统；第二传感器，被安装在所述目标传感器上或附近，以测量随所述目标传感器的位移而变化的参数；以及处理器，被耦合到所述第二传感器并且被配置为基于所述参数计算所述目标传感器的所述位移。2.根据权利要求1所述的NED设备，其中所述处理器还被配置为基于所计算的所述位移来计算调节值。3.根据权利要求1或2所述的NED设备，其中所述目标传感器是相机。4.根据权利要求1至3中任一项所述的NED设备，其中所述第二传感器是磁场传感器。5.根据权利要求4所述的NED设备，其中所述磁场传感器包括被安装到所述相机的镜筒的线圈。6.根据权利要求1至5中任一项所述的NED设备，还包括：发射器，用于发射由所述第二传感器可检测的非视线信号。7.根据权利要求6所述的NED设备，其中所述发射器包括磁场发生器。8.根据权利要求6或7所述的NED设备，还包括刚性地被耦合到所述发射器并且被配置为测量所述发射器的定向的惯性测量单元。9.根据权利要求1至8中任一项所述的NED设备，还包括：第三传感器和第四传感器，每个被安装在所述目标传感器上或附近，以...

【专利技术属性】
技术研发人员：N·D·麦吉，Q·S·C·米勒，L·彻卡欣，M·桑普尔斯，D·E·斯蒂德利，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US