分布式传感器系统技术方案

在一个示例中，移动设备包括：物理链路；多个图像传感器，每个图像传感器被配置为经由物理链路发送图像数据；以及耦合到物理链路的控制器，由此物理链路、多个图像传感器和控制器形成多分支网络。控制器被配置为：发送控制信号以配置多个图像传感器处的图像感测操作；经由物理链路从多个图像传感器的至少一个子集接收图像数据；组合来自多个图像传感器的至少一个子集的图像数据，以获得扩展的视场(FOV)；确定在扩展的FOV内捕获的移动设备的周围环境的信息；并将该信息提供给应用以基于该信息生成内容。成内容。成内容。

【技术实现步骤摘要】
【国外来华专利技术】分布式传感器系统
[0001]相关申请
[0002]本专利申请要求于2019年10月30日提交的标题为“DISTRIBUTED SENSOR SYSTEM”、序列号为62,928,233的美国临时专利申请的优先权，该美国临时专利申请已被转让给本受让人，并且以其整体通过引用并入本文以用于所有目的。
[0003]领域
[0004]本公开总体上涉及传感器网络，更具体地，涉及在诸如头戴式显示器(HMD)的可穿戴电子设备中的传感器网络。
[0005]背景
[0006]可穿戴电子设备可以包括许多传感器，以支持设备的不同应用。例如，可穿戴虚拟现实(VR)系统、增强现实(AR)系统和混合现实(MR)系统可以包括许多图像传感器、音频传感器、运动传感器等。传感器可用于收集用户所处的物理环境的传感器数据，以支持各种应用，诸如跟踪可穿戴电子设备的用户的定位的即时定位与地图映射(SLAM)算法、对象检测/测量应用等。基于传感器数据，VR/AR/MR系统可以生成和更新例如用于经由近眼显示器显示给用户的虚拟图像数据、用于经由扬声器输出给用户的音频数据等，来为用户提供交互式体验。
[0007]为了改善对周围环境的感测，可穿戴电子设备可以包括一个或更多个高分辨率图像传感器模块。每个图像传感器模块可以包括透镜堆叠(lens stack)和高分辨率图像传感器，以捕获高分辨率图像。但是，将高分辨率传感器模块的这样的网络集成到可穿戴电子设备中可能具有挑战性。具体而言，高分辨率传感器模块通常需要具有相对大的形状因子的大的硅区域，而视场(FOV)透镜堆叠可能具有相当大的垂直高度，所有这些使得难以将模块集成在空间非常有限的可穿戴电子设备中。此外，高分辨率图像数据的生成以及高分辨率图像数据的发送和处理通常消耗许多功率，而移动设备通常以非常有限的功率预算操作。所有这些都使得实现一种对周围环境提供高质量感测的可穿戴设备变得具有挑战性。
[0008]概述
[0009]本公开涉及传感器网络。更具体地，但不限于，本公开涉及可在诸如HMD的可穿戴电子设备中使用的传感器网络。
[0010]在一个示例中，一种移动设备包括：物理链路；多个图像传感器，多个图像传感器中的每一个图像传感器被配置为经由物理链路发送图像数据；以及耦合到物理链路的控制器，由此物理链路、多个图像传感器和控制器形成多分支网络(multi
‑
drop network)。控制器被配置为：发送控制信号以配置多个图像传感器处的图像感测操作；经由物理链路从多个图像传感器的至少一个子集接收图像数据；组合来自多个图像传感器的至少一个子集的图像数据，以获得比图像传感器的子集中的每个图像传感器提供的视场(FOV)更大的扩展的FOV；确定在扩展的FOV内捕获的移动设备的周围环境的信息；以及将该信息提供给应用以基于该信息生成内容。
[0011]在一些方面，控制器被配置为基于发送控制信号，选择多个图像传感器的子集来发送图像数据，并且禁用多个图像传感器的其余部分。
[0012]在一些方面，图像数据是第一图像数据。控制器被配置为基于发送控制信号来：控制多个图像传感器的子集以第一分辨率发送第一图像数据；并且控制多个图像传感器的其余部分以第二分辨率发送第二图像数据。第一分辨率高于第二分辨率。
[0013]在一些方面，图像数据是第一图像数据。控制器被配置为基于发送控制信号来：控制多个图像传感器的子集以第一帧速率发送第一图像数据；以及控制多个图像传感器的其余部分以第二帧速率发送第二图像数据，第一帧速率高于第二帧速率。
[0014]在一些方面，周围环境的信息包括感兴趣对象的跟踪结果。控制器被配置为：基于确定由多个图像传感器的子集生成的图像数据可能包含对象的一个或更多个图像，来选择多个图像传感器的子集。
[0015]在一些方面，控制器被配置为：基于在来自多个图像传感器的子集的先前图像数据中检测到对象的特征，来确定由多个图像传感器的子集生成的图像数据可能包含对象的一个或更多个图像。
[0016]在一些方面，控制器被配置为：基于来自多个图像传感器的先前图像数据来确定对象和移动设备之间的相对移动的先前轨迹。控制器被配置为:基于先前轨迹预测对象的轨迹；并且基于预测的轨迹来确定由多个图像传感器的子集生成的图像数据可能包含对象的一个或更多个图像。
[0017]在一些方面，多个图像传感器中的每个图像传感器包括像素单元阵列。控制器被配置为基于发送控制信号，选择性地配置多个图像传感器中的一个或更多个图像传感器中的像素单元阵列中的特定像素单元子集的图像捕获操作。
[0018]在一些方面，控制器被配置为基于发送控制信号来：启用多个图像传感器中的第一图像传感器的像素单元阵列中的像素单元的第一子集以经由物理链路向控制器发送第一图像数据；以及启用多个图像传感器中的第二图像传感器的像素单元阵列中的像素单元的第二子集以经由物理链路向控制器发送第二图像数据。第一子集和第二子集是不同的。控制器被配置为基于发送控制信号来：启用多个图像传感器中的第一图像传感器的像素单元阵列中的第一像素单元子集来以第一分辨率生成第一图像数据；启用第一图像传感器的像素单元阵列中的第二像素单元子集来以第二分辨率生成第二图像数据。第一分辨率高于第二分辨率。
[0019]在一些方面，控制器被配置为基于发送控制信号来：设置多个图像传感器中的第一图像传感器的像素单元阵列中的第一像素单元子集的第一动态范围；以及设置第一图像传感器的像素单元阵列中的第二像素单元子集的第二动态范围。第一动态范围高于第二动态范围。
[0020]在一些方面，对于多个图像传感器的子集中的每个图像传感器，控制信号识别像素单元阵列中的特定像素单元子集中的像素单元。
[0021]在一些方面，控制信号包括指导信号。多个图像传感器中的第一图像传感器被配置为基于指导信号，在本地确定像素单元阵列中的特定像素单元子集。
[0022]在一些方面，指导信号指定感兴趣对象的特征。第一图像传感器被配置为：基于指导信号确定包括感兴趣对象的感兴趣区域；并且基于感兴趣区域确定像素单元阵列中的特定像素单元子集。
[0023]在一些方面，基于以下至少一项来确定像素单元阵列中的特定像素单元子集：感
兴趣对象的跟踪结果或移动设备的移动。
[0024]在一些方面，来自多个图像传感器中的至少第一图像传感器和第二图像传感器的图像数据被组合。第一图像传感器和第二图像传感器面向不同的方向。
[0025]在一些方面，来自多个图像传感器中的至少第一图像传感器和第二图像传感器的图像数据被组合。第一图像传感器被配置为捕获第一频率范围的光。第二图像传感器被配置为捕获不同于第一频率范围的第二频率范围的光。
[0026]在一些方面，物理链路包括以下至少一种：基于I3C规范的总线或光链路。
[0027]在一个示例中，一种方法包括：发送控制信号以配置移动设备的多个图像传感器处的图像感测操作；经由物理链路从多个图像传感器的子集中的每个图像传感器接收图本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种移动设备，包括：物理链路；多个图像传感器，所述多个图像传感器中的每一个图像传感器被配置为经由所述物理链路发送图像数据；和控制器，所述控制器耦合到所述物理链路，由此所述物理链路、所述多个图像传感器和所述控制器形成多分支网络；其中，所述控制器被配置为：发送控制信号以配置所述多个图像传感器处的图像感测操作；经由所述物理链路从所述多个图像传感器的至少一个子集接收图像数据；组合来自所述多个图像传感器的所述至少一个子集的图像数据，以获得比图像传感器的所述子集中的每个图像传感器提供的视场(FOV)更大的扩展的FOV；确定在所述扩展的FOV内捕获的所述移动设备的周围环境的信息；和将所述信息提供给应用以基于所述信息生成内容。2.根据权利要求1所述的移动设备，其中，所述控制器被配置为基于发送所述控制信号，选择所述多个图像传感器的所述子集来发送所述图像数据，并且禁用所述多个图像传感器的其余部分。3.根据权利要求2所述的移动设备，其中，所述图像数据是第一图像数据；其中，所述控制器被配置为基于发送所述控制信号来：控制所述多个图像传感器的所述子集以第一分辨率发送所述第一图像数据；和控制所述多个图像传感器的其余部分以第二分辨率发送第二图像数据；和其中，所述第一分辨率高于所述第二分辨率。4.根据权利要求2所述的移动设备，其中，所述图像数据是第一图像数据；其中，所述控制器被配置为基于发送所述控制信号来：控制所述多个图像传感器的所述子集以第一帧速率发送所述第一图像数据；和控制所述多个图像传感器的其余部分以第二帧速率发送第二图像数据；和其中，所述第一帧速率高于所述第二帧速率。5.根据权利要求2所述的移动设备，其中，所述周围环境的信息包括感兴趣对象的跟踪结果；并且其中，所述控制器被配置为：基于确定由所述多个图像传感器的所述子集生成的图像数据可能包含所述对象的一个或更多个图像，来选择所述多个图像传感器的所述子集。6.根据权利要求5所述的移动设备，其中，所述控制器被配置为：基于在来自所述多个图像传感器的所述子集的先前图像数据中检测到所述对象的特征，来确定由所述多个图像传感器的所述子集生成的图像数据可能包含所述对象的一个或更多个图像。7.根据权利要求5所述的移动设备，其中，所述控制器被配置为：基于来自所述多个图像传感器的先前图像数据，来确定所述对象和所述移动设备之间的相对移动的先前轨迹；并且其中，所述控制器被配置为：基于所述先前轨迹来预测所述对象的轨迹；和基于预测的轨迹来确定由所述多个图像传感器的所述子集生成的图像数据可能包含
所述对象的一个或更多个图像。8.根据权利要求1所述的移动设备，其中，所述多个图像传感器中的每个图像传感器包括像素单元阵列；并且其中，所述控制器被配置为：基于发送所述控制信号，选择性地配置所述多个图像传感器中的一个或更多个图像传感器中的像素单元阵列中的特定像素单元子集的图像捕获操作。9.根据权利要求8所述的移动设备，其中，所述控制器被配置为基于发送所述控制信号来：启用所述多个图像传感器中的第一图像传感器的像素单元阵列中的像素单元的第一子集来经由所述物理链路向所述控制器发送第一图像数据；和启用所述多个图像传感器中的第二图像传感器的像素单元阵...

【专利技术属性】
技术研发人员：安德鲁，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：