传感器仿真制造技术

本文所公开的各种具体实施包括能够在具有呈第一图像传感器配置的第一图像传感器的头戴式设备(HMD)上执行应用程序的设备、系统和方法。在一些具体实施中，该应用程序被配置用于在包括呈不同于该第一图像传感器配置的第二图像传感器配置的第二图像传感器的设备上执行。在一些具体实施中，从该执行应用程序接收对来自该第二图像传感器的图像数据的请求。响应于该请求，在该HMD处，确定虚拟图像传感器的姿势，基于该虚拟图像传感器的该姿势生成图像数据，并且将所生成图像数据提供给该执行应用程序。行应用程序。行应用程序。

【技术实现步骤摘要】
【国外来华专利技术】传感器仿真


[0001]本公开整体涉及在电子设备上提供图像内容，并且具体地，涉及基于图像传感器仿真提供图像的系统、方法和设备。

技术介绍

[0002]电子设备具有不同的图像传感器配置。例如，通常意图在用户面部前方几英寸到几英尺处使用的移动设备可具有意图在用户正使用该设备时捕获用户图像的前置相机。不意图以相同方式使用的其他设备，诸如头戴式设备(HMD)，可不具有捕获类似的用户图像的前置相机。设计用于在第一类型的设备上执行的应用程序可在另一类型的设备上(例如，经由仿真器)执行。然而，应用程序的请求和与图像传感器的其他交互可能由于不同类型的设备之间的配置差异而不提供期望的结果。例如，在于不具有在用户前方几英寸到几英尺处面向用户的前置相机的设备(例如，HMD)上仿真应用程序的情况下，对来自预期以此方式使用的前置相机的图像的请求可能不提供期望的结果。

技术实现思路

[0003]本文所公开的各种具体实施包括在具有第一图像传感器配置的设备上(例如，经由仿真器)执行应用程序的设备、系统和方法，其中该应用程序意图用于具有第二图像传感器配置的设备。例如，应用程序可意图用于在具有通常在用户前方几英寸到几英尺处使用且面向用户的前置相机的移动设备上执行，并且可在具有不同图像传感器配置的设备(诸如不具有意图在用户前方几英寸到几英尺处使用且面向用户的前置相机的设备)上使用。在一些具体实施中，此种执行涉及：通过根据虚拟图像传感器姿势修改执行设备自己的图像传感器数据来对应用程序的对前置和后置相机馈送的请求作出响应。例如，应用程序可包括对移动设备的前置相机馈送的请求，并且对此种请求的响应可通过仿真前置图像传感器馈送来在具有不同图像传感器配置的设备上提供。例如，这涉及从在用户前方几英寸到几英尺处且面向用户的视点提供用户的表示的自拍视图。又如，应用程序可请求移动设备的后置相机馈送，并且响应可通过从在用户前方几英寸到几英尺处且背对用户的虚拟设备的位置提供环境的视图来提供。
[0004]本文所公开的各种具体实施包括在具有呈第一图像传感器配置的第一图像传感器的设备上实现呈第二不同图像传感器配置的虚拟第二图像传感器的设备、系统及方法。在一些具体实施中，包括向外、向内或向下图像传感器的HMD实现虚拟前置图像传感器或虚拟后置图像传感器以生成前置图像传感器数据或后置图像传感器数据以用于正在HMD上执行的应用程序。在一些具体实施中，HMD通过根据虚拟图像传感器姿势修改HMD的图像传感器数据来对来自执行应用程序的对前置和后置相机馈送的请求作出响应。例如，HMD可仿真前置设备相机以提供HMD用户的表示(例如，照片般逼真的化身)的“自拍”视图。又如，HMD可仿真后置设备相机以从在HMD用户前方几英尺处的虚拟图像传感器的位置提供物理环境或扩展现实(XR)环境的图像传感器馈送。在一些具体实施中，图像传感器馈送可以是静止图
像、图像序列、视频等。
[0005]在一些具体实施中，HMD执行寻求通常在智能电话、平板电脑等上可用的前置相机馈送的应用程序。在此情况下，HMD可在XR环境(例如，MR、VR等)中自动创建虚拟图像传感器，该虚拟图像传感器提供自拍图片或流式传输HMD用户的化身的自拍视图以用于该应用程序。在一些具体实施中，虚拟前置图像传感器对HMD用户表现为HMD用户可围绕HMD用户自由定位(例如，在3D空间中)的在XR环境中定位在HMD用户前方的相机的3D模型。在一些具体实施中，虚拟相机的3D模型在HMD用户前方浮动且被呈现为具有其自己的附接预览，使得HMD用户知道或查看到浮动3D相机模型正在“看”的事物。在一些具体实施中，HMD从在线或云应用商店下载应用程序且在不修改的情况下执行应用程序。
[0006]在一些具体实施中，一种方法包括：在具有呈第一图像传感器配置的第一图像传感器的头戴式设备(HMD)上执行应用程序，该应用程序被配置用于在包括呈不同于第一图像传感器配置的第二图像传感器配置的第二图像传感器的设备上执行。在一些具体实施中，从执行应用程序接收对来自呈第二图像传感器配置的第二图像传感器的图像数据的请求。在一些具体实施中，响应于请求，确定虚拟图像传感器的姿势，基于虚拟图像传感器的姿势和来自第一图像传感器的图像数据生成图像数据，并且将所生成图像数据提供给执行应用程序。
附图说明
[0007]因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
[0008]图1是根据一些具体实施的示例性操作环境的图示。
[0009]图2是根据一些具体实施的示例性电子设备的图示。
[0010]图3是示出示例性环境的框图。
[0011]图4是示出根据一些具体实施的在图3的环境中捕获帧序列中的帧的移动设备的框图。
[0012]图5至图7是示出根据一些具体实施的基于物理环境的包括虚拟图像传感器的3D表示的XR环境的图示。
[0013]图8是示出根据一些具体实施的在具有呈第一图像传感器配置的第一图像传感器的HMD上生成呈第二不同图像传感器配置的第二图像传感器的图像数据的示例性方法的流程图。
[0014]图9示出根据一些具体实施的示例性HMD的框图。
[0015]根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。
具体实施方式
[0016]描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将会知道，
其他有效方面或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。
[0017]图1示出了在物理环境105中使用电子设备120的示例性操作环境100。人可以在不借助于电子设备的情况下与物理环境或物理世界交互以及/或者感知物理环境或物理世界。物理环境可包括物理特征，诸如物理对象或表面。物理环境的示例是包括物理植物和动物的物理森林。人可以通过各种手段(诸如听觉、视觉、味觉、触觉和嗅觉)直接感知物理环境以及/或者与物理环境交互。
[0018]在图1的示例中，设备120被示出为单个设备。设备120的一些具体实施是手持式的。例如，设备120可以是移动电话、平板电脑、膝上型电脑等。在一些具体实施中，设备120由用户穿戴。例如，设备120可以是手表、HMD等。在一些具体实施中，设备120的功能经由两个或更多个设备(例如另外包括任选的基站)来实现。其他示例包括膝上型计算机、台式计算机、服务器或在功率、CPU能力、GPU能力、存储能力、存储器能力等方面包括附加能力的其他此类设备。可用于实现设备120的功能的多个设备可经由有线或无线通信彼此通信。
[0019]在一些具本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，所述方法包括：在处理器处：在具有呈第一图像传感器配置的第一图像传感器的设备上执行应用程序，所述应用程序被配置用于在包括呈不同于所述第一图像传感器配置的第二图像传感器配置的第二图像传感器的设备上执行；从正在执行的所述应用程序接收对来自呈所述第二图像传感器配置的所述第二图像传感器的图像数据的请求；以及响应于所述请求：确定虚拟图像传感器的姿势；基于所述虚拟图像传感器的所述姿势和来自所述第一图像传感器的图像数据生成图像数据；以及将所生成的图像数据提供给正在执行的所述应用程序。2.根据权利要求1所述的方法，其中生成图像数据包括：基于所述虚拟图像传感器的所述姿势修改来自所述第一图像传感器的所述图像数据以提供所生成的图像数据。3.根据权利要求2所述的方法，其中修改所获得的图像数据包括：基于所述第一图像传感器的姿势和所述虚拟图像传感器的所述姿势来执行视点校正。4.根据权利要求1至3中任一项所述的方法，其中所生成的图像数据模拟所述第二图像传感器的光学特性。5.根据权利要求1至4中任一项所述的方法，其中生成图像数据包括：基于来自所述第一图像传感器的所述图像数据来生成化身。6.根据权利要求5所述的方法，还包括：基于所述设备正在其中操作的物理环境的大小来设定所述化身的大小。7.根据权利要求1至6中任一项所述的方法，其中所述第一图像传感器包括面向内的图像传感器或面向下的图像传感器。8.根据权利要求1至7中任一项所述的方法，还包括：在呈所述第二图像传感器配置的所述第二图像传感器的3D表示中呈现用户可选择输入控件。9.根据权利要求1至8中任一项所述的方法，还包括：呈现包括呈所述第二图像传感器配置的所述第二图像传感器的电子设备的可操作3D表示。10.根据权利要求1至9中任一项所述的方法，其中所述第二图像传感器包括前置图像传感器或后置图像传感器。11.根据权利要求9至10中任一项所述的方法，还包括：在所述电子设备的所述3D表示附近生成所生成的图像数据的预览图像。12.根据权利要求9至10中任一项所述的方法，还包括：在所述电子设备的所述3D表示上生成所生成的图像数据的预览图像。13.根据权利要求1至9中任一项所述的方法，其中所述第二图像传感器包括前置图像传感器，并且其中生成图像数据包括：基于来自所述第一图像传感器的所述图像数据来生
成化身。14.根据权利要求1至9中任一项所述的方法，其中所述第二图像传感器包括后置图像传感器，并且其中生成图像数据包括：基于所述虚拟图像传感器的所述姿势来修改来自所述第一图像传感器的所述图像数据以提供所生成的图像数据。15.根据权利要求1至14中任一项所述的方法，其中所述应用程序正在扩展现实(XR)环境中执行。16.根据权利要求15中任一项所述的方法，其中所生成的图像数据包括如由所述虚拟图像传感器查看到的来自所述XR环境的虚拟对象。17.根据权利要求1至16中任一项所述的方法，其中执行所述应用程序包括：呈现所述应用程序的视觉表示，并且其中所述虚拟图像传感器的所述姿势是基于所述应用程序的所述视觉表示的姿势。18.根据权利要求1至17中任一项所述的方法，其中来自正在执行的所述应用程序的对图像数据的所述请求包括对深度数据的请求。19.根据权利要求1至18中任一项所述的方法，还包括：从正在执行的所述应用程序接收对音频数据的请求。20.根据权利要求1至19中任一项...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：苹果公司，
类型：发明
国别省市：