捕获图像的直通显示制造技术

一种方法，包括从成像传感器顺序地输出由成像传感器捕获的图像的一组像素行中的每个像素行。该方法还包括：在由成像传感器输出捕获图像的第二像素行之前，在显示设备处显示表示捕获图像的第一像素行的像素行。一种装置，包括：成像传感器，其具有产生第一类空间失真的第一透镜；显示设备，其耦合到成像传感器；显示器，用于显示由成像传感器捕获的具有第一类空间失真的图像；以及目镜透镜，其与显示器对准，该目镜透镜产生补偿第一类空间失真的第二类空间失真。

【技术实现步骤摘要】
【国外来华专利技术】捕获图像的直通显示相关申请的交叉引用本申请要求于2015年5月4日提交的美国临时申请No.62/156,815的优先权，其全部内容通过引用结合于本文中。
本公开总体上涉及显示系统，且更具体地涉及经由显示系统中的一个或多个成像传感器捕获的图像的显示。
技术介绍
增强现实(AR)显示系统通常用于捕获用户环境的图像，然后在显示设备上显示捕获图像的表示，由此捕获图像的表示可以包括：增强显示信息，诸如AR覆盖；或者捕获图像的虚拟现实(VR)表示，诸如在捕获图像中的现实生活内容的卡通表示或计算机渲染的表示。在常规AR显示系统中，在每个图像被捕获之后，图像的所有像素被输出并在帧缓冲器中一起缓冲，因此，处理器从帧缓冲器处理整个图像，然后所得到的修改图像从帧缓冲器输出到用于显示该修改图像的显示设备。这种处理路径在捕获图像的时间与显示图像的表示的时间之间引入了实质性延迟(delay)。在许多AR实现中，特别是在图像捕获设备可能是运动式的那些AR实现中，诸如在头戴式显示器(HMD)系统中，这种延迟可能导致图像捕获设备的移动与显示设备中的移动的显示结果之间的可察觉的延时(lag)，从而降低用户体验。附图说明通过参考附图，本领域技术人员可以更好地理解本公开，并且本公开的许多特征和优点对于本领域技术人员来说是显而易见的。在不同附图中使用相同的附图标记表示类似或相同的项目。图1是示出了根据本公开的至少一个实施例的使用行锁定显示器提供增强现实显示的电子设备的图。图2是示出了根据本公开的至少一个实施例的电子设备的头戴式显示器(HMD)实现的前视平面图。图3是示出了根据本公开的至少一个实施例的图2的HMD实现的后视平面图。图4是示出了根据本公开的至少一个实施例的图2的HMD实现的截面图。图5是示出了根据本公开的至少一个实施例的具有行锁定显示器的电子设备的处理系统的框图。图6是示出了根据本公开的至少一个实施例的图5的处理系统的一部分的细节图的框图。图7是示出了根据本公开的至少一个实施例的用于使用行锁定显示器来提供捕获图像的直通显示的图5和图6的处理系统的操作的流程图。图8是示出了根据至少一个实施例的用于在行锁定显示器处显示两个图像流的立体HMD系统的操作的图。图9是示出了根据至少一个实施例的用于在行锁定显示器处交替显示两个图像流的立体HMD系统的操作的图。图10是示出了根据至少一个实施例的利用具有互补空间失真类型的相机透镜和目镜的AR显示系统的示例性实现的图。具体实施方式以下描述旨在通过提供涉及图像捕获和显示系统的多个具体实施例和细节来传达对本公开的透彻理解。然而，应当理解的是，本公开不限于仅为示例性的这些具体实施例和细节，因此，本公开的范围仅由所附权利要求及其等同物限制。还应理解的是，根据已知的系统和方法，本领域普通技术人员将认识到，取决于具体的设计和其它需要，为了在任意数量的替代实施例中的预期目的和益处来使用本公开内容。在并发捕获/显示系统中，一个或多个成像传感器用于捕获本地环境的图像(以视频的形式)，并且该图像被修改(例如，包括AR覆盖或转换为视觉内容的虚拟现实(VR)表示或结合某些过滤或扭曲修改)，然后将所得到的修改后的图像显示给用户。在常规系统中，图像处理/显示路径要求将每个捕获图像(或帧)整体上在帧缓冲器中被缓冲。一旦整个图像在帧缓冲器中被缓冲，处理器就可以执行一个或多个处理来修改图像内容，诸如通过对整个图像应用空间或彩色过滤器、应用AR覆盖、或将现实生活内容转换为代表性的VR内容(例如，图像中的对象的“卡通”版本)。然后将所得到的修改图像提供给显示设备以用于进行显示。这种相对长的处理路径在图像捕获与图像显示之间引入了显著的延迟，这通常对用户而言是可察觉的。图1-10示出了用于在显示系统中有效捕获和显示图像以便减少或最小化图像捕获和图像显示之间的等待时间(latency)的各种技术。显示系统实现有：一个或多个成像传感器，用于从本地环境捕获图像；以及显示设备，该显示设备显示捕获图像或其修改的表示。通常，成像传感器操作如下：通过曝光成行的像素传感器来捕获图像，然后依次移出每行像素传感器的像素数据。在开始处理并随后显示图像之前，不是将所有行的像素数据(以下称为“像素行”)在一起缓冲，而是在至少一个实施例中，显示系统在由成像传感器输出最后一像素行的图像之前启动由传感器输出的图像的各像素行的处理和显示。为了说明，在一些实施例中，显示系统可以暂时缓冲每个像素行，这是因为它是在表示图像的输出像素行流的“滑动窗口”的小缓冲器中从成像传感器输出的，使用存储在缓冲器中的像素行的小子组执行一个或多个有效修改过程，然后从缓冲器依次访问每个修改的像素行，并且使用所访问的修改的像素行来驱动显示设备的对应行。以这种方式，在缓冲器填充有图像的初始像素行的初始短暂时段之后，当每个像素行由成像传感器输出并在缓冲器中缓冲时，从缓冲器访问另一像素行并将其显示在显示设备的对应像素行处。因此，这种过程在本文中称为“直通显示”，并且耦合到成像传感器以提供直通显示的显示设备的配置被称为“行锁定”显示器以反映该来自成像传感器的“线”(即，像素行)的输出与在显示设备处显示的对应线或行的这种一对一同步。这种直通显示过程避免了需要在开始图像处理和后续显示过程之前缓冲整个图像，使得与常规显示系统相比，图像捕获与代表图像显示之间的延时显著降低。因此，与常规显示系统相比，本文所述的直通显示系统和技术提供了改进的用户体验。为了说明，图像捕获/显示系统中的等待时间可以被理解为当光子被传感器采样的时间到光子经由显示器呈现给用户的时间之间的时间。在常规系统中，这种等待时间可以表示为：Texp+Trow+(rows_frame*T_row)+Tsync+Tcompose+Tdisplay，其中Texp是图像传感器上的像素的曝光时间，Trow是从传感器读出的单行的读出时间，rows_frame是图像帧中的行数，Tcompose是合成器引入的时间，Tsync是一行准备输出(为失真进行完全调节以及合成)的时间到显示器控制器准备好该行的时间之间的时间，以及Tdisplay是显示器控制器激活显示器上的像素所需的时间。这里描述了减少或最小化调节透镜失真或实现其他某些图像修改技术所需的行数的示例性技术，并因此将部件(rows_frame*T_row)减少到(c_rows*T_row)，其中，c_rows是从帧缓冲的行数，以便在帧的该部分上实现期望的修改算法。这样，通过这些行锁定技术实现的等待时间的减少可以表示为(rows_frame-c_rows)*T_row。此外，由于图像传感器可以使用本文所述的技术将帧同步到显示器，所以所描述的技术也可以消除Tsync对图像捕获与显示之间的等待时间的影响。图1示出了根据本公开的至少一个实施例的配置成经由直通显示提供AR或VR功能的电子设备100。电子设备100可以包括便携式用户设备，诸如头戴式显示器(HMD)、平板计算机、能进行计算的蜂窝电话(例如，“智能电话”)、笔记本计算机、个人数字助理(PDA)、游戏机系统等。在其他实施例中，电子设备100可以包括固定装置，诸如医疗成像设备、安全成像传感器系统、工业机器人控制系统、无人机控制系统等。为了便于说明，本文本文档来自技高网...

【技术保护点】
一种方法，包括：从第一成像传感器顺序地输出由所述第一成像传感器捕获的第一图像的第一组像素行中的每个像素行；以及在由所述第一成像传感器输出所述第一图像的第二像素行之前，在显示设备处显示表示所述第一图像的第一像素行的像素行。

【技术特征摘要】
【国外来华专利技术】2015.05.04 US 62/156,8151.一种方法，包括：从第一成像传感器顺序地输出由所述第一成像传感器捕获的第一图像的第一组像素行中的每个像素行；以及在由所述第一成像传感器输出所述第一图像的第二像素行之前，在显示设备处显示表示所述第一图像的第一像素行的像素行。2.根据权利要求1所述的方法，还包括：在缓冲器中缓冲所述第一组像素行的子组，所述子组包括第一像素行；修改在所述缓冲器中所缓冲的像素行的子组，以生成表示所述第一像素行的像素行；并且其中，显示表示所述第一像素行的像素行包括：从所述缓冲器访问表示所述第一像素行的像素行，并且利用所访问的像素行来驱动所述显示设备的对应行。3.根据权利要求2所述的方法，其中，修改所缓冲的像素行的子组包括：接收用于第一像素行的子组中的一个或多个像素行的增强现实覆盖信息；以及基于所述增强现实覆盖信息来修改所缓冲的像素行的子组。4.根据权利要求2所述的方法，其中，修改所缓冲的像素行的子组包括：在所缓冲的像素行的子组上执行一个或多个过滤过程。5.根据权利要求4所述的方法，其中，执行一个或多个过滤过程包括：执行空间过滤过程和彩色过滤过程中的至少一个。6.根据权利要求1所述的方法，还包括：在像素行缓冲器中缓冲所述第一像素行；基于与所述第一像素行的位置相关联的增强现实覆盖信息来修改在所述像素行缓冲器中的所述第一像素行，以生成表示所述第一像素行的像素行；并且其中，显示表示第一像素行的像素行包括：从所述缓冲器访问表示所述第一像素行的像素行，并且利用所访问的像素行来驱动所述显示设备。7.根据权利要求1所述的方法，还包括：在由所述第一成像传感器输出所述第一图像的第三像素行之前，在所述显示设备处显示表示第二像素行的像素行。8.根据权利要求1所述的方法，还包括：从第二成像传感器顺序地输出由所述第二成像传感器捕获的第二图像的第二组像素行中的每个像素行；以及在由所述第二成像传感器输出所述第二图像的第四像素行之前，在所述显示设备处显示表示所述第二图像的第三像素行的像素行。9.根据权利要求8所述的方法，其中：在显示器的第一区域中显示所述第一图像；并且与显示所述第一图像同时地，在所述显示器的第二区域中显示所述第二图像。10.根据权利要求8所述的方法，其中：在第一时间时在显示器的第一区域中显示所述第一图像；在与所述第一时间不同的第二时间时在显示器的第二区域中显示所述第二图像；所述第二区域在所述第一时间时是不活动的；并且所述第一区域在所述第二时间时是不活动的。11.一种装置，包括：第一成像传感器，所述第一成像传感器具有输出部，以顺序地输出第一捕获图像的像素行；以及显示器控制器，所述显示器控制器耦合到所述第一成像传感器的所述输出部，在由所述第一成像传感器输出所述第一捕获图像的最后一个像素行之前，所述显示器控制器在显示设备处开始顺序地显示所述第一捕获图像的像素行。12.根据权利要求11所述的装置，还包括：像素行缓冲器，所述像素行缓冲器耦合到所述第一成像传感器的输出部，所述像素行缓冲器具有多个入口以在缓冲器中缓冲所述第一捕获图像的像素行的子组；合成器，所述合成器耦合到所述像素行缓冲器，所述合成器修改所缓冲的像素行的子组，以生成修改的像素行的子组；并且其中，所述显示器控制器耦合到所述像素行缓冲...

【专利技术属性】
技术研发人员：约翰尼·钟·李，史蒂文·B·戈尔德贝格，
申请(专利权)人：谷歌公司，
类型：发明
国别省市：美国,US