无FOV损失的空间对准变换制造技术

本公开提供了用于空间对准变换的设备、方法、计算机可读介质和单元。在一些方面，一种设备可以执行包括以下各项的操作：使用第一传感器以第一变焦比捕获场景的第一图像；使用第二传感器以第二变焦比捕获场景的第二图像，第一图像具有与第二图像不同的视场(FOV)；基于第一图像和第二图像之间的一个或多个空间未对准来确定转换矩阵；确定与转换矩阵相关联的置信度；响应于置信度大于置信度阈值，基于设备的第一变焦比、第二变焦比和当前变焦比来确定加权因子；将加权因子应用于转换矩阵；以及使用加权的转换矩阵将第一图像扭曲到第二图像。用加权的转换矩阵将第一图像扭曲到第二图像。用加权的转换矩阵将第一图像扭曲到第二图像。

【技术实现步骤摘要】
【国外来华专利技术】无FOV损失的空间对准变换
[0001]相关申请的交叉引用
[0002]本专利申请要求享有于2020年11月10日提交的题为“SPATIAL ALIGNMENT TRANSFORM WITHOUT FOV LOSS”的美国专利申请第17/094,052号的优先权，该专利申请被转让给本申请的受让人。所有在先申请的公开内容都被认为是本专利申请的一部分，并通过引用并入本专利申请中。


[0003]本公开总体上涉及图像或视频捕获设备，包括由图像信号处理器处理来自多个图像传感器的图像帧，例如用于图像帧的空间对准变换。

技术介绍

[0004]许多设备包括可以用于捕获一个或多个图像帧的多个图像传感器。例如，智能电话或平板计算机包括用于为不同成像应用生成图像或视频的多个图像传感器。一个或多个图像信号处理器可以处理来自多个图像传感器的图像帧。处理后的图像帧可以由成像应用使用，例如用于生成预览图像、用户照片、记录视频、执行增强现实操作等。

技术实现思路

[0005]本公开的系统、方法和设备各自具有若干创新方面，其中没有单个方面单独负责本文公开的期望属性。
[0006]本公开中描述的主题的一个创新方面可以在设备中实现。所述设备可以包括处理器和耦合到该处理器并存储指令的存储器，所述指令在由处理器执行时使所述设备执行操作。所述操作可以包括：使用第一传感器以第一变焦比捕获场景的第一图像；使用第二传感器以第二变焦比捕获场景的第二图像，第一图像具有与第二图像不同的视场(FOV)；基于第一图像和第二图像之间的一个或多个空间未对准来确定转换矩阵；确定与转换矩阵相关联的置信度；响应于置信度大于置信度阈值，基于设备的第一变焦比、第二变焦比和当前变焦比来确定加权因子；将加权因子应用于转换矩阵；以及使用加权的转换矩阵将第一图像扭曲到第二图像。
[0007]在一些实现方式中，在当前变焦比处于跨越在第一变焦比和第二变焦比之间的重叠区域内时，第一图像与第二图像被同时捕获。在一些实例中，在当前变焦比等于第一变焦比时，加权因子为0％，并且在当前变焦比等于第二变焦比时，加权因子为100％。在一些其他实例中，当置信度不大于置信度阈值时，加权因子对应于单位矩阵。在一些实现方式中，第一图像具有比第二图像宽的FOV。在一些实例中，第一传感器是广角图像传感器，并且第二传感器是远程图像传感器。
[0008]在一些实现方式中，所述指令的执行使设备执行还包括以下的操作：随着当前变焦比从第一变焦比增加到第二变焦比，逐渐增加加权因子；以及随着当前变焦比在重叠区域内朝着第一变焦比减小时，逐渐地减小加权因子。在一些其他实现方式中，所述指令的执
行使设备执行还包括以下的操作：基于扭曲的第一图像和第二图像来生成预览图像；以及向设备的用户显示预览图像。
[0009]在一些实现方式中，所述指令的执行使设备执行还包括以下的操作：缩放第一图像以匹配第二图像的FOV；以及识别在缩放的第一图像和第二图像之间的一个或多个空间未对准。在一些其他实现方式中，所述指令的执行使设备执行还包括以下的操作：当置信度大于置信度阈值时，避免确定附加的转换矩阵。
[0010]本公开中描述的主题的另一创新方面可以实现为用于空间对准变换的方法。该方法可以由设备执行，并且可以包括：使用设备的第一传感器以第一变焦比捕获场景的第一图像；使用设备的第二传感器以第二变焦比捕获场景的第二图像，第一图像具有与第二图像不同的视场(FOV)；基于第一图像和第二图像之间的一个或多个空间未对准来确定转换矩阵；确定与转换矩阵相关联的置信度；响应于置信度大于置信度阈值，基于设备的第一变焦比、第二变焦比和当前变焦比来确定加权因子；将加权因子应用于转换矩阵；以及使用加权的转换矩阵将第一图像扭曲到第二图像。
[0011]在一些实现方式中，在当前变焦比处于跨越在第一变焦比和第二变焦比之间的重叠区域内时，第一图像与第二图像被同时捕获。在一些实例中，在当前变焦比等于第一变焦比时，加权因子为0％，并且在当前变焦比等于第二变焦比时，加权因子为100％。在一些其他实例中，当置信度不大于置信度阈值时，加权因子对应于单位矩阵。在一些实现方式中，第一图像具有比第二图像宽的FOV。在一些实例中，第一传感器是广角图像传感器，并且第二传感器是远程图像传感器。
[0012]在一些实现方式中，所述方法还包括：随着当前变焦比从第一变焦比增加到第二变焦比，逐渐增加加权因子；以及随着当前变焦比在重叠区域内朝着第一变焦比减小时，逐渐地减小加权因子。在一些其他实现方式中，所述方法还包括：基于扭曲的第一图像和第二图像来生成预览图像；以及向设备的用户显示预览图像。
[0013]在一些实现方式中，所述方法还包括：缩放第一图像以匹配第二图像的FOV；以及识别在缩放的第一图像和第二图像之间的一个或多个空间未对准。在一些其他实现方式中，所述方法还包括：当置信度大于置信度阈值时，避免确定附加的转换矩阵。
[0014]本公开中描述的主题的另一创新方面可以在非暂时性计算机可读介质中实现。该非暂时性计算机可读介质可以存储指令，所述指令在由设备的处理器执行时，使设备执行操作。在一些实现方式中，所述操作包括：使用第一传感器以第一变焦比捕获场景的第一图像；使用第二传感器以第二变焦比捕获场景的第二图像，第一图像具有与第二图像不同的视场(FOV)；基于第一图像和第二图像之间的一个或多个空间未对准来确定转换矩阵；确定与转换矩阵相关联的置信度；响应于置信度大于置信度阈值，基于设备的第一变焦比、第二变焦比和当前变焦比来确定加权因子；将加权因子应用于转换矩阵；以及使用加权的转换矩阵将第一图像扭曲到第二图像。
[0015]在一些实现方式中，在当前变焦比处于跨越在第一变焦比和第二变焦比之间的重叠区域内时，第一图像与第二图像被同时捕获。在一些实例中，在当前变焦比等于第一变焦比时，加权因子为0％，并且在当前变焦比等于第二变焦比时，加权因子为100％。在一些其他实例中，当置信度不大于置信度阈值时，加权因子对应于单位矩阵。在一些实现方式中，第一图像具有比第二图像宽的FOV。在一些实例中，第一传感器是广角图像传感器，并且第
二传感器是远程图像传感器。
[0016]在一些实现方式中，所述操作还包括：随着当前变焦比从第一变焦比增加到第二变焦比，逐渐增加加权因子；以及随着当前变焦比在重叠区域内朝着第一变焦比减小时，逐渐地减小加权因子。在一些其他实现方式中，所述操作还包括：基于扭曲的第一图像和第二图像来生成预览图像；以及向设备的用户显示预览图像。
[0017]在一些实现方式中，所述操作还包括：缩放第一图像以匹配第二图像的FOV；以及识别在缩放的第一图像和第二图像之间的一个或多个空间未对准。在一些其他实现方式中，所述操作还包括：当置信度大于置信度阈值时，避免确定附加的转换矩阵。
[0018]本公开中描述的主题的另一创新方面可以实现在设备中。该设备可以包括：用于使用第一传感器以第一变焦比捕获场景的第一图像的单元；用于使用第二传感器以第二变焦比捕获场景本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种设备，包括：处理器；以及存储器，其耦合到所述处理器并存储指令，所述指令在由所述处理器执行时使所述设备执行包括以下各项的操作：使用第一传感器以第一变焦比捕获场景的第一图像；使用第二传感器以第二变焦比捕获所述场景的第二图像，所述第一图像具有与所述第二图像不同的视场(FOV)；基于所述第一图像和所述第二图像之间的一个或多个空间未对准来确定转换矩阵；确定与所述转换矩阵相关联的置信度；响应于所述置信度大于置信度阈值，基于所述设备的所述第一变焦比、所述第二变焦比和当前变焦比来确定加权因子；将所述加权因子应用于所述转换矩阵；以及使用加权的转换矩阵将所述第一图像扭曲到所述第二图像。2.根据权利要求1所述的设备，其中，当所述置信度不大于所述置信度阈值时，所述加权因子包括单位矩阵。3.根据权利要求1所述的设备，其中，在所述当前变焦比处于跨越在所述第一变焦比和所述第二变焦比之间的重叠区域内时，所述第一图像与所述第二图像被同时捕获。4.根据权利要求3所述的设备，其中，在所述当前变焦比等于所述第一变焦比时，所述加权因子为0％，并且在所述当前变焦比等于所述第二变焦比时，所述加权因子为100％。5.根据权利要求3所述的设备，其中，所述指令的执行使所述设备执行进一步包括以下各项的操作：随着所述当前变焦比从所述第一变焦比增加到所述第二变焦比，逐渐增加所述加权因子；以及随着所述当前变焦比在所述重叠区域内朝着所述第一变焦比减小，逐渐地减小所述加权因子。6.根据权利要求1所述的设备，其中，所述指令的执行使所述设备执行进一步包括以下各项的操作：基于扭曲的第一图像和第二图像来生成预览图像；以及向所述设备的用户显示所述预览图像。7.根据权利要求1所述的设备，其中，所述第一图像具有比所述第二图像宽的FOV。8.根据权利要求1所述的设备，其中，所述第一传感器包括广角图像传感器，并且所述第二传感器包括远程图像传感器。9.根据权利要求1所述的设备，其中，所述指令的执行使所述设备执行进一步包括以下各项的操作：缩放所述第一图像以匹配所述第二图像的FOV；以及识别在缩放的第一图像和第二图像之间的一个或多个空间未对准。10.根据权利要求1所述的设备，其中，所述指令的执行使所述设备执行进一步包括以下各项的操作：当所述置信度大于所述置信度阈值时，避免确定附加的转换矩阵。
11.一种方法，包括：使用设备的第一传感器以第一变焦比捕获场景的第一图像；使用所述设备的第二传感器以第二变焦比捕获所述场景的第二图像，所述第一图像具有与所述第二图像不同的视场(FOV)；基于所述第一图像和所述第二图像之间的一个或多个空间未对准来确定转换矩阵；确定与所述转换矩阵相关联的置信度；响应于所述置信度大于置信度阈值，基于所述设备的所述第一变焦比、所述第二变焦比和当前变焦比来确定加权因子；将所述加权因子应用于所述转换矩阵；以及使用加权的转换矩阵将所述第一图像扭曲到所述第二图像。12.根据权利要求11所述的方法，其中，当所述置信度不大于所述置信度阈值时，所述加权因子包括单位矩阵。13.根据权利要求11所述的方法，其中，在所述当前变焦比处于跨越在所述第一变焦比和所述第二变焦比之间的重叠区域内时，所述第一图像与所述第二图像被同时捕获。14.根据权利要求13所述的方法，其中，在所述当前变焦比等于所述第一变焦比时，所述加权因子为0％，并且在所述当前变焦比等于所述第二变焦比时，所述加权因子为100％。15.根据权利要求13所述的方法，还包括：随着所述当前变焦比从所述第一变焦比增加到所述第二变焦比，逐渐增加所述加权因子；以及随着所述当前变焦比在所述重叠区域内朝着所述第一变焦比减小，逐渐...

【专利技术属性】
技术研发人员：任剑锋，刘石忠，刘伟亮，KC，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：