对齐于参考帧合成图像制造技术

在各种示例中，存在一种图像合成器，其包括存储两个或更多个帧的存储器，所述帧是描绘相同场景的图像；以及至少一个处理器。存储器保存可由处理器执行的指令，以选择帧中的至少一个并将其指定为参考帧并将其他帧指定为目标帧。指令将目标帧与参考帧对齐，并通过合成参考帧和经对齐的目标帧来计算输出图像。选择参考帧的过程包括以下中的任一个或多个：帧的特征的局部分析、面部检测、微笑检测、对象检测、计算各个帧的信噪比、来自至少一个非相机传感器的传感器数据的使用。

【技术实现步骤摘要】
【国外来华专利技术】对齐于参考帧合成图像
技术介绍
多个图像(也被称为帧)在其已与参考帧对齐之后被合成，用于诸如高动态范围(HDR)摄影、滤噪之类的应用。高动态范围摄影是用于表示比使用传统数字或模拟摄影可以实现的图像中更大范围的亮度水平的过程。例如，HDR图像可以表示包含浓重阴影和明亮阳光两者的真实场景。通过合成多个图像来滤噪包括以某种方式计算描绘相同场景的许多帧的聚合，以便减少输出图像中的噪声量。多个图像或帧可越来越多地从照相手机、网络照相机和其他类型的照相机获得。例如，对于不同的帧使用不同的相机参数来捕获多个帧的包围曝光通常被用于HDR摄影。例如，连拍摄影在许多照相手机上是可用的，借助连拍摄影，多个帧以时间顺序被快速地捕获。以下描述的各实施例不限于解决用于合成图像的已知系统的缺点中的任一个或全部的实现。概述下面呈现了本公开的简要概述，以便向读者提供基本理解。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。其唯一的目的是以简化形式呈现本文中所公开的概念精选，作为稍后呈现的更详细描述的序言。在各种示例中，存在一种图像合成器，其包括存储两个或更多个帧的存储器，所述帧是描绘相同场景的图像；以及至少一个处理器。存储器保存可由处理器执行以选择帧中的至少一个并将其指定为参考帧并将其他帧指定为目标帧的指令。指令将目标帧与参考帧对齐，并通过合成参考帧和经对齐的目标帧来计算输出图像。选择参考帧的过程包括以下中的任一个或多个：帧的特征的局部分析、面部检测、微笑检测、对象检测、计算各个帧的信噪比、来自至少一个非相机传感器的传感器数据的使用。通过参考结合附图考虑的以下详细描述将更易于领会许多附带特征，因为这些附带特征变得更好理解。附图描述根据附图阅读以下详细描述将更好地理解本说明书，在附图中：图1是由相机设备捕获并被合成以生成输出图像的多个图像(也被称为帧)的示意图；图2是合成多个帧的方法的流程图；图3是适用于在多帧图像处理中合成多个帧的相机的示意图；图4示出基于计算的示例性设备，其中用于合成两个或更多个图像的系统的实施例被实现。在各个附图中使用相同的附图标记来指代相同的部件。详细描述下面结合附图提供的详细描述旨在作为本专利技术示例的描述，而并不旨在表示构建或使用本专利技术示例的唯一形式。本描述阐述了本专利技术示例的功能，以及用于构建和操作本专利技术示例的操作的序列。然而，可通过不同示例来完成相同或等效的功能和序列。术语帧在本文中被用于指代诸如由彩色相机、单色相机、网络相机、视频相机、红外相机、深度相机、立体相机、飞行时间相机、医学成像设备或其他图像传感器捕获的数字图像的图像。多帧图像处理系统用于合成多个帧以形成与输入帧中的各个输入帧相比具有改善质量的输出图像。例如，用于计算高动态范围(HDR)图像、计算超分辨率图像、去噪图像、去模糊图像、通过合成多个闪光和非闪光图像来生成具有环境光和精细细节的图像，以及用于其他目的。所述帧描绘同一场景，或同一场景的至少部分。例如，所述帧在不同时间由同一相机拍摄，或者由不同的相机从略微不同的视角拍摄。(诸)相机可以是移动的，但是任何运动都使得在帧中描绘的场景之间存在重叠。在一些情况下，(诸)相机的参数对于每个帧是相同的，而在一些情况下，(诸)相机的参数在帧之间变化。例如，由照相手机拍摄的一连串图像通常包括快速连续地由同一相机捕获的具有相同的曝光时间、光学系统参数和其他设置的多个帧。例如，用于HDR摄影的由数码相机拍摄的帧的包围通常包括快速连续地由同一相机捕获的但具有不同的曝光时间的多个帧。为了合成或聚合来自多个帧的信息，首先对齐帧。对齐帧包括选择多个帧中的一个作为参考帧，并接着将每个其他帧(被称为目标帧)与参考帧对齐。对齐帧或图像也被称为图像配准。任何已知的帧对齐过程被使用。例如，基于亮度的帧对齐被使用，由此使用相关性度量来比较帧中的亮度模式。使用相关性度量来迭代地变换目标帧，作为指导对良好对齐的搜索的方式。使用基于特征的方法将目标帧与参考帧对齐涉及识别描绘场景中的相同特征的参考帧和要被对齐的帧中的像素。从对应的像素计算几何变换，并且该几何变换被用于变换目标帧。在本文描述的各种实施例中，描述了选择参考帧的方式，其与先前的解决方案相比提供了改善的结果质量。也就是说，参考帧的选择对通过合成对齐的帧生成的输出图像有影响。例如，通过使用以下中的一个或多个以知悉的方式来选择参考帧：帧的局部分析、诸如面部检测、微笑检测、对象检测之类的帧的内容分析、帧的噪声分析、其他传感器信息。在一些情况下，多于一个参考帧被使用。在一些情况下，参考帧在迭代过程中被选择，由此初始参考帧稍后被更新。因此，存在一种处理装置，其提供高质量图像作为输出，其中输出图像通过合成来自多个帧的信息来形成。图1是由相机设备100捕获并被合成以生成输出图像108的多个图像(也被称为帧)106的示意图。在该示例中，相机设备100是由摄影师持有的照相手机并被用于拍摄描绘一个小孩朝向相机跳跃的起居室场景的一连串的帧106。当小孩是移动的并且场景中的其他对象是静止的时，描绘小孩的像素的位置在一连串的帧的每一个图像中变化。而且，小孩在一个或多个帧106中看起来模糊(如图1所示，小孩的头部、手臂和头发在最上面的帧中是模糊的)。相机设备100具有使用软件、硬件和固件的任何组合来实现的图像组合器102。图像合成器102合成来自一连串的帧106的各个帧的信息以生成输出图像108。图像合成器102选择一连串的帧106中的一个帧作为参考帧，将一连串的帧106中的其他帧与参考帧对齐，并接着通过合成信息计算输出图像108。将参考帧选择是全局上为一连串的帧106中的最清晰的帧的那帧的方法在诸如图1所示的情况下表现不佳。这里认识到这是因为整体上最清晰的帧具有小孩的模糊描绘，因为小孩是图像的相对小的部分而清晰度评估考虑了整个图像。选择具有小孩的模糊描绘的参考帧的这种方法接着生成也具有小孩的模糊描绘的输出图像108。当参考帧被选择为具有最短曝光时间的帧时，类似的情况会发生，因为不存在对于局部区域的考虑作为参考帧选择过程的一部分。在一些示例中，图像合成器102被配置为基于以下中的任一个或多个来选择参考帧：帧的局部分析、诸如面部检测、微笑检测、对象检测之类的帧的内容分析、帧的噪声分析、其他传感器信息。在一些情况下，多于一个参考帧被使用。在一些情况下，参考帧在迭代过程中被选择，由此初始参考帧稍后被更新。替代地或附加地，本文中所描述的图像合成器的功能至少部分地由一个或多个硬件逻辑部件来执行。作为示例而非限制，可选地被使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统型系统(SOC)、复杂可编程逻辑器件(CPLD)、图形处理单元(GPU)。在一些情况下，图像合成器102功能全部或部分地位于由远离相机设备100并且通过通信网络与相机设备100通信的一个或多个计算设备提供的云服务104。例如，图像合成器102能够将多个帧106发送到云服务104并且接收返回的输出图像108。例如，图像合成器102能够将多个帧106发送到云服务104并且作为响应接收多个帧中的哪个帧被用作参考帧的指示。在那种情况下，本文档来自技高网...

【技术保护点】
1.一种图像合成器，包括：用于存储两个或更多个帧的存储器，所述两个或更多个帧是描绘同一场景的图像；以及至少一个处理器；所述存储器保存指令，所述指令可由所述处理器执行以：选择所述帧中的至少一个帧并将其指定为参考帧并将其他帧指定为目标帧；将所述目标帧与所述参考帧对齐；通过合成所述参考帧和经对齐的目标帧来计算输出图像；并且其中选择所述参考帧的过程包括以下中的任一个或多个：帧的特征的局部分析、面部检测、微笑检测、对象检测、计算各个帧的信噪比、来自至少一个非相机传感器的传感器数据的使用。

【技术特征摘要】
【国外来华专利技术】2016.08.03 US 15/227,8051.一种图像合成器，包括：用于存储两个或更多个帧的存储器，所述两个或更多个帧是描绘同一场景的图像；以及至少一个处理器；所述存储器保存指令，所述指令可由所述处理器执行以：选择所述帧中的至少一个帧并将其指定为参考帧并将其他帧指定为目标帧；将所述目标帧与所述参考帧对齐；通过合成所述参考帧和经对齐的目标帧来计算输出图像；并且其中选择所述参考帧的过程包括以下中的任一个或多个：帧的特征的局部分析、面部检测、微笑检测、对象检测、计算各个帧的信噪比、来自至少一个非相机传感器的传感器数据的使用。2.根据权利要求1所述的图像合成器，其特征在于，所述存储器保存可由所述处理器执行以迭代所述选择所述帧中的至少一个帧并将其指定为参考帧的过程的指令。3.根据权利要求2所述的图像合成器，其特征在于，选择所述参考帧的过程使用在迭代之间改变的标准。4.根据权利要求2或权利要求3所述的图像合成器，其特征在于，选择所述参考帧的过程针对所述迭代中的第一个迭代使用在整个帧上评估的标准，并且针对所述迭代中的随后的各迭代使用在小于整个帧的区域上评估的标准。5.根据权利要求2所述的图像合成器，其特征在于，选择所述参考帧的过程针对所述迭代中的第一个迭代使用在整个帧上评估的标准，并且针对所述迭代中的随后的各迭代使用在小于整个帧的区域上评估的标准，那些区域描绘在所述场景中移动的一个或多个对象。6.根据权利要求2至5中的任一项所述的图像合成器，其特征在于，所述迭代在计算所述输出图像之前被执行。7.根据权利要求2至6中的任一项所述的图像合成器，其特征在于，所述迭代在所述输出图像的计算之后被执行，并且其中所述迭代由用户输入触发。8.根据权利要求2所述的图像合成器，其特征在于，所述迭代在所述输出图像的计算之后被执行并继续直到所述输出图...

【专利技术属性】
技术研发人员：J·P·格伦，M·O·伊尔莫尼米，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US