使用帧选择来构造图像全景制造技术

本说明书和附图呈现一种用于电子设备根据多个图像基于它们的视觉质量构造图像全景的新方法、系统、装置和软件产品。通常在多个相邻视频帧上捕获全景图像场景的同一部分，可以从这些视频帧中选择将要粘贴到全景中的最佳视觉表示。根据多个被捕获图像构造图像全景可以包括以下步骤：ａ）使用预定标准来评估所捕获的多个图像之中Ｋ个连续帧的图像质量；ｂ）使用预定规则从评估的Ｋ个帧之中选择具有最佳图像质量的一个图像；以及ｃ）将被选择帧附加到先前被选择帧以构造图像全景。在线实施和离线实施是可能的。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术 一般涉及电子成像，并且更具体地涉及根据多个图像构 造图像全景。
技术介绍
图像全景(或者图像镶嵌)普遍用来通过将数个图像粘贴在一 起而增大相机的视场。已经提出用于根据 一 连串重叠图像帧创建图 像全景的许多方式。 一般而言，将图像帧组合成图像全景的过程包 括(i)针对所有可用图像帧中称为参考帧的一个图像帧的坐标来 配准(register)所有可用图像帧；以及(ii)调整位于一个或者多个 帧的重叠区域中的图像像素的颜色以在不同帧中捕获的图像区域之 间具有平滑过渡。多数现有技术的方法包括将所有可用图像帧简单地粘贴在一 起，即使用从场景中捕获的所有可用图像帧以便创建图像全景而没 有针对这一目的仅选择最佳视觉质量帧。这些方法假设用于图像全 景的源图像在创建图像全景过程中质量良好。实际上并非如此，因 为照片经常是经徒手拍摄的，这在许多场合中造成图像模糊。
技术实现思路
根据本专利技术的第一方面， 一种方法用于通过电子设备根据多个 图像构造图像全景，该方法包括使用预定标准来评估多个图像之中K个连续帧的图像质量，其中K是值至少为二的整数；使用预定 规则从被评估帧之中选择具有最佳图像质量的一个帧；以及将该一 个帧附加到其它被选择帧以构造图像全景。另外根据本专利技术的第一方面，K可以是具有恒定值的预定数目。 另外根据本专利技术的第一方面，K可以是变量。另外，可以使用 预选标准响应于捕获K个连续帧的传感器在捕获过程中的运动量来 选择K。另外，可以向K赋以初始值，然后使用预选规则通过监视 相邻帧中特征的相对运动速度在评估过程中迭代K。另外，使用预 选规则，当相对运动速度小于阈值时可以将K增加预选值或者当相 对运动速度大于又 一 阈值时可以将K减少又 一 预选值。另外根据本专利技术的第一方面，电子设备可以包括存储器，其用于存储用以执行评估、选择和附加步骤的多个图像。另外根据本专利技术的第一方面，电子设备可以被配置用以通过网 络通信来存取多个图像。另外根据本专利技术的第一方面，在评估K个连续帧的图像质量过 程中可以在电子设备的存储器中 一次仅保存一个帧。另外根据本专利技术的第一方面，评估K个连续帧中各帧的图像质 量可以通过评估以下四个图像特征中的至少 一个图像特征来使用预 定标准a)锐度、b)配准准确度、c)与其它帧的重叠量、d)运 动类型和运动量。另外，预定标准可以包括所有四个图像特征。另外根据本专利技术的第一方面，该电子设备可以是数字相机、通信设备、无线通信设备、便携式电子设备、移动电子设备或者相机 电话。另外根据本专利技术的第一方面，可以排除被选择帧的边界并且将 被选择帧的基本上仅中央部分附加到其它被选择帧。另外根据本专利技术的第 一方面，可以在选择之后存储被选择帧， 并且只有在选择多个图像之中将要附加到图像全景的所有帧之后才 将被选择帧附加到图像全景。另外根据本专利技术的第一方面，该一个帧可以在选择之后立即附力口到先前一皮选4奪帧。根据本专利技术的第二方面， 一种计算机程序产品包括在其上实 施计算机程序代码的计算机可读存储结构，用于由具有该计算机程 序代码的计算机处理器执行，其中所述计算机程序代码包括指示为 由电子设备的任何部件执行的用于执行本专利技术第 一 方面的指令。根据本专利技术的第三方面， 一种适于根据多个图像构造图像全景的电子设备包括帧图像质量评估模块，配置用以使用预定标准来 评估多个图像之中K个连续帧的图像质量，其中K是值至少为二的 整数；帧选择模块，配置用以使用预定规则从被评估帧之中选择具 有最佳图像质量的一个帧；以及图像全景构造块，配置用于将该一 个帧附加到其它被选择帧以构造图像全景。另外根据本专利技术的第三方面，电子设备可以被配置用以在选择 之后存储被选择帧，并且只有在选择多个图像之中将要附加到图像全景的所有帧之后才将被选择帧附加到图像全景。另外根据本专利技术的第三方面，电子设备可以被配置用以在选择之后将该 一 个帧立即附加到先前被选择帧。另外根据本专利技术的第三方面，K可以是具有恒定值的预定数目。 另外根据本专利技术的第三方面，K可以是变量。另外，可以使用 预选标准响应于捕获K个连续帧的传感器在捕获过程中的运动量来 选择K。另外，可以向K赋以初始值，然后使用预选^L则通过监一见相邻帧中特征的相对运动速度在评估过程中迭代K。另外根据本专利技术的第三方面，该电子设备还可以包括存储器，用于存储用于执行评估、选择和附加的多个图像。另外根据本专利技术的第三方面，该电子设备还可以被配置用以通 过网络通信来存取多个图像。另外，在评估K个连续帧的图像质量 过程中可以在电子设备的存储器中 一 次仅保存 一 个帧。另外根据本专利技术的第三方面，评估K个连续帧中各帧的图像质 量可以通过评估以下四个图像特征中的至少 一个图像特征来使用预 定标准a)锐度、b)配准准确度、c)与其它帧的重叠量、d)运动类型和运动量。另外根据本专利技术的第三方面，该电子设备可以是数字相机、通信设备、无线通信设备、便携式电子设备、移动电子设备或者相机 电话。根据本专利技术的第四方面， 一种用于根据多个图像构造图像全景的系统包括用于捕获多个图像的装置；以及电子设备，该电子设 备包括帧图像质量评估模块，配置用以使用预定标准来评估多个 图像之中K个连续帧的图像质量，其中K个连续帧中的各帧通过网 络通信而提供到电子设备，并且K是值至少为二的整数；帧选择模 块，配置用以使用预定规则从被评估帧之中选择具有最佳图像质量 的一个帧；以及图像全景构造块，配置用以将该一个帧附加到其它 被选择帧以构造图像全景。另外根据本专利技术的第四方面，该网络通信可以是通过因特网的网络通信。 附图说明为了更好地理解本专利技术的本质和目的，结合以下附图对以下具 体描述进行参照，在附图中图la是根据本专利技术实施例将可用图像帧划分为各有3个帧的小 组的例子的示意表示图1 b是根据本专利技术实施例将可用图像帧划分为帧数目可变的'J 、 组的例子的示意表示图lc是根据本专利技术实施例将可用图像帧划分为具有自适应估计 可变帧数目的小组的例子的另一示意表示图2a是表示根据本专利技术实施例通过评估组中恒定数目的帧(K 是恒定)来根据多个图像离线构造图像全景的流程是可变)来根据多个图像离线1勾造图像全景的流程图；、、 图2c是表示根据本专利技术实施例当基于在多个帧之间的重叠量自适应地改变K值时，根据多个图像构造图像全景的流程图3是表示根据本专利技术实施例根据多个图像在线构造图像全景 的流程图4是根据本专利技术实施例的帧的示意表示图，其中在组成图像 全景时实际上仅使用各帧的中央部分；图5是根据本专利技术实施例通过附加各组K个被捕获帧中的被选 择帧来创建图像全景的过程的示意表示图；以及图6是根据本专利技术实施例适于根据多个图像构造图像全景的电 子设备的框图。具体实施例方式呈现一种新方法、系统、装置和软件产品，用于通过电子设备 根据多个图像基于它们的视觉质量来构造图像全景。具体而言，通 常在多个相邻视频帧上捕获全景图像场景的同一部分，可以从这些 视频帧中选择将要粘贴到全景中的最佳视觉表示。电子设备可以是 (但不限于)数字相机、通信设备、无线通信设备、便携式电子设 备、移动电子设备、相机电话等。根据本专利技术的实施例，在线实施和离线实施都是可以的。离线 实施假设在某一支持设备(例如电子设备的存储器)上存储的所有 视本文档来自技高网...

【技术保护点】
一种方法，包括：　使用预定标准来评估多个图像之中某一数目的连续帧的图像质量，其中所述数目是值至少为二的整数；　使用预定规则从所述被评估帧之中选择具有最佳图像质量的一个帧；以及　将所述一个帧附加到其它被选择帧以由电子设备来构 造图像全景。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：M蒂科，M维维莱南，J鲍特利尔，O西尔文，
申请(专利权)人：诺基亚公司，
类型：发明
国别省市：FI[芬兰]