图像的协同对准制造技术

技术编号:14677820 阅读:55 留言:0更新日期:2017-02-22 10:08
公开了用于对准图像的技术。作为一个示例,帧可能已经由手持式设备上的视频相机所捕获。教导了协同地对准图像数据的相关帧。协同对准确定了图像数据的帧的对中的像素之间的对应性,以及该对应性中的置信度。将与每一个帧对之间的对应性一致的坐标系统(或者变换)分配给每一个帧。相应对应性中的置信度可以用于在对准坐标系统时向对应性提供加权。可以丢弃异常帧,并且过程重复以得到鲁棒解。

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
对于视频相机,相机的任何移动可能导致帧间抖动。图像稳定化可以用于减少该帧间抖动。存在各种各样的图像稳定化技术。一些依赖于具有检测相机运动使得可以做出适当补偿的传感器。一种基于这样的传感器的技术被称为机械图像稳定化。图像稳定化还可以使用数字图像处理实现。然而,继续存在针对用于图像稳定化的更准确技术的需要。这样的技术对于手持式视频设备而言可能是合期望的。
技术实现思路
本文描述的技术提供用于协同地对准图像数据的相关帧的各种实施例。技术可以计算描绘场景或对象的帧序列中的各帧之间的对准。该技术的一个优点在于,使用利用其它相邻帧的多个成对对准测量结果来计算被分配给每一个帧以使之与其它者对准的坐标系统。这些成对对准测量结果的大集合可以被处理以提供最大化测量结果之间的一致性的结果。而且,技术能够标识可以被移除或校正的异常帧(outlierframe)。一个实施例是包括以下内容的方法。访问图像的帧。选择帧的对。对于每一个所选对,寻找帧对中的像素或区段之间的对应性。将与用于每一个所选帧的对的对应性一致的坐标系统分配给每一个帧。一个实施例是包括配置成执行以下内容的处理器的装置。处理器访问图像的帧,并且选择帧的对。对于每一个所选对,处理器寻找帧对中的像素或区段之间的对应性。处理器将与用于每一个所选帧的对的对应性一致的坐标系统分配给每一个帧。一个实施例是具有体现在其上以供处理器使用的计算机可读指令的计算机可读存储设备。计算机可读指令使处理器执行以下内容。指令使处理器访问图像的帧。指令使处理器选择帧的对。对于每一个所选择的对,使处理器估计差异变换参数并且关联差异变换参数中的置信度。指令使处理器将变换参数集合分配给与差异变换参数和用于每一个所选帧对的差异变换参数中的相关联置信度一致的多个帧中的每一个。提供该
技术实现思路
以便以简化形式引入以下在具体实施方式中进一步描述的概念的选择。该
技术实现思路
不意图标识所要求保护的主题的关键特征或必要特征,也不意图用于帮助确定所要求保护的主题的范围。附图说明在附图中,相同编号的元件相互对应。图1描绘了包括客户端计算设备、网络通信介质和服务器的计算系统。图2描绘了计算设备的示例实施例。图3是可以在技术的实施例中操作的示例性移动设备的框图。图4A描绘了用于图像数据的帧的协同对准的过程的概览。图4B示出了两个帧Fi和Fi之间的对应性Cji的表示。图5是示出了确定用于每一个帧对的对应性和该对应性中的置信度的过程的一个实施例的流程图。图6是屏幕检测过程的一个实施例的流程图。图7A是使用动作图像执行线积分测试(lineintegrationtest)的一个实施例的流程图。图7B示出了用于红色分量的动作图像的小部分的一个示例。图7C示出了沿所选线的每一侧的动作图像的积分。图7D是使用平均颜色图像执行线积分测试的一个实施例的流程图。图8是估计屏幕位置和尺寸的过程的一个实施例的流程图。图9图示了依照一个实施例的估计屏幕的竖直边缘的原理。图10A描述了用于估计屏幕的竖直线的一个实施例的过程。图10B描述了用于估计屏幕的水平线的一个实施例的过程。图11A表示在动作分离测试的一个实施例中使用的动作图像中的各种片段。图11B是用于一个候选线的动作分离测试的一个实施例的流程图。图12A表示在颜色分离测试的一个实施例中使用的平均颜色图像中的各种片段。图12B是用于一个候选线的平均颜色测试的一个实施例的流程图。图13A和图13B各自示出具有候选屏幕以帮助说明颜色对称测试的一个实施例的平均颜色图像。图14是具有屏幕候选者以帮助促进对屏幕边界颜色均匀性测试的一个实施例的解释的示例平均颜色图像的图示。图15A和15B是具有屏幕候选者以帮助促进对角落力度测试的一个实施例的解释的示例平均颜色图像的图示。图16是基于各种测试对屏幕候选者评分的一个实施例的流程图。具体实施方式本文描述的技术提供了用于对准诸如图像帧之类的图像的技术。作为一个示例,帧可能已经由手持式设备上的视频相机所捕获。一个实施例是协同地对准图像数据的相关帧。协同对准确定图像数据的帧对中的像素或区段之间的对应性,以及该对应性中的置信度。将与每一对之间的对应性一致的坐标系统(或变换)分配给每一个帧。相应对应性中的置信度可以用于在分配坐标系统时向对应性提供加权。协同对准实施例的一个优点在于,使用利用其它相邻帧的多个成对对准测量结果来计算被分配给每一个帧以使之与其它者对准的坐标系统。可以处理这些成对测量结果的大集合以提供最大化测量结果之间的一致性的结果。而且,协同对准实施例能够标识可以被移除或校正的错误或异常帧。然后,协同对准实施例可以在异常帧被移除或校正的情况下重复。在一个实施例中,协同对准被用作屏幕检测(其还可以称为“屏幕提取”)的部分。世界上充满着显示屏幕、计算机监控器、图像投影仪、街道标志、电子公告板等。所有这些都是显示图像、视频和其它内容的“屏幕”的示例。准确地检测这样的屏幕的边界并且将它们从背景分离的能力具有许多应用,包括但不限于TV和视频内容的自动内容识别(ACR)、合并屏幕内容和虚拟对象的增强现实体验、读取动态街道标志、通过大型电子公告板(例如,体育馆中的比分板、机场中的出发/到达屏幕)传送和同步消息、以及识别博物馆或其它展示房间中的展览的身份。协同对准可以帮助对抗检测屏幕的过程中的相机的运动。图1描绘了包括客户端计算设备145、网络通信介质170和服务器120的计算系统。客户端计算设备145可以例如是移动相机、膝上型电脑、笔记本计算机、智能电话、可穿戴计算设备(例如,头部安装式显示器)。服务器120表示向客户端145提供服务的计算设备。网络通信介质允许客户端计算设备与服务器通信。网络170可以表示一个或多个网络,其未必使用相同通信协议。在实施例中,网络170可以单独地或者组合地是互联网、广域网(WAN)或局域网(LAN)。网络170上的通信可以是无线或有线的。客户端145可以具有用于捕获图像的视频相机。在一个实施例中,服务器120执行用于客户端145的图像处理,诸如对准图像数据的帧、检测图像数据中的计算机屏幕等。在一个实施例中,客户端145在本地执行图像处理的部分或全部。图2描绘了计算设备200的示例实施例。这可以用于图1的客户端145。然而,要指出,实施例未必要求服务器120以帮助进行图像处理。相反,捕获图像的计算设备可以执行图像处理。在其最基本配置中,计算设备200典型地包括一个或多个处理单元202并且也可以包括不同类型的处理器,诸如中央处理单元(CPU)和图形处理单元(GPU)。计算设备200还包括存储器204。取决于计算设备的精确配置和类型,存储器204可以包括易失性存储器205(诸如RAM)、非易失性存储器207(诸如ROM、闪存等)或者这两种的某种组合。附加地,设备200还可以具有附加特征/功能性。例如,设备200还可以包括附加存储装置(可移除和/或不可移除),包括但不限于,磁性或光学盘或带。这样的附加存储装置在图2中通过可移除存储装置208和不可移除存储装置210图示。设备200还可以包含(多个)通信连接212,诸如一个或多个网络接口和收发器,其允许设备与其它设备通信。设备200还可以具有(多个)输入设备214,诸如键盘、鼠标、笔、语音本文档来自技高网
...
<a href="http://www.xjishu.com/zhuanli/55/201580021002.html" title="图像的协同对准原文来自X技术">图像的协同对准</a>

【技术保护点】
一种方法,包括:访问图像的多个帧,帧具有像素;选择帧的对;对于每一个所选择的对,寻找该对中的帧中的像素或区段之间的对应性;以及将与用于每一个所选择的帧的对的对应性一致的坐标系统分配给多个帧中的每一个。

【技术特征摘要】
【国外来华专利技术】2014.04.23 US 14/2601711.一种方法,包括:访问图像的多个帧,帧具有像素;选择帧的对;对于每一个所选择的对,寻找该对中的帧中的像素或区段之间的对应性;以及将与用于每一个所选择的帧的对的对应性一致的坐标系统分配给多个帧中的每一个。2.如权利要求1所述的方法,其中寻找该对中的帧中的像素或区段之间的对应性包括:估计用于每一个所选择的帧的对的差异变换参数的集合,该集合中用于给定对的差异变换参数是用于该对的第一成员的未知变换参数的第一集合与用于该对的第二成员的未知变换参数的第二集合之间的差异。3.如权利要求2所述的方法,其中基于用于每一个所选择的帧的对的对应性而将坐标系统分配给多个帧中的每一个包括:针对多个帧中的每一个而寻找变换参数的集合,该变换参数的集合与用于每一个所选择的帧的对的差异变换参数的集合一致。4.如权利要求2所述的方法,还包括:将置信度与用于每一个所选择的帧的对的集合中的差异变换参数相关联,其中将坐标系统分配给多个帧中的每一个包括,基于相关联的置信度对用于每一个所选择的帧的对的集合中的差异变换参数进行加权。5.如权利要求1-4中任一项所述的方法,还包括:在将坐标系统分配给多个帧中的每一个之后,从多个帧移除作为异常值的帧;以及在已经从多个帧移除异常帧之后,重复选择、寻找对应性以及分配。6.如权利要求1-5中任一项所述的方法,还包括:对于每一个所选择的对,将置信度与该对中的帧中的像素之间的对应性相关联,其中将坐标系统分配给多个帧中的每一个包括,针对多个帧中的每一个而寻找与对应性和相关联的置信度一致的坐标系统。7.如权利要求1-6中任一项所述的方法,其中将与用于每一个所选择的帧的对的对应性一致的坐标系统分配给多个帧中的每一个包括:确定方程组的解,在所述方程组中,用于多个帧中的每一个的坐标系统未知并且用于各对的每一个帧的对应性已知。8.如权利要求1-7中任一项所述的方法,还包括:基于分配给多个帧中的每一个的坐标系统来对准多个帧;以及在对准之后检测多个帧中的屏幕的位置。9.如权利要求8所述的方法,其中检测多个帧中的屏幕的位置包括:基于多个帧中的一个或多个而形成图像;标识作为用于屏幕的边界的候选者的...

【专利技术属性】
技术研发人员:A布兰德特E博伦施泰因E莎伦M德S纳塔拉朱
申请(专利权)人:微软技术许可有限责任公司
类型:发明
国别省市:美国;US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1