用于稳定数字图像帧的第一序列的方法及图像稳定装置制造方法及图纸

本发明专利技术提供用于稳定数字图像帧的第一序列的方法以及图像稳定单元，其中用于稳定数字图像帧的第一序列的方法包括：确定所述序列的主运动层的主运动矢量；确定主运动矢量中代表所述序列中的预期运动的第一部分；确定主运动矢量中代表所述序列中的非预期运动的第二部分；以及基于第二部分从第一序列中生成第二序列。同样提供相应的图像稳定单元。

【技术实现步骤摘要】
用于稳定数字图像帧的第一序列的方法以及图像稳定单元
本公开涉及用于稳定数字图像帧的第一序列的方法和相应的图像稳定单元。
技术介绍
在过去几年中，由于成本降低，性能的显著改进和存储能力的增加，视频获取装置的使用在迅速地增加。现在任何人都可以容易地在移动装置上记录高质量的视频序列。然而视觉体验上往往是令人失望的。与专业的或者半专业的电视录像制作人不同，业余录像爱好者很少使用诸如轮式摄影车、摄影机稳定器乃至三脚架的机械稳定装置。大多数时间，他们只拥有诸如小型数码可携式摄像机或者智能手机的轻质手持设备，这些设备难以保持稳定。他们想要捕获其中计划或者重拍理论上是不可能的精彩瞬间(例如，宝宝的第一步)。由于为了保持对象在画面上照相机的移动以及震动，导致得到的镜头很难观看。然而，因为家庭视频记录了宝贵的记忆，所以他们不可能被立刻丢弃。视频震动还使诸如视频压缩、视频监视和视频恢复的应用性能劣化。因此，随着数字视觉媒体的日益流行，数字视频稳定化技术的重要性在不断地增加。因此，需要提供用于稳定图像的改进方法和改进的图像稳定单元。
技术实现思路
提供一种用于稳定数字图像帧的第一序列的方法，该方法包括:确定所述序列的主运动层的主运动矢量；确定代表所述序列中的预期运动的主运动矢量的第一部分；确定代表所述序列中的非预期运动的主运动矢量的第二部分；以及基于第二部分从第一序列中生成第二序列。此外，提供了一种用于稳定数字图像帧的第一序列的图像稳定单元，该单元包括:处理器，被配置为确定所述序列的主运动的主运动矢量；确定代表所述序列中的预期运动的主运动矢量的第一部分；并且确定代表所述序列中的非预期运动的主运动矢量的第二部分；以及帧渲染器，被配置为基于第二部分从第一序列中生成第二序列。此外，提供了一种包括计算机程序指令的计算机程序，其中当通过计算机执行该计算机程序时，使计算机执行包括以下步骤的方法:确定数字图像序列的主运动层的主运动矢量；确定代表所述序列中的预期运动的主运动矢量的第一部分；确定代表所述序列中的非预期运动的主运动矢量的第二部分；以及基于第二部分从第一序列中生成第二序列。上述段落以概述的方式提供并且不旨在限制所附权利要求的范围。通过参考以下结合附图的详细描述，将会更好地理解所描述的实施方式以及另外的优点。附图中的元件不必相对于彼此成比例。【附图说明】由于本公开的更完整理解及其许多附带优点通过参照结合附图考虑时的以下详细说明将变得更好理解，所以将容易获得本公开的更完整理解和其许多附带的优点，其中:图1示意性地示出了根据本专利技术实施方式的方法的流程图。图2示意性地示出了根据本专利技术实施方式的图像稳定单元的框图。图3示意性地示出了根据本专利技术实施方式的代表预期运动的主运动矢量的第一部分的确定。图4a和图4b示意性地示出了根据本专利技术实施方式如何将运动归类为预期运动和非预期运动。图5示意性地示出了根据本专利技术实施方式的减少图像序列中的偏移的实施方式。图6示意性地示出了根据本专利技术实施方式的如何从图像的第一序列中申城图像的第二稳定序列。图7示意性地示出了根据本专利技术实施方式的检测在屏显示(logo标识)的方法。图8示意性地示出了根据本专利技术实施方式的全帧主运动层的主运动矢量的确定。图9示意性地示出了针对滚动快门图像序列的每条线确定内插的主运动矢量。图10示意性地示出了根据本专利技术另一实施方式的图像稳定单元的框图。【具体实施方式】现在参考附图，其中贯穿几个视图，相同附图标记指定相同的或对应的部分，在图1中描述了用于稳定数字图像帧的第一序列的方法的示意流程图。在步骤SlOO中，确定所述序列的主运动层(DML)的主运动矢量(DMV)。“主运动”应当仅由全局移动组成，而不包括局部移动。该全局移动可被解释为“摄影机移动”。局部移动可能由独立移动的小目标引起的。在主运动层中，仅包括示出足够量特征的那些图像部分，因此可以实现某种程度确定实际上检测到运动。这可通过使用局部运动估计器(LME)的输出以估计帧间运动来实现，例如，通过使用具有整数像素精确度的3D分层块匹配(类似于在“Digital video stabilizationsystem by adaptive fuzzy filtering，，，F.Mohanna、M.Tanakian、Mr.Rezaei, Journal ofCommunication and Computer, vol.7, n0.1，2010中所描述的算法)。可以米用其他技术,但是量化可被用于保持诸如光流场的子像素值向量的计算易处理。对视频稳定性的运动估计应该允许对源于摄像机不稳定的抖动的估计。然而，摄像机运动比主运动更多地受限于估计，因为后者可以是摄像机动作和明显的目标动作两者的结合。主运动确定或估计反复进行主运动矢量和主运动层的计算以去除诸如运动目标和纹理较少区域的外点(outliers,无效块)。2D平移的主运动矢量可被用于计算简单性和禁止帧失真，如在F.Mohanna (以 cf.)中或者 T.Tajbakhsh 的 “Real-time global motion estimation for videostabilization，，，in Proc.SPIE, Real-Time Image and Video Processing, 2009, v0.72440B, pp.72440B-72440B-12 中所描述的。DML被表示为矩阵DMLt，其各个元素被定值为外点的0至内点的1，允许部分成员。反向DMV被计算为基于块的反向运动场(从时间t至时间t_l)BMVt中的局部反向运动向量的加权和:本文档来自技高网...

【技术保护点】
一种用于稳定数字图像帧的第一序列的方法，包括：确定所述序列的主运动层的主运动矢量；确定所述主运动矢量中代表所述序列中的预期运动的第一部分；确定所述主运动矢量中代表所述序列中的非预期运动的第二部分；以及基于所述第二部分由第一序列生成第二序列。

【技术特征摘要】
2013.01.11 EP 13000144.91.一种用于稳定数字图像帧的第一序列的方法，包括: 确定所述序列的主运动层的主运动矢量； 确定所述主运动矢量中代表所述序列中的预期运动的第一部分； 确定所述主运动矢量中代表所述序列中的非预期运动的第二部分；以及 基于所述第二部分由第一序列生成第二序列。2.根据权利要求1所述的方法，其中，确定第一部分包括: 向所述主运动矢量应用低通滤波器。3.根据权利要求2所述的方法，其中，应用所述低通滤波器包括: 向所述主运动矢量应用移动平均。4.根据权利要求2所述的方法，其中，应用所述低通滤波器包括: 应用自适应无限脉冲响应滤波器，其中该滤波器的平滑因子基于被分成两个种类的运动的类别来调整，其中第一种类是时间相关运动的表示，并且第二种类是随机运动的表示。5.根据权利要求1至4中任一项所述的方法，其中，生成第二序列包括: 生成从所述序列开始至当前时间的所述第二部分的积分值； 使所述当前时间的帧的像素值移动所述积分值的反量。6.根据权利要求5所述的方法，还包括: 将移动像素值的最大量限制为预定值。7.根据权利要求1所述的方法，还包括: 检测所述第一序列中的在屏显示；以及 当渲染所述第二序列时保持所述在屏显示的位置不变。8.根据权利要求7所述的方法，其中，检测所述在屏显示包括: 基于所述主运动矢量确定所述第一序列的帧之间的帧间运动；以及 如果所述帧间运动大于预定临界值，那么在没有减弱的情况下生成至少两个帧的第一累计帧，并且对所述累计帧应用边缘检测算法；否则生成所述第一序列的所述帧的减弱帧，则基于所述减弱帧生成第二累计帧并且对所述第二累计帧应用边缘检测算法。9.根据权利要求7或8任一项所述的方法，还包括: 针对已经检测到所述在屏显示的每个帧，确定所述在屏显示的像素映像； 针对使用当前帧的像素映像的第一配置，针对使用先前帧的像素映像的第二配置以及针对不使用像素映像的第三配置，确定当前帧和先前帧之间的所述在屏显示的区域的平均中贞差； 确定所述第一配置、所述第二配置和所述第三配置的平均帧...

【专利技术属性】
技术研发人员：亚尔金·因杰苏，费利克斯·兰博，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP