视频稳定制造技术

一种用于传送来自用户设备的视频信号的方法、设备和计算机程序产品。在用户设备上，使用摄像机来捕获多个视频信号帧。设备的功能状态将被确定，并且在传输之前，基于所述功能状态来有选择地稳定所述视频信号。

【技术实现步骤摘要】

本专利技术涉及视频信号的稳定（stabilisation）。特别地，本专利技术涉及使用摄像机捕获视频信号帧并对摄像机的运动进行补偿，从而稳定视频信号。
技术介绍
摄像机可被用于捕获作为视频信号帧使用的图像的序列。可以将摄像机固定到稳定的物体，例如可以将摄像机安装在三脚架之类的支架上，从而在捕获视频帧的时候保持摄像机静止。然而，摄像机经常是在移动设备中实现的，并且未必安装在固定的物体上，例如，摄像机可能会被保持或是位于车辆之类的运动物体上。在摄像机捕获视频信号帧时，摄像机的移动可能导致视频信号本身出现不希望的移动。图像稳定处理是一种可以用于补偿视频信号中的不希望移动的方法。一些系统执行运动估计来产生供图像稳定处理使用的运动矢量。在Julan Yang等人发表的“Online Video Stabilization Based on Particle Filters”一文中描述了一种这样的系统。图像稳定算法可以包括三个主要部分：运动估计、运动平滑以及运动补偿。运动估计部件可以估计视频信号内部的局部运动矢量，并且基于这些局部估计来计算全局运动矢量。然后，运动平滑部件可以处理针对所估计的全局运动矢量所进行的滤波，以便平滑计算得到的值以及防止在先前计算的运动矢量之间出现很大的不希望的差别。之后，运动补偿部件可以在与已滤波的全局运动矢量相反的方向上移动图像，从而稳定视频信号。所述运动补偿部件可以对旋转、扭曲或缩放之类的复杂变换加以考虑。为了如上所述基于运动矢量来执行图像稳定处理，那么有可能需要大量的处理资源。在要实时稳定视频信号、也就是在摄像机捕获视频信号的同时使用（例如在视频呼叫中传送或者从设备中输出）稳定版本的视频信号的时候，这有可能会成为一个问题。此外，在执行图像稳定处理的设备是移动电话这类处理资源有限的小型移动设备的时候同样有可能会出现问题。近年来，运动传感器的制造已经变得更加简单和廉价，并且运动传感器的大小也显著变小。现在，在移动设备中实现运动传感器是可行的。运动传感器产生代表传感器运动的采样。在Andy L. Lin发表的“Using Sensors for Efficient Video Coding in Hand-held devices”以及Martin Drahansk?等人发表的“Accelerometer Based Digital Video Stabilization for General Security Surveillance Systems”这两篇现有文献中述及了使用源自运动传感器的数据来稳定视频信号的可能性。已知的处理工具“VirtualDub”提供了需要修剪视频信号的离线稳定处理（也就是非实时）。在英国申请1109071.9中提出了一种用于在线（即实时）发送侧数字稳定的机制。该机制在很多情形中都是有效的，但其需要修剪所传送的视频。而这有可能会影响所传送的视频的质量。
技术实现思路
根据本专利技术的一个方面，提供了一种从用户设备传送视频信号的方法，该方法包括：在用户设备上使用摄像机捕获多个视频信号帧；确定设备的功能状态；以及在进行传输之前，基于功能状态来有选择地稳定视频信号。优选地，所述功能状态是摄像机的运动程度，该方法包括：监视摄像机的运动并且将其与一个阈值相比较。所述监视可以包括：使用与摄像机相关联的运动传感器来产生代表摄像机运动的多个采样；使用这些采样来确定摄像机在所述摄像机捕获的连续帧之间的位移；以及确定代表所确定的摄像机位移所导致的连续帧之间视频信号中的运动的像素位移，并且该方法还包括：将像素位移与阈值进行比较；如果像素位移超出所述阈值，则在传输之前稳定所述视频信号；否则在不实施稳定处理的情况下传送视频信号。优选地，摄像机的运动是旋转运动，运动传感器是旋转运动传感器，并且摄像机的位移是摄像机的角位移。用户设备包括前向摄像机和后向摄像机，当功能状态是选择了前向摄像机时，这时可以在不执行稳定处理的情况下传送视频信号。优选地，在选择了设备的后向摄像机的时候，这时可以对视频信号进行稳定。优选地，使用运动传感器产生的采样的采样率要高于视频信号的帧速率。摄像机和运动传感器可以安装在移动设备内部。稳定视频信号的步骤可以包括：对像素位移进行滤波；以及根据已滤波的像素位移来移动第一和第二帧中的至少一个帧的图像。对像素位移进行滤波的步骤可以包括：基于所述为第二个帧确定的像素位置来确定累积像素位移；以及基于为第二个帧确定的累积像素位移与用于第一个帧的已滤波累积像素位移的加权总和来确定用于第二个帧的已滤波累积像素位移。优选地，向下列各项中的至少一项中添加时间偏移：（i）所捕获的多个帧；以及（2）所产生的多个采样，以使所捕获的多个帧的定时与所产生的多个采样的定时相匹配。如果像素位移超出阈值，则可以使用定时器来确定是否经过了预先确定的时段，并且只有在经过了该时段的时候才稳定所述视频信号。如果像素位移没有超出所述阈值，则可以复位该定时器。根据本专利技术的第二个方面，提供了一种用于稳定视频信号的设备，该设备包括：被配置成捕获视频信号的多个帧的摄像机；用于确定设备的功能状态的装置；以及用于在传输之前基于所述功能状态来有选择地稳定所述视频信号的装置。优选地，所述功能状态是摄像机的运动程度，该设备包括：用于监视摄像机运动并且将其与一个阈值相比较的装置。该设备还可以包括：与摄像机相关联的运动传感器，其被配置成产生代表摄像机运动的多个采样；像素位移确定部件，其被配置成使用所述采样来确定摄像机在该摄像机捕获的连续帧之间的像素位移，所述像素位移代表摄像机运动所导致的连续帧之间的视频信号运动；比较部件，其被配置成将像素位移与一个预定阈值相比较；以及运动补偿部件，其被配置成：在传输之前，如果像素位移超出所述阈值，则稳定所述视频信号，否则，在传输之前不实现稳定处理。优选地，摄像机的运动是旋转运动，运动传感器是旋转运动传感器，并且摄像机的位移是摄像机的角位移。所述运动传感器可以是陀螺仪运动传感器。所述设备可以是移动设备。根据本专利技术的第三个方面，提供了一种用于稳定视频信号的计算机程序产品，所述计算机程序产品包含在非暂时性的计算机可读介质中，并且被配置成当在设备处理器上运行的时候执行权利要求1-13中的任一权利要求的操作。专利技术人已经认识到，为了最大化输出视频的分辨率，希望仅仅在需要的时候实现视频稳定处理，以免不必要地修剪所传送的视频信号。附图说明为了更好地理解本专利技术以及显示如何实施本专利技术，现在将通过示例方式参考以下附图，其中：图1a和1b显示了根据优选实施例的设备；图2是根据优选实施例的用于稳定视频信号的处理的流程图；图3是根据优选实施例的监视处理的流程图；图4是随时间推移的摄像机快门位置的例示图形表示；图5是随时间推移的摄像机的角速度的例示图形表示；图6是根据优选实施例的稳定处理的流程图；以及图7是修剪处理前后的图像的表示。具体实本文档来自技高网...

【技术保护点】
一种传送来自用户设备（100）的视频信号的方法，该方法包括：在用户设备（100）上使用摄像机（102，104）来捕获多个视频信号帧；确定设备（100）的功能状态；以及在进行传输之前，基于功能状态来有选择地稳定视频信号。

【技术特征摘要】
2011.09.26 GB 1116566.9;2011.11.30 US 13/3078001.一种传送来自用户设备（100）的视频信号的方法，该方法包括：
在用户设备（100）上使用摄像机（102，104）来捕获多个视频信号帧；
确定设备（100）的功能状态；以及
在进行传输之前，基于功能状态来有选择地稳定视频信号。
2.权利要求1的方法，其中所述功能状态是摄像机（102，104）的运动程度，该方法包括：
监视摄像机（102，104）的运动并且将其与阈值相比较。
3.权利要求2的方法，其中所述监视包括：
使用与摄像机（102，104）相关联的运动传感器（110）来产生代表摄像机（102，104）运动的多个采样；
使用这些采样来确定摄像机（102，104）在所述摄像机（102，104）捕获的连续帧之间的位移；以及
确定代表所确定的摄像机（102，104）位移所导致的连续帧之间的视频信号中的运动的像素位移，该方法还包括：
将像素位移与阈值进行比较；
如果像素位移超出所述阈值，则在传输之前稳定所述视频信号；以及
否则在不实施稳定处理的情况下传送视频信号，
其中摄像机（102，104）的运动是旋转运动，运动传感器（110）是旋转运动传感器，并且摄像机（102，104）的位移是摄像机（102，104）的角位移。
4.权利要求1的方法，其中用户设备（100）包括前向摄像机（104）和后向摄像机（102），以及功能状态是...

【专利技术属性】
技术研发人员：C奥文，P卡尔森，
申请(专利权)人：斯凯普公司，
类型：发明
国别省市：