静态视频识别制造技术

一些实施方式可以包括用于识别静态视频的计算机实现的方法和/或系统。一种方法可以包括从输入视频的一个或多个视频帧中获得输入视频帧，其中在接收到快门按下指示之前和在接收到快门按下指示之后获取视频帧。该方法还包括下采样，平滑，计算时间梯度，估计局部运动，估计全局运动，计算一个或多个对象运动矢量，将一个或多个对象运动矢量转换为得分映射，基于得分映射计算熵得分，映射熵得分，识别静态帧的数量，以及如果输入视频中的静态帧的数量与视频帧的数量的比率满足静态帧阈值，则确定输入视频是静态视频。

【技术实现步骤摘要】
【国外来华专利技术】静态视频识别
技术介绍
一些移动设备可以包括捕获视频和静止图像的能力。在一些情况下，可以捕获记录恰好在检测快门按下之前和之后出现的图像以捕获静止图像的视频。这种视频可以是有趣的，并且有助于捕获单个静止图像可能不包含的主题的图像。然而，静态或一般静态场景(例如建筑物或景观)的视频可能不利于用户，并且可能不值得存储在设备上的存储器或外部存储器中。存在用于区分静态视频和具有移动的视频的技术困难。例如，如果使用移动设备捕获图像，则用户的手可能抖动地厉害会使其看起来好像视频包括移动一样。因此，识别视频是静态的(例如，记录相对静态的场景或对象)可能是有用的。本文提供的背景描述是出于一般地呈现本公开的上下文的目的。在此
技术介绍
部分中描述了本专利技术的专利技术人的工作，以及在提交时可能不作为现有技术的描述的各方面，既不明确地也不隐含地承认作为本公开的现有技术。
技术实现思路
一些实施方式通常涉及移动设备图像捕获，并且尤其涉及用于识别静态视频的方法和系统。一些实施方式可以包括计算机实现的方法。所述方法可包括从输入视频的一个或多个视频帧中获取输入视频帧，其中在接收到快门按下指示之前和在接收到所述快门按下指示之后，获取所述视频帧。该方法还包括对所述输入视频帧进行下采样，以生成经下采样的视频帧。该方法还包括对所述经下采样的视频帧进行平滑处理，以生成经平滑的视频帧。该方法还包括计算所述经平滑的视频帧的时间梯度和空间梯度。该方法还包括通过计算局部运动矢量来估计局部运动，所述局部运动矢量对应于来自所述经平滑的视频帧内的一个或多个候选像素块中的相应候选像素块，其中所述局部运动矢量基于所述空间梯度和所述时间梯度。该方法还包括通过计算与所述经平滑的视频帧相对应的全局运动矢量来估计全局运动。该方法还包括基于对应的局部运动矢量和全局运动矢量，计算一个或多个对象运动矢量。所述方法还包括将所述一个或多个对象运动矢量转换为得分映射(scoremap)。所述方法还包括基于所述得分映射计算熵得分。该方法还包括将所述熵得分映射到与所述经平滑的视频帧相对应的对象运动得分。该方法还包括基于所述对象运动得分来识别静态帧的数量。该方法还包括：如果静态帧的数量与所述视频帧的数量的比率满足静态帧阈值，则确定所述输入视频是静态视频，并且如果所述率不满足所述静态帧阈值，则确定所述输入视频是运动视频。该方法还包括：如果所述输入视频被识别为所述静态视频，则进行第一操作。该方法还包括：如果所述输入视频被识别为所述运动视频，则进行第二操作。该方法还可以包括在平滑之前将所述经下采样的视频帧从彩色转换成灰度级。在一些实施例中，计算经平滑的视频帧的空间梯度和时间梯度包括：将所述经平滑的视频帧中的曝光不足的像素和所述经平滑的视频帧中的曝光过度的像素标记为无效；和对于所述经平滑的视频帧内的有效像素：计算时间梯度；计算x方向上的空间梯度；和计算y方向上的空间梯度。在一些实施例中，通过以下步骤来确定所述一个或多个候选像素块：在所述经平滑的视频帧内选择一个或多个网格点作为参考点，用于运动估计；针对与所述一个或多个网格点中的每一个网格点对应的像素块选择像素块宽度和像素块高度；计算每个像素块的统计信息；确定所述像素块是否具有满足阈值纹理值的纹理；并且如果所述像素块具有满足所述阈值纹理值的纹理，则将所述像素块识别为用于运动估计的候选像素块。在一些实施例中，计算所述局部运动矢量包括基于所述候选像素块中的像素的所述空间梯度和所述时间梯度来计算局部x运动值并计算局部y运动值。在一些实施例中，计算所述全局运动矢量包括基于有效局部运动矢量的平均值来计算所述全局运动矢量。在一些实施例中，计算所述一个或多个对象运动矢量包括从相应的局部运动矢量中减去所述全局运动矢量。在一些实施例中，将所述一个或多个对象运动矢量转换成所述得分映射包括对所述经平滑的视频帧内的像素的相应对象运动矢量的大小进行归一化。在一些实施例中，计算与关于所述得分映射的所述熵得分成反比的所述对象运动得分包括，当运动被定位时，向所述经平滑的视频帧分配较高得分，并且当运动在所述经平滑的视频帧内是全局的时，向所述经平滑的视频帧分配较低得分。在一些实施例中，所述第一操作包括将所述输入视频标记为静态，将对应于所述输入视频的快门图像保留在存储器中，以及从存储器中删除所述输入视频。在一些实施例中，第二操作包括将对应于所述输入视频的快门图像和所述输入视频保留在存储器中。一些实施方式可以包括系统。该系统可以包括一个或多个处理器；以及其上存储有指令的存储器，所述指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行操作，所述操作包括：从输入视频的一个或多个视频帧中获取输入视频帧，其中在接收到快门按下指示之前和在接收到所述快门按下指示之后，获取视频帧；对所述输入视频帧进行下采样，以生成经下采样的视频帧；对所述经下采样的视频帧进行平滑处理，以生成经平滑的视频帧；计算所述经平滑的视频帧的时间梯度和空间梯度；通过计算局部运动矢量来估计局部运动，所述局部运动矢量对应于来自所述经平滑的视频帧内的一个或多个候选像素块中的相应候选像素块，其中所述局部运动矢量基于所述空间梯度和所述时间梯度；通过计算与所述经平滑的视频帧相对应的全局运动矢量来估计全局运动；基于对应的局部运动矢量和全局运动矢量计算一个或多个对象运动矢量；将所述一个或多个对象运动矢量转换为得分映射(scoremap)；基于所述得分映射计算熵得分；将所述熵得分映射到与所述经平滑的视频帧相对应的对象运动得分；基于所述对象运动得分来识别静态帧的数量；如果静态帧的数量与所述视频帧的数量的比率满足静态帧阈值，则确定所述输入视频是静态视频，并且如果所述率不满足所述静态帧阈值，则确定所述输入视频是运动视频；如果所述输入视频被识别为所述静态视频，则进行第一操作；并且如果所述输入视频被识别为所述运动视频，则进行第二操作。在一些实施例中，所述指令还使所述一个或多个处理器进行操作，所述操作包括在平滑之前将所述经下采样的视频帧从彩色转换成灰度级。在一些实施例中，计算所述经平滑的视频帧的所述空间梯度和所述时间梯度包括：将所述经平滑的视频帧中的曝光不足的像素和所述经平滑的视频帧中的曝光过度的像素标记为无效；和对于所述经平滑的视频帧内的有效像素：计算时间梯度；计算x方向上的空间梯度；和计算y方向上的空间梯度。在一些实施例中，通过以下步骤来确定所述一个或多个候选像素块：在所述经平滑的视频帧内选择一个或多个网格点作为参考点，用于运动估计；针对与所述一个或多个网格点中的每一个网格点对应的像素块选择像素块宽度和像素块高度；计算每个像素块的统计信息；确定所述像素块是否具有满足阈值纹理值的纹理；并且如果所述像素块具有满足所述阈值纹理值的纹理，则将所述像素块识别为用于运动估计的候选像素块。一些实施方式可以包括具有指令的非暂时性计算机可读介质，所述指令在由一个或多个计算机执行时使所述一个或多个计算机执行操作，所述操作包括：从输入视频的一个或多个视频帧中获取输入视频帧，其中在接收到快门按下指示之前和在接收到所述快门按下指示之后，获取所述视频帧；对所述输入视频帧进行下采样，以生成经下采本文档来自技高网...

【技术保护点】
1.一种计算机实现的方法，其特征在于，包括：/n从输入视频的一个或多个视频帧中获取输入视频帧，其中在接收到快门按下指示之前和在接收到所述快门按下指示之后，获取所述视频帧；/n对所述输入视频帧进行下采样，以生成经下采样的视频帧；/n对所述经下采样的视频帧进行平滑处理，以生成经平滑的视频帧；/n计算所述经平滑的视频帧的时间梯度和空间梯度；/n通过计算局部运动矢量来估计局部运动，所述局部运动矢量对应于来自所述经平滑的视频帧内的一个或多个候选像素块中的相应候选像素块，其中所述局部运动矢量基于所述空间梯度和所述时间梯度；/n通过计算与所述经平滑的视频帧相对应的全局运动矢量来估计全局运动；/n基于对应的局部运动矢量和全局运动矢量，计算一个或多个对象运动矢量；/n将所述一个或多个对象运动矢量转换为得分映射；/n基于所述得分映射计算熵得分；/n将所述熵得分映射到与所述经平滑的视频帧相对应的对象运动得分；/n基于所述对象运动得分来识别静态帧的数量；/n如果静态帧的数量与所述视频帧的数量的比率满足静态帧阈值，则确定所述输入视频是静态视频，并且如果所述率不满足所述静态帧阈值，则确定所述输入视频是运动视频；/n如果所述输入视频被识别为所述静态视频，则进行第一操作；并且/n如果所述输入视频被识别为所述运动视频，则进行第二操作。/n...

【技术特征摘要】
【国外来华专利技术】20180311 US 62/641,3831.一种计算机实现的方法，其特征在于，包括：
从输入视频的一个或多个视频帧中获取输入视频帧，其中在接收到快门按下指示之前和在接收到所述快门按下指示之后，获取所述视频帧；
对所述输入视频帧进行下采样，以生成经下采样的视频帧；
对所述经下采样的视频帧进行平滑处理，以生成经平滑的视频帧；
计算所述经平滑的视频帧的时间梯度和空间梯度；
通过计算局部运动矢量来估计局部运动，所述局部运动矢量对应于来自所述经平滑的视频帧内的一个或多个候选像素块中的相应候选像素块，其中所述局部运动矢量基于所述空间梯度和所述时间梯度；
通过计算与所述经平滑的视频帧相对应的全局运动矢量来估计全局运动；
基于对应的局部运动矢量和全局运动矢量，计算一个或多个对象运动矢量；
将所述一个或多个对象运动矢量转换为得分映射；
基于所述得分映射计算熵得分；
将所述熵得分映射到与所述经平滑的视频帧相对应的对象运动得分；
基于所述对象运动得分来识别静态帧的数量；
如果静态帧的数量与所述视频帧的数量的比率满足静态帧阈值，则确定所述输入视频是静态视频，并且如果所述率不满足所述静态帧阈值，则确定所述输入视频是运动视频；
如果所述输入视频被识别为所述静态视频，则进行第一操作；并且
如果所述输入视频被识别为所述运动视频，则进行第二操作。


2.如权利要求1所述的计算机实现的方法，其特征在于，还包括在平滑之前将所述经下采样的视频帧从彩色转换成灰度级。


3.如权利要求1所述的计算机实现的方法，其特征在于，计算所述经平滑的视频帧的所述空间梯度和所述时间梯度包括：
将所述经平滑的视频帧中的曝光不足的像素和所述经平滑的视频帧中的曝光过度的像素标记为无效；和
对于所述经平滑的视频帧内的有效像素：
计算时间梯度；
计算x方向上的空间梯度；和
计算y方向上的空间梯度。


4.如权利要求3所述的计算机实现的方法，其特征在于，所述一个或多个候选像素块由以下确定：
在所述经平滑的视频帧内选择一个或多个网格点作为参考点，用于运动估计；
针对与所述一个或多个网格点中的每一个网格点对应的像素块选择像素块宽度和像素块高度；
计算每个像素块的统计信息；
确定所述像素块是否具有满足阈值纹理值的纹理；并且
如果所述像素块具有满足所述阈值纹理值的纹理，则将所述像素块识别为用于运动估计的候选像素块。


5.如权利要求1所述的计算机实现的方法，其特征在于，计算所述局部运动矢量包括基于所述候选像素块中的像素的所述空间梯度和所述时间梯度来计算局部x运动值并计算局部y运动值。


6.如权利要求1所述的计算机实现的方法，其特征在于，计算所述全局运动矢量包括基于有效局部运动矢量的平均值来计算所述全局运动矢量。


7.如权利要求1所述的计算机实现的方法，其特征在于，计算所述一个或多个对象运动矢量包括从相应的局部运动矢量中减去所述全局运动矢量。


8.如权利要求1所述的计算机实现的方法，其特征在于，将所述一个或多个对象运动矢量转换成所述得分映射包括对所述经平滑的视频帧内的像素的相应对象运动矢量的大小进行归一化。


9.如权利要求1所述的计算机实现的方法，其特征在于，计算与关于所述得分映射的所述熵得分成反比的所述对象运动得分包括，当运动被定位时，向所述经平滑的视频帧分配较高得分，并且当运动在所述经平滑的视频帧内是全局的时，向所述经平滑的视频帧分配较低得分。


10.如权利要求1所述的计算机实现的方法，其特征在于，所述第一操作包括将所述输入视频标记为静态，将对应于所述输入视频的快门图像保留在存储器中，以及从存储器中删除所述输入视频。


11.如权利要求1所述的计算机实现的方法，其特征在于，所述第二操作包括将对应于所述输入视频的快门图像和所述输入视频保留在存储器中。


12.一种系统，其特征在于，包括：
一个或多个处理器；和
存储器，在所述存储器上存储有指令，所述指令在由所述一个或多个处理器执行时使所述一个或多个处理器进行以下操作：
从输入视频的一个或多个视频帧中获取输入视频帧，其中在接收到快门按下指示之前和在接收到所述快门按下指示之后，获取视频帧；
对所述输入视频帧进行下采样，以生成经下采样的视频帧；
对所述经下采样的视频帧进行平滑处理，以生成经平滑的视频帧；
计算所述经平滑的视频帧的时间梯度和空间梯度；
通过计算局部运动矢量来估计局部运动，所述局部运动矢量对应于来自所述经平滑的视频帧内的一个或多个候选像素块中的相应候选像素...

【专利技术属性】
技术研发人员：洪微，林盛怡，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US