一种视频运动放大方法技术

一种视频运动放大方法，其特征在于，包括如下计算步骤：(1)读取一段视频a；(2)对视频a进行下采样，获得视频b；(3)使用复值可操纵金字塔对视频b的各帧图像进行空间域分解，获得不同方向与不同尺度的子带图像序列c，获取各子带图像序列每个像素复数值的相位序列和幅度序列；(4)选取合适的时域滤波器类型、截止频率和阶数参数，对各子带c的每个像素的复值相位的时间序列进行滤波，获取感兴趣相位成分序列(5)对按照设定的放大倍数α进行放大，并加到子带c的相位序列上，得到新的相位序列(6)基于各子带c的每个像素的新相位序列和幅度序列重构新的子带，并将子带合成得到运动放大后的视频。方法效率高。高。

【技术实现步骤摘要】
一种视频运动放大方法


[0001]本申请涉及一种视频运动放大方法。
[0002]人是存在运动的肌体，有心跳、有呼吸、有血管的搏动，乃至体表颜色的变化；机器设备，常常存在电机的转动，进而存在机器表面的振动。我们可以通过监测它们的运动状态来判断这些“动”的人或设备的状态是否正常。视频监控相对于穿戴式接触式监测，具有非接触、“界面”更友好的优点。有些运动很微小，直接从视频中看不到，需要对视频中的运动进行放大，视觉增强，以便于人的观察。

技术介绍

[0003]一个典型的视频运动放大系统包括摄像机、视频传输线路、计算机等。摄像机摄取视频，计算机读取视频并进行运动放大处理。
[0004]常见的欧拉视频运动放大处理的原理，可以描述为：(1)如果视频中不存在运动成分，则其各帧图像序列是一个常量序列，它是不用被放大的；(2)如果存在运动成分，则其图像序列是一个随时间变化的图像序列，相应地，其原空间或变换域的每一个像素的某种颜色值或亮度值或某个特征参数值构成一个一维的时间序列，它有直流分量也有交流分量，直流分量代表的是序列中不变的静止成分、是不用放大的，交流分量代表的是序列中的运动变化部分；(3)交流分量中可能只有部分分量是感兴趣的交流分量需要放大；(4)对每一个颜色时间序列进行适当带通滤波提取感兴趣的运动成分并放大，再加上原序列的对应值，则可实现视频中感兴趣运动成分的视觉增强。
[0005]欧拉视频运动放大方法又可分为基于线性和基于相位两种。线性欧拉放大方法，对每个像素的颜色时间序列进行适当带通滤波提取感兴趣的运动成分并放大，相对简单，但放大倍数太大时，可能造成像素值的饱和，影响视觉效果。基于相位的欧拉放大方法，顾名思义，对相位时间序列进行带通滤波和放大，由于它放大的是相位参数，不容易造成像素值的饱和。
[0006]目前流行的基于相位的欧拉视频放大的基本步骤为：(1)空间域处理：使用复值可操纵金字塔对每帧图像进行空域分解，获得不同方向与不同尺度的子图像，子图像的每个像素为复值，具有相位；(2)时间域处理：对不同尺度和方向子图像像素的相位时间序列信号进行时域带通滤波，获取感兴趣的相位信号；(3)运动放大：将带通滤波后的相位信号放大；(4)视频重构：将多个尺度和方向的金字塔子图像重构，得到放大后的运动视频。
[0007]上述步骤中，空间域处理需要用到复值可操纵金字塔。复值可操纵金字塔是一种多尺度、多方向的图像分解方法，具有以下特点：多尺度分解、多方向分解以及可控性。其中的多尺度分解与高斯金字塔和拉普拉斯金字塔中的该步骤类似，即通过多层次的低通滤波器对图像进行分解，将图像分为不同的频率子带。每一层次的滤波器具有不同的尺度，这使得可以捕捉图像中的多尺度信息。在此基础上，复值可操纵金字塔还要进行多方向分解，使用多个有方向性的子带滤波器对图像进行进一步分解。同样，在重构图像时，需要将多尺度、多方向的子带图像进行融合。这样的一系列过程的计算量非常大，往往做一个视频运动
放大处理的时间是视频自身时间的几十倍甚至几百倍。

技术实现思路

[0008]专利技术目的
[0009]提出一种视频运动放大方法，能缩短执行时间，提高运动放大的效率。
[0010]技术方案
[0011]一种视频运动放大方法，其特征在于，包括如下计算步骤：(1)读取一段视频a，并获取该视频的视频高度h，视频宽度w，帧率fps Hz和总帧数N；(2)对视频a进行下采样，获得视频b；(3)使用复值可操纵金字塔对视频b的各帧图像进行空间域分解，获得不同方向与不同尺度的子带图像序列c，获取各子带图像序列每个像素复数值的相位序列和幅度序列；(4)选取合适的时域滤波器类型、截止频率和阶数参数，对各子带c的每个像素的复值相位的时间序列进行滤波，获取感兴趣相位成分序列(5)对按照设定的放大倍数α进行放大，并加到子带c的相位序列上，得到新的相位序列(6)基于各子带c的每个像素的新相位序列和幅度序列重构新的子带，并将子带合成得到运动放大后的视频。
[0012]根据以上所述的一种视频运动放大方法，第(2)步对视频a进行下采样，获得视频b，其特征在于，只对视频a的每帧单色图像进行降采样，设降采样m倍，则降采样后的每帧单色图像的行数(即视频高度)为列数(即视频宽度)其中表示向下取整；对降采样后的每个像素(i
′
，j
′
)，i
′
＝0，...，Dh
‑
1，j
′
＝0，...，Dw
‑
1，令则按如下公式计算降采样后(i
′
，j
′
)像素上的值I
down
(i
′
，j
′
)：
[0013][0014]其中，C
k，l
使用以下公式进行计算：
[0015][0016]其中，I(i，j)为降采样前图像像素上的值，是三次样条插值函数：
[0017][0018]根据以上所述的一种视频运动放大方法，第(2)步对视频a进行下采样，获得视频b，其特征在于，只对视频a的每帧单色图像进行降采样，设降采样m倍，则降采样后的每帧单色图像的行数(即视频高度)为列数(即视频宽度)其中表示向下取整；对降采样后的每个像素(i
′
，j
′
)，i
′
＝0，...，Dh
‑
1，j
′
＝0，...，Dw
‑
1，则按如下公式计算降采样后(i
′
，j
′
)像素上的值I
down
(i
′
，j
′
)：
[0019][0020]其中，I(i，j)为降采样前图像像素上的值。
[0021]根据以上所述的一种视频运动放大方法，第(2)步对视频a进行下采样时，如果采用上述第一种方法降采样，在边缘处可能出现没有足够的像素来计算的问题，提出一种处理方法，其特征在于，对于边缘不足的像素，用0值来填充。
[0022]有益效果
[0023]通过试验来看有益效果。图2所示为要试验放大的视频示意图，它是关于一婴儿睡觉时存在不易观察的不显著的呼吸和心跳运动的视频，去尝试将婴儿的肚子的呼吸起伏放大，以便观察婴儿的呼吸情况。图3所示为使用传统欧拉相位视频放大方法对婴儿视频放大后的视频示意图，可以观察到婴儿的肚子在吸气时有了明显的隆起，但是处理时间非常长，总计耗时286.17秒。图4所示为使用本申请方法对婴儿视频放大后的视频示意图，其中本申请方法中步骤(2)的下采样倍数选择为2，虽然视觉效果略有下降，但仍可以观察到婴儿的肚子在吸气时有了明显的隆起，且处理时间明显缩短，总计耗时80.39秒，为传统欧拉相位视频放大方法耗时的28.09％。图5所示为使用本申请方法对婴儿视频放大后的视频示意图，其中本申请方法中步骤(2)的下采样倍数选择为3，虽然视频效果有所下降，但仍可以观察到婴儿的肚本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频运动放大方法，其特征在于，包括如下计算步骤：(1)读取一段视频a，并获取该视频的视频高度h，视频宽度w，帧率fps Hz和总帧数N；(2)对视频a进行下采样，获得视频b；(3)使用复值可操纵金字塔对视频b的各帧图像进行空间域分解，获得不同方向与不同尺度的子带图像序列c，获取各子带图像序列每个像素复数值的相位序列和幅度序列；(4)选取合适的时域滤波器类型、截止频率和阶数参数，对各子带c的每个像素的复值相位的时间序列进行滤波，获取感兴趣相位成分序列(5)对按照设定的放大倍数α进行放大，并加到子带c的相位序列上，得到新的相位序列(6)基于各子带c的每个像素的新相位序列和幅度序列重构新的子带，并将子带合成得到运动放大后的视频。2.根据权利要求1所述的一种视频运动放大方法，第(2)步对视频a进行下采样，获得视频b，其特征在于，只对视频a的每帧单色图像进行降采样，设降采样m倍，则降采样后的每帧单色图像的行数(即视频高度)为列数(即视频宽度)其中表示向下取整；对降采样后的每个像素(i
′
，j
′
)，i
′
＝0，
…
，Dh
‑
1，j
′
＝0，
…
，Dw
‑
1，令则按如下公式计算降采样后(i
′
，j
...

【专利技术属性】
技术研发人员：张津乾，刘红星，司峻峰，金宇航，
申请(专利权)人：南京大学，
类型：发明
国别省市：