本发明专利技术涉及视频帧率提升技术领域，特别是指一种视频帧率提升的实现方法和装置，所述方法包括：S1、获取N帧待处理的视频；S2、通过GPU使用加速鲁棒特征点SURF算法为所述视频的前后帧生成特征点和描述子，再通过CPU进行快速最近邻逼近搜索FLANN算法匹配相应特征点，得到初步匹配点集；S3、通过CPU基于运动和内容的趋近限制准则的标记算法，从所述初步匹配点集中精选特征点，得到精选特征点集；S4、通过CPU根据所述精选特征点集，构建三角形网格DTM；S5、通过CPU在构建好的DTM基础上得到稠密运动场，进而根据前后帧合成出中间帧，最后得到2N帧处理后的视频，实现视频帧率提升。采用本发明专利技术，可以更好地实现视频帧率提升。可以更好地实现视频帧率提升。可以更好地实现视频帧率提升。
【技术实现步骤摘要】
一种视频帧率提升的实现方法和装置
[0001]本专利技术涉及视频帧率提升
，特别是指一种视频帧率提升的实现方法和装置。
技术介绍
[0002]上世纪末到本世纪初，电视进入了数字时代，电视和视频产业对数字视频质量后处理提出了许多新要求，例如清晰度增强、编码失真消除、分辨率提升、去噪、去隔行扫描及视频帧率提升(frame rate up
‑
conversion , FRUC)等。其中FRUC普遍应用于视频会议、分布式编码、数字电视及液晶显示的运动去模糊现象。
[0003]在FRUC领域，传统的是块基(block
‑
based)方法。此方法主要有两个步骤：运动估计(Motion Estimation,ME)和运动补偿中间帧内插(Motion Compensated Frame Interpolation,MCFI)。出于算法简单性考虑，ME过程首先将目标帧划分成N
×
N的不重叠的窗口，并假定窗口内所有像素具有相同的运动矢量。在这一假定下的算法称之为BMA算法，最常用的穷举搜索可保证寻找到最佳，但时间复杂度高，约为O(n2)。为减小搜索时间复杂度，现有技术提出过一些快速搜索算法，但这些搜索方法都是面向视频编码方案、并且以减小预测编码残差为目标的，导致各个块的运动矢量不一定反映真实的物体运动，因此这些方法对于视频帧率提升效果并不好。
技术实现思路
[0004]本专利技术提供了一种视频帧率提升的实现方法和装置，用以实现视频帧率提升。所述技术方案如下：
[0005]一方面，提供了一种视频帧率提升的实现方法，所述方法包括：
[0006]S1、获取N帧待处理的视频；
[0007]S2、通过GPU使用加速鲁棒特征点SURF算法为所述视频的前后帧生成特征点和描述子，再通过CPU进行快速最近邻逼近搜索FLANN算法匹配相应特征点，得到初步匹配点集；
[0008]S3、通过CPU基于运动和内容的趋近限制准则的标记算法，从所述初步匹配点集中精选特征点，得到精选特征点集；
[0009]S4、通过CPU根据所述精选特征点集，构建三角形网格DTM；
[0010]S5、通过CPU在构建好的DTM基础上得到稠密运动场，进而根据前后帧合成出中间帧，最后得到2N帧处理后的视频，实现视频帧率提升。
[0011]可选地，在S2之前，所述方法还包括构建OpenCV
‑
cuda动态链接库，使用所述OpenCV
‑
cuda动态链接库调用GPU，通过GPU使用所述SURF算法为所述视频的前后帧生成特征点和描述子。
[0012]可选地，所述S2的再通过CPU进行快速最近邻逼近搜索FLANN算法匹配相应特征点，得到初步匹配点集，具体包括：
[0013]在所述FLANN算法计算过程中增加一个判别过程，计算匹配点的运动矢量幅值，如
果大于预设阈值，则去除这一对匹配点，获得最初匹配点集good_match_set，并按匹配度进行索引得到所述初步匹配点集good_match_set_sorted。
[0014]可选地，所述S3的通过CPU基于运动和内容的趋近限制准则的标记算法，从所述初步匹配点集中精选特征点，得到精选特征点集，具体包括：
[0015]S31、定义一个空的三角形网格节点集 ；
[0016]S32、 创建一个辅助帧，大小与所述视频的前后帧相同，所有像素标记为“unmarked”；
[0017]S33、计算相邻帧差 作为运动活动强度表征， 等于相邻帧在点处的灰度的差值；
[0018]S34、 计算当前帧的梯度信息作为内容活度表征：
[0019]ꢀꢀꢀ
(1)
[0020]为图像在 点处的灰度， 为卷积运算，并且
[0021]ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0022]为高斯卷积核， 为卷积核半径；
[0023]S35、构造综合活度代价函数为
[0024]ꢀꢀꢀ
(3)
[0025]并计算平均活度
[0026]ꢀꢀꢀꢀꢀ
(4)
[0027]式中H和W分别为视频帧的高度和宽度；
[0028]S36、 定义节点为中心的方形大小为，特征点代价聚集阈值为
[0029]ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0030]S37、在所述初步匹配点集中遍历每个特征点，判断其位置是否在辅助帧“unmarked”位置上，如是则将其加入至节点集，并标记所述位置为“marked”，如果这个特征点靠近视频图像的四条边但不在这四条边上，取消其节点资格，但在辅助帧上标识所述位置为“marked”；
[0031]S38、从内到外增长节点为中心的方形，直到
[0032]ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0033]并且方形的半径超过预先设定的节点之间的最小距离，标记方形内所有像素为“marked”，这一最小距离定义为网格的粒度；
[0034]S39、如果节点数目小于指定的数目且仍有“unmarked”像素，转到S37；否则结束，最终得到运动和内容自适应的节点集，所述节点集就是所述精选特征点集。
[0035]可选地，所述S5的通过CPU在构建好的DTM基础上得到稠密运动场，进而根据前后帧合成出中间帧，具体包括：
[0036]特征点匹配过程得到了DTM各个三角形顶点的运动矢量，由六参数仿射变换可得到每个对应三角形片内的稠密运动矢量场；
[0037]使用运动补偿帧内插MVFI 内插合成出所述中间帧。
[0038]另一方面，提供了一种视频帧率提升的实现装置，所述装置包括：
[0039]获取模块，用于获取N帧待处理的视频；
[0040]第一处理模块，用于通过GPU使用加速鲁棒特征点SURF算法为所述视频的前后帧生成特征点和描述子，再通过CPU进行快速最近邻逼近搜索FLANN算法匹配相应特征点，得到初步匹配点集；
[0041]精选模块，用于通过CPU基于运动和内容的趋近限制准则的标记算法，从所述初步匹配点集中精选特征点，得到精选特征点集；
[0042]构建模块，用于通过CPU根据所述精选特征点集，构建三角形网格DTM；
[0043]第二处理模块，用于通过CPU在构建好的DTM基础上得到稠密运动场，进而根据前后帧合成出中间帧，最后得到2N帧处理后的视频，实现视频帧率提升。
[0044]可选地，所述装置还包括：构建模块，用于构建OpenCV
‑
cuda动态链接库，使用所述OpenCV
‑
cuda动态链接库调用GPU，通过GPU使用所述SURF算法为所述视频的前后帧生成特征点和描述子。
[0045]可选地，所述精选模块，具体用于：
[0046]S31、定义一个空的三角形网格节点集；
[0047]S32、 创本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视频帧率提升的实现方法，其特征在于，所述方法包括：S1、获取N帧待处理的视频；S2、通过GPU使用加速鲁棒特征点SURF算法为所述视频的前后帧生成特征点和描述子，再通过CPU进行快速最近邻逼近搜索FLANN算法匹配相应特征点，得到初步匹配点集；S3、通过CPU基于运动和内容的趋近限制准则的标记算法，从所述初步匹配点集中精选特征点，得到精选特征点集；S4、通过CPU根据所述精选特征点集，构建三角形网格DTM；S5、通过CPU在构建好的DTM基础上得到稠密运动场，进而根据前后帧合成出中间帧，最后得到2N帧处理后的视频，实现视频帧率提升。2.根据权利要求1所述的方法，其特征在于，在S2之前，所述方法还包括构建OpenCV
‑
cuda动态链接库，使用所述OpenCV
‑
cuda动态链接库调用GPU，通过GPU使用所述SURF算法为所述视频的前后帧生成特征点和描述子。3.根据权利要求1所述的方法，其特征在于，所述S2的再通过CPU进行快速最近邻逼近搜索FLANN算法匹配相应特征点，得到初步匹配点集，具体包括：在所述FLANN算法计算过程中增加一个判别过程，计算匹配点的运动矢量幅值，如果大于预设阈值，则去除这一对匹配点，获得最初匹配点集good_match_set，并按匹配度进行索引得到所述初步匹配点集good_match_set_sorted。4.根据权利要求1所述的方法，其特征在于，所述S3的通过CPU基于运动和内容的趋近限制准则的标记算法，从所述初步匹配点集中精选特征点，得到精选特征点集，具体包括：S31、定义一个空的三角形网格节点集；S32、 创建一个辅助帧，大小与所述视频的前后帧相同，所有像素标记为“unmarked”；S33、计算相邻帧差作为运动活动强度表征，等于相邻帧在点处的灰度的差值；S34、 计算当前帧的梯度信息作为内容活度表征：
ꢀꢀꢀ
(1)为图像在点处的灰度，为卷积运算，并且 (2)为高斯卷积核，为卷积核半径；S35、构造综合活度代价函数为
ꢀꢀꢀꢀ
(3)并计算平均活度
ꢀꢀꢀ
(4)式中H和W分别为视频帧的高度和宽度；S36、 定义节点为中心的方形大小为，特征点代价聚集阈值为
ꢀꢀ
(5)S37、在所述初步匹配点集中遍历每个特征点，判断其位置是否在辅助帧“unmarked”位置上，如是则将其加入至节点集，并标记所述位置为“marked”，如果这个特征点靠近视频
图像的四条边但不在这四条边上，取消其节点资格，但在辅助帧上标识所述位置为“marked”；S38、从内到外增长节点为中心的方形，直到
ꢀꢀꢀꢀꢀ
(6)并且方形的半径超过预先设定的节点之间的最小距离，标记方形内所有像素为“marked”，这一最小距离定义为网格的粒度；S39、如果节点数目小于指定的数目且仍有“unmarked”像素，转到S37；否则结束，最终得到运动和内容自适应的节点集，所述节点集就是所述精选特征点集。5.根据权利要求1所述的方法，其特征在于，所述S5的通过CPU在构建好的DTM基础上得到稠密运动场，进而根据前后帧合成出中间帧，具体包括：特征点匹配过程得...
【专利技术属性】
技术研发人员：郭大波，
申请(专利权)人：三亚学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。