一种视频图像抖动检测及稳定方法、装置及相关介质制造方法及图纸

本发明专利技术公开了一种视频图像抖动检测及稳定方法、装置及相关介质，该方法包括：获取待进行抖动检测的目标视频图像，并采用基于深度学习的图像语义分割技术对目标视频图像进行语义分割，以获取目标视频图像的兴趣区域；利用角点检测算法提取兴趣区域中的关键点；通过光流法计算目标视频图像中任意连续两帧图像的光流图，并根据光流图获取关键点在连续两帧下的位移信息；根据位移信息计算图像平移矩阵和图像旋转矩阵，得到抖动信息；将抖动信息与预设抖动阈值进行比较；若当前帧图像发生抖动，则根据抖动信息对当前帧图像进行逆向平移和/或旋转，以抵消抖动。本发明专利技术结合深度学习语义分割技术和光流法，可以提高抖动检测精度，并且抖动抵消效果良好。且抖动抵消效果良好。且抖动抵消效果良好。

【技术实现步骤摘要】
一种视频图像抖动检测及稳定方法、装置及相关介质


[0001]本专利技术涉及图像处理
，特别涉及一种视频图像抖动检测及稳定方法、装置及相关介质。

技术介绍

[0002]近年来，越来越多的监控相机被布置于公共场所，并结合视频AI技术，在安防、交通管理、区域监测等领域发挥了重要的作用。然后，部分相机由于安装于高处受风力影响，或者安装于地铁、桥梁等容易受振动影响的位置，其拍摄的画面往往存在抖动问题，在长焦模式下更为明显。这种抖动问题一方面影响视频观看，不利于观测监控场景，另一方面对于需要关注目标准确位置也会产生较大影响，例如轨迹跟踪、侵入识别等，相机抖动也会对后续应用造成巨大影响。

技术实现思路

[0003]本专利技术实施例提供了一种视频图像抖动检测及稳定方法、装置、计算机设备及存储介质，旨在提高图像抖动检测精度并进一步减少图像抖动。
[0004]第一方面，本专利技术实施例提供了一种视频图像抖动检测及稳定方法，包括：
[0005]获取待进行抖动检测的目标视频图像，并采用基于深度学习的图像语义分割技术对所述目标视频图像进行语义分割，以获取所述目标视频图像的兴趣区域；
[0006]利用角点检测算法提取所述兴趣区域中的关键点；
[0007]通过光流法计算所述目标视频图像中任意连续两帧图像的光流图，并根据所述光流图获取所述关键点在连续两帧下的位移信息；
[0008]根据所述位移信息计算图像平移矩阵和图像旋转矩阵，并得到当前帧图像相对于上一帧图像的抖动信息；
[0009]将所述抖动信息与预设抖动阈值进行比较，并根据比较结果判断所述当前帧图像是否发生抖动；
[0010]若所述当前帧图像发生抖动，则根据所述抖动信息对所述当前帧图像进行逆向平移和/或旋转，以抵消抖动。
[0011]第二方面，本专利技术实施例提供了一种视频图像抖动检测及稳定装置，包括：
[0012]语义分割单元，语义获取待进行抖动检测的目标视频图像，并采用基于深度学习的图像语义分割技术对所述目标视频图像进行语义分割，以获取所述目标视频图像的兴趣区域；
[0013]关键点提取单元，语义利用角点检测算法提取所述兴趣区域中的关键点；
[0014]位移信息获取单元，语义通过光流法计算所述目标视频图像中任意连续两帧图像的光流图，并根据所述光流图获取所述关键点在连续两帧下的位移信息；
[0015]抖动信息获取单元，语义根据所述位移信息计算图像平移矩阵和图像旋转矩阵，并得到当前帧图像相对于上一帧图像的抖动信息；
[0016]抖动判断单元，语义将所述抖动信息与预设抖动阈值进行比较，并根据比较结果判断所述当前帧图像是否发生抖动；
[0017]抖动抵消单元，用于若所述当前帧图像发生抖动，则根据所述抖动信息对所述当前帧图像进行逆向平移和/或旋转，以抵消抖动。
[0018]第三方面，本专利技术实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的视频图像抖动检测及稳定方法。
[0019]第四方面，本专利技术实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的视频图像抖动检测及稳定方法。
[0020]本专利技术实施例提供了一种视频图像抖动检测及稳定方法、装置、计算机设备及存储介质，该方法包括：获取待进行抖动检测的目标视频图像，并采用基于深度学习的图像语义分割技术对所述目标视频图像进行语义分割，以获取所述目标视频图像的兴趣区域；利用角点检测算法提取所述兴趣区域中的关键点；通过光流法计算所述目标视频图像中任意连续两帧图像的光流图，并根据所述光流图获取所述关键点在连续两帧下的位移信息；根据所述位移信息计算图像平移矩阵和图像旋转矩阵，并得到当前帧图像相对于上一帧图像的抖动信息；将所述抖动信息与预设抖动阈值进行比较，并根据比较结果判断所述当前帧图像是否发生抖动；若所述当前帧图像发生抖动，则根据所述抖动信息对所述当前帧图像进行逆向平移和/或旋转，以抵消抖动。本专利技术实施例通过结合深度学习语义分割技术，提取高质量的场景关键点，并使用光流法对关键点进行跟踪，根据关键点的位移信息计算图像的抖动信息，进而达到抖动检测与抵消的功能，本专利技术实施例所提供的方法计算速度快，抖动检测精度高，并且抖动抵消效果良好，能够适用于多种场景。
附图说明
[0021]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]图1为本专利技术实施例提供了一种视频图像抖动检测及稳定方法的流程示意图；
[0023]图2为本专利技术实施例提供了一种视频图像抖动检测及稳定方法的子流程示意图；
[0024]图3为本专利技术实施例提供了一种视频图像抖动检测及稳定装置的示意性框图；
[0025]图4为本专利技术实施例提供了一种视频图像抖动检测及稳定装置的子示意性框图。
具体实施方式
[0026]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0027]应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整
体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0028]还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0029]还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0030]下面请参见图1，图1为本专利技术实施例提供的一种视频图像抖动检测及稳定方法的流程示意图，具体包括：步骤S101～S106。
[0031]S101、获取待进行抖动检测的目标视频图像，并采用基于深度学习的图像语义分割技术对所述目标视频图像进行语义分割，以获取所述目标视频图像的兴趣区域；
[0032]S102、利用角点检测算法提取所述兴趣区域中的关键点；
[0033]S103、通过光流法计算所述目标视频图像中任意连续两帧图像的光流图，并根据所述光流图获取所述关键点在连续两帧下的位移信息；
[0034]S104、根据所述位移本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频图像抖动检测及稳定方法，其特征在于，包括：获取待进行抖动检测的目标视频图像，并采用基于深度学习的图像语义分割技术对所述目标视频图像进行语义分割，以获取所述目标视频图像的兴趣区域；利用角点检测算法提取所述兴趣区域中的关键点；通过光流法计算所述目标视频图像中任意连续两帧图像的光流图，并根据所述光流图获取所述关键点在连续两帧下的位移信息；根据所述位移信息计算图像平移矩阵和图像旋转矩阵，并得到当前帧图像相对于上一帧图像的抖动信息；将所述抖动信息与预设抖动阈值进行比较，并根据比较结果判断所述当前帧图像是否发生抖动；若所述当前帧图像发生抖动，则根据所述抖动信息对所述当前帧图像进行逆向平移和/或旋转，以抵消抖动。2.根据权利要求1所述的视频图像抖动检测及稳定方法，其特征在于，所述获取待进行抖动检测的目标视频图像，并采用基于深度学习的图像语义分割技术对所述目标视频图像进行语义分割，以获取所述目标视频图像的兴趣区域，包括：获取已标注的训练图像对所述基于深度学习的图像语义分割技术进行训练，以构建基于深度学习的语义分割模型；利用所述基于深度学习的语义分割模型对所述目标视频图像进行语义分割；按照预置特征区域对语义分割结果进行过滤筛选，并将筛选结果作为所述兴趣区域。3.根据权利要求1所述的视频图像抖动检测及稳定方法，其特征在于，所述利用角点检测算法提取所述兴趣区域中的关键点，包括：利用Harris角点检测算法在所述兴趣区域中设置滑动窗口；计算所述滑动窗口中各像素点在指定方向的强度变化平均值；将所述强度变化平均值与预定强度阈值进行比较，并当所述强度变化平均值大于所述预定强度阈值时，将所述强度变化平均值对应的像素点作为所述关键点。4.根据权利要求1所述的视频图像抖动检测及稳定方法，其特征在于，所述通过光流法计算所述目标视频图像中任意连续两帧图像的光流图，并根据所述光流图获取所述关键点在连续两帧下的位移信息，包括：采用稀疏光流法计算连续两帧图像中的关键点的光流图，以直接获取所述关键点的位移信息；或者采用稠密光流法计算连续两帧图像的光流图，并在连续两帧图像的光流中提取所述关键点的位移信息；其中，所述位移信息包括所述关键点的位移方向和像素距离值。5.根据权利要求1所述的视频图像抖动检测及稳定方法，其特征在于，所述根据所述位移信息计算图像平移矩阵和图像旋转矩阵，并得到当前帧图像相对于上一帧图像的抖动信息，包括：按照下式，采用平均法计算所述图像平移矩阵：
式中，Δ表示所述图像平移矩阵，表示第i个关键点在上一帧图像中横坐标，表示第i个关键点在上一帧图像中纵坐标，表示第i个关键点在当前帧图像中横坐标，表示第i个关键点在当前帧图像中横坐标，i表示第i个关键点，n表示关键点总数；以及按照下式，采用平均法计算所述图像旋转矩阵：式中，R(θ)表示所述图像旋转矩阵，...

【专利技术属性】
技术研发人员：杨元弢，杨成，林丕成，宋开银，
申请(专利权)人：深研人工智能技术深圳有限公司，
类型：发明
国别省市：