视频抖动的处理方法、装置、设备以及存储介质制造方法及图纸

本公开涉及视频抖动的处理方法、装置、设备、存储介质以及计算机程序产品，涉及人工智能技术领域，具体为计算机视觉领域和深度学习领域。具体实现方案为：获取待处理视频，待处理视频包括多帧图像；对于待处理视频的非首帧图像，确定非首帧图像相对于参照图像的特征点位移参数，参照图像为待处理视频中的图像；利用特征点位移参数对非首帧图像进行抖动修正。通过上述修正，可以使非首帧图像中的各像素点与参照图像近似，从而可以克服视频的抖动问题。从而可以克服视频的抖动问题。从而可以克服视频的抖动问题。

【技术实现步骤摘要】
视频抖动的处理方法、装置、设备以及存储介质


[0001]本公开涉及人工智能
，具体为计算机视觉领域和深度学习领域。

技术介绍

[0002]随着智能手机、摄像机、航拍器等具有摄像功能的电子设备的普及，更多的用户习惯于利用上述具有摄像功能的电子设备拍摄视频作品。但在拍摄过程中，由于环境不稳定，容易造成视频画面出现抖动，从而影响视频作品的美观度。

技术实现思路

[0003]本公开提供了一种视频抖动的处理方法、装置、设备、存储介质以及计算机程序产品。
[0004]根据本公开的一方面，提供了一种视频抖动的处理方法，该方法可以包括以下步骤：
[0005]获取待处理视频，待处理视频包括多帧图像；
[0006]对于待处理视频的非首帧图像，确定非首帧图像相对于参照图像的特征点位移参数，参照图像为待处理视频中的图像；
[0007]利用特征点位移参数对非首帧图像进行抖动修正。
[0008]根据本公开的另一方面，提供了一种视频抖动的处理装置，该装置可以包括以下组件：
[0009]待处理视频获取模块，用于获取待处理视频，待处理视频包括多帧图像；
[0010]特征点位移参数确定模块，用于对于待处理视频的非首帧图像，确定非首帧图像相对于参照图像的特征点位移参数，参照图像为待处理视频中的图像；
[0011]抖动修正模块，用于利用特征点位移参数对非首帧图像进行抖动修正。
[0012]根据本公开的另一方面，提供了一种电子设备，包括：
[0013]至少一个处理器；以及
[0014]与该至少一个处理器通信连接的存储器；其中，
[0015]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。
[0016]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。
[0017]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开任一实施例中的方法。
[0018]根据本公开的技术，通过上述抖动修正，可以使非首帧图像中的各像素点与参照图像近似，从而可以克服视频的抖动问题。
[0019]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0020]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0021]图1是根据本公开视频抖动的处理方法的流程图；
[0022]图2是根据本公开确定特征点位移参数的示意图；
[0023]图3是根据本公开相邻两帧图像中的特征点的示意图；
[0024]图4是根据本公开确定特征点位移参数的示意图；
[0025]图5是根据本公开抖动修正的流程图；
[0026]图6是根据本公开抖动修正的流程图；
[0027]图7是根据本公开由于抖动产生图像掩膜的示意图；
[0028]图8是根据本公开确定图像掩膜的流程图；
[0029]图9是根据本公开图像掩膜消除处理的流程图；
[0030]图10是根据本公开多个图像的图像掩膜的交集的示意图；
[0031]图11是根据本公开待处理视频的确定方式的流程图；
[0032]图12是根据本公开对原视频的所有帧图像进行相似度识别的示意图；
[0033]图13是根据本公开视频抖动的处理装置的示意图；
[0034]图14是用来实现本公开实施例的视频抖动的处理方法的电子设备的框图。
具体实施方式
[0035]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0036]如图1所示，本申请提供一种视频抖动的处理方法，该方法可以包括以下步骤：
[0037]S101：获取待处理视频，待处理视频包括多帧图像；
[0038]S102：对于待处理视频的非首帧图像，确定非首帧图像相对于参照图像的特征点位移参数，参照图像为待处理视频中的图像；
[0039]S103：利用特征点位移参数对非首帧图像进行抖动修正。
[0040]本申请的执行主体可以是具有摄像功能的电子设备，也可以是具有视频编辑或处理功能的电子设备等。
[0041]电子设备获取待处理视频，待处理视频可以是在时间维度连续的多帧(视频)图像，例如可以包括从t0时刻至t
n
时刻的多帧图像，其中，n为正整数。
[0042]在多帧图像中，可以选择至少一帧参照图像。例如，对于t
i
时刻的第i帧图像(1＜i＜n)，可以以第1帧图像作为参照图像，也可以以第i
‑
1帧图像作为参照图像，或者，还可以以第i帧图像之前的任意一帧图像作为参照图像。
[0043]在本公开涉及的实施例中，以参照图像为待处理视频的第1帧图像为例进行说明。
[0044]在i为2的情况下，可以根据第2帧图像中的特征点相对于第1帧图像中的对应特征点的偏移情况，直接确定第2帧图像的特征点位移参数。
[0045]在i大于2的情况下，可以先根据第i帧图像中的特征点相对于第i
‑
1帧图像中的对应特征点的偏移情况，确定第i帧图像的第一参数。第一参数用于表征第i帧图像中的特征
点相对于第i
‑
1帧图像中的对应特征点的偏移情况。
[0046]利用第i帧图像的第一参数，以及在i帧图像之前的至少一帧图像的第一参数，可以确定出第i帧图像相对于第1帧图像中的特征点的偏移情况。利用该特征点的偏移情况，即可确定出第i帧图像相对于第1帧图像的特征点位移参数。
[0047]由于特征点位移参数用于表征第i帧图像中的特征点相对于参照图像中对应特征点的偏移情况。利用该偏移情况，可以对第i帧图像中的像素点进行抖动修正，以使第i帧图像中的像素点与参照图像中对应的像素点的偏差在允许范围内。上述修正可以是移动修正、旋转修正等，也可以是对像素点的位置进行位移等。
[0048]通过上述修正，可以使非首帧图像中的像素点与参照图像近似，从而可以克服视频的抖动问题。
[0049]结合图2所示，在一种实施方式中，在非首帧图像为第i帧图像的情况下，步骤S102中的确定非首帧图像相对于参照图像的特征点位移参数，具体可以包括以下步骤：
[0050]S201：确定第i帧图像中的特征点相对于第i
‑
1帧图像中的特征点的位移变化；i为大于2的整数；
[0051]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频抖动的处理方法，包括：获取待处理视频，所述待处理视频包括多帧图像；对于待处理视频的非首帧图像，确定所述非首帧图像相对于参照图像的特征点位移参数，所述参照图像为所述待处理视频中的图像；利用所述特征点位移参数对所述非首帧图像进行抖动修正。2.根据权利要求1所述的方法，其中，在所述非首帧图像为第i帧图像的情况下，所述确定所述非首帧图像相对于参照图像的特征点位移参数，包括：确定第i帧图像中的特征点相对于第i
‑
1帧图像中的特征点的位移变化；所述i为大于2的整数；利用所述位移变化，确定第i帧图像的第一参数，第一参数用于表征第i帧图像中的特征点相对于第i
‑
1帧图像中的特征点的位移变化；利用所述第一参数，确定第i帧图像相对于所述参照图像的特征点位移参数。3.根据权利要求2所述的方法，所述利用所述第一参数，确定第i帧图像相对于所述参照图像的特征点位移参数，包括：获取位于所述参照图像和所述第i帧图像之间的每帧图像的第一参数；将所述第i帧图像的第一参数，以及所述参照图像和所述第i帧图像之间的每帧图像的第一参数的乘积，作为所述第i帧图像相对于所述参照图像的特征点位移参数。4.根据权利要求1所述的方法，其中，在所述非首帧图像为第m帧图像的情况下，m为大于1的整数，所述利用所述特征点位移参数对所述非首帧图像进行抖动修正，包括：获取与所述第m帧图像相邻的预定数量的非首帧图像；利用所述预定数量的非首帧图像中的每个图像相对于参照图像的特征点位移参数，对所述第m帧图像相对于参照图像的特征点位移参数进行优化；利用所述优化的结果确定抖动修正参数；利用所述抖动修正参数对第m帧图像进行抖动修正。5.根据权利要求1至4任一所述的方法，所述利用所述特征点位移参数对所述非首帧图像进行抖动修正，还包括：在抖动修正后的图像中，确定由于抖动修正产生的图像掩膜；对所述抖动修正后的所述图像进行图像掩膜消除处理，将所述图像掩膜消除处理后的图像作为抖动修正的结果。6.根据权利要求5所述的方法，所述在抖动修正后的图像中，确定由于抖动修正产生的图像掩膜，包括：获取抖动修正前的图像的顶点坐标；将所述抖动修正前的图像的顶点坐标映射至所述抖动修正后的图像中，确定抖动修正前的图像的顶点坐标与抖动修正后的图像的顶点坐标的偏差；利用所述偏差确定出由于抖动修正产生的图像掩膜。7.根据权利要求5所述的方法，在多个抖动修正后的图像存在所述图像掩膜的情况下，所述对所述抖动修正后的所述图像进行图像掩膜消除处理，包括：计算多个图像掩膜的交集；根据所述交集，对所述抖动修正后的图像进行剪切，将剪切后的图像作为图像掩膜消
除处理的结果。8.根据权利要求1所述的方法，其中，所述待处理视频的确定方式，包括：对原视频的所有帧图像进行相似度识别；将相似度差异在阈值范围内的图像组成待处理视频。9.一种视频抖动的处理装置，包括：待处理视频获取模块，用于获取待处理视频，所述待处理视频包括多帧图像；特征点位移参数确定模块，用于对于待处理视频的非首帧图像，确定所述非首帧图像相对于参照图像的特征点位移参数，所述参照图像为所述待处理视频中的图像；抖动修正模块，用于利用所述特征点位移参数对所述非首帧图像进行抖动修正。10.根据权利要求9所述的装置，其中，在所述非首帧图像为第i帧图像的情况下，所述特征点位移参数确定模块，包括：特...

【专利技术属性】
技术研发人员：孙高峰，何栋梁，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：