一种图像采集装置的抖动补偿方法和装置制造方法及图纸

本申请实施例提供一种图像采集装置的抖动补偿方法和装置，用于对视频进行实时防抖，涉及图像处理领域。该方法中，对第一帧图片进行特征点检测，选取指定数量的特征点作为第二帧图片需要跟踪的特征点。针对除第一帧图片之外的每帧当前帧图片，从当前帧图片需要跟踪的特征点中剔除确定为属于运动目标对象的特征点，利用剩余的特征点进行第一运动参数估计。并根据第一运动参数估计结果进行路径规划或者滤波后，对当前帧图片进行抖动补偿。以及从当前帧图片中选取至少1个特征点；由选取的至少1个特征点和剩余的特征点作为下一帧图片需要跟踪的特征点。上述方法，由于剔除确定为属于运动目标对象的特征点，减少了计算量，并增加了运动估计的准确性。

A jitter compensation method and device of image acquisition device

【技术实现步骤摘要】
一种图像采集装置的抖动补偿方法和装置
本申请涉及图像处理领域，尤其涉及一种图像采集装置的抖动补偿方法和装置。
技术介绍
摄像设备在摄影时不可避免的会带来视频抖动，影响视觉体验，因此需要消除视频抖动。现有的防抖方法通常有光学防抖或者电子防抖。光学防抖即通过镜头或感光元器件移动的方式实现防抖。电子防抖包括传感器和纯算法两种类型。光学防抖和基于传感器的电子防抖相对于纯算法而言成本较高，灵活性较差。现有的纯算法电子防抖技术通常是基于全局运动参数的防抖方法，运算量较大、处理速度慢难以适用于实时的视频防抖。
技术实现思路
为了对视频进行实时防抖，本申请实施例提供一种图像采集装置的抖动补偿方法和装置。第一方面，本申请实施例提供一种图像采集装置的抖动补偿方法，该方法包括：获取待处理视频的第一帧图片；对所述第一帧图片进行特征点检测，并选取指定数量的特征点作为第二帧图片需要跟踪的特征点；针对除所述第一帧图片之外的每帧当前帧图片，从当前帧图片需要跟踪的特征点中剔除当前帧图片中确定为属于运动目标对象的特征点；利用剩余的特征点进行第一运动参数估计、根据第一运动参数估计结果进行路径规划或滤波后对当前帧图片进行抖动补偿；以及从当前帧图片中选取至少1个特征点；由选取的至少1个特征点和剩余的特征点作为下一帧图片需要跟踪的特征点，且选取的特征点与剩余的特征点不同。可选的，所述方法还包括：针对除所述第一帧图片之外的每帧当前帧图片，若当前帧图片未剔除特征点，则利用当前帧图片需要跟踪的特征点进行第一运动参数估计、根据第一运动参数估计结果进行路径规划或滤波后对当前帧图片进行抖动补偿；在校正当前帧图片之后,由当前帧图片需要跟踪的特征点作为下一帧图片需要跟踪的特征点。可选的，针对除所述第一帧图片之外的每帧当前帧图片，从当前帧图片需要跟踪的特征点中剔除当前帧图片中确定为属于运动目标对象的特征点，包括：获取当前帧图片需要跟踪的特征点在当前帧图片中的当前坐标；根据当前帧图片的当前坐标和当前帧图片需要跟踪的特征点的历史坐标，进行第二运动参数估计；利用第二运动参数估计结果，对所述当前坐标进行转换；针对当前帧图片需要跟踪的每一特征点，计算该特征点的转换后的坐标与该特征点的历史坐标之间的距离；剔除所述距离大于预设阈值的特征点；其中，特征点的历史坐标为该特征点在指定帧上的坐标，该指定帧为将特征点确定为需要跟踪的特征点时采用的帧图片；所述历史坐标以及选取的至少1个特征点的坐标均为通过第二运动参数估计结果进行坐标转换得到的坐标。可选的，所述方法还包括：构建数组，用于存储需要跟踪的特征点的历史坐标；针对除所述第一帧图片之外的每帧当前帧图片，从当前帧图片需要跟踪的特征点中剔除当前帧图片中确定为属于运动目标对象的特征点，包括：将需要剔除的特征点从所述数组中删除；针对每帧当前帧图片，由选取的至少1个特征点和剩余的特征点作为下一帧图片需要跟踪的特征点，包括：将选取的至少1个特征点的坐标作为该特征点的历史坐标补充至所述数组中。可选的，针对除所述第一帧之外的每帧当前帧图片，利用剩余的特征点进行第一运动参数估计，包括：对所述剩余的特征点在当前帧图片和上一帧的图片中分别对应的坐标，进行第一运动参数估计。可选的，在校正当前帧图片之后，从当前帧图片中选取至少1个特征点，包括：在校正当前帧图片之后，对当前帧图片进行特征点检测；在检测到的特征点中随机选取一定数量的特征点，所述一定数量与当前帧图片中剔除的特征点数量相同。第二方面，本申请实施例还提供一种图像采集装置的抖动补偿装置，该装置包括：获取模块，用于获取待处理视频的第一帧图片；特征点跟踪模块，用于对所述第一帧图片进行特征点检测，并选取指定数量的特征点作为第二帧图片需要跟踪的特征点；处理模块，用于针对除所述第一帧图片之外的每帧当前帧图片，从当前帧图片需要跟踪的特征点中剔除当前帧图片中确定为属于运动目标对象的特征点；利用剩余的特征点进行第一运动参数估计、根据第一运动参数估计结果进行路径规划或滤波后对当前帧图片进行抖动补偿；以及从当前帧图片中选取至少1个特征点；由选取的至少1个特征点和剩余的特征点作为下一帧图片需要跟踪的特征点，且选取的特征点与剩余的特征点不同。可选的，所述处理模块还用于：针对除所述第一帧图片之外的每帧当前帧图片，若当前帧图片未剔除特征点，则利用当前帧图片需要跟踪的特征点进行第一运动参数估计、根据第一运动参数估计结果进行路径规划或滤波后对当前帧图片进行抖动补偿；在校正当前帧图片之后,由当前帧图片需要跟踪的特征点作为下一帧图片需要跟踪的特征点。可选的，所述处理模块还具体用于：获取当前帧图片需要跟踪的特征点在当前帧图片中的当前坐标；根据当前帧图片的当前坐标和当前帧图片需要跟踪的特征点的历史坐标，进行第二运动参数估计；利用第二运动参数估计结果，对所述当前坐标进行转换；针对当前帧图片需要跟踪的每一特征点，计算该特征点的转换后的坐标与该特征点的历史坐标之间的距离；剔除所述距离大于预设阈值的特征点；其中，特征点的历史坐标为该特征点在指定帧上的坐标，该指定帧为将特征点确定为需要跟踪的特征点时采用的帧图片；所述历史坐标以及选取的至少1个特征点的坐标均为通过第二运动参数估计结果进行坐标转换得到的坐标。可选的，所述处理模块还用于：构建数组，用于存储需要跟踪的特征点的历史坐标；针对除所述第一帧图片之外的每帧当前帧图片，从当前帧图片需要跟踪的特征点中剔除当前帧图片中确定为属于运动目标对象的特征点，包括：将需要剔除的特征点从所述数组中删除；所述处理模块还具体用于：将选取的至少1个特征点的坐标作为该特征点的历史坐标补充至所述数组中。可选的，所述处理模块还具体用于：对所述剩余的特征点在当前帧图片和上一帧的图片中分别对应的坐标，进行第一运动参数估计。可选的，所述处理模块还具体用于：在校正当前帧图片之后，对当前帧图片进行特征点检测；在检测到的特征点中随机选取一定数量的特征点，所述一定数量与当前帧图片中剔除的特征点数量相同。本申请另一实施例还提供了一种计算装置，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请实施例提供的任一图像采集装置的抖动补偿方法。本申请另一实施例还提供了一种计算机存储介质，其中，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行本申请实施例中的任一图像采集装置的抖动补偿方法。本申请实施例提供的图像采集装置的抖动补偿方法和装置，由于剔除确定为属于运动目标对象的特征点，减少了计算量，并且由于剔除的是属于运动目标对象的特征点，使得剩余的特征点分布在背景上的概率增加，更有利用实现对当前帧图片进行抖动补偿。此外，由于在剔除特征点后还需要补充特征点，用于在下一帧图片进行跟踪，使得特征点的数量保持在一定范围内，不会造成特征点数量过少导致的无法对视频进行抖动补偿的问题。也不需要在特征点数量过少时重新检测特征点，因此，也不会造成视频的卡顿。本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书本文档来自技高网...

【技术保护点】
1.一种图像采集装置的抖动补偿方法，其特征在于，所述方法包括：获取待处理视频的第一帧图片；对所述第一帧图片进行特征点检测，并选取指定数量的特征点作为第二帧图片需要跟踪的特征点；针对除所述第一帧图片之外的每帧当前帧图片，从当前帧图片需要跟踪的特征点中剔除当前帧图片中确定为属于运动目标对象的特征点；利用剩余的特征点进行第一运动参数估计、根据第一运动参数估计结果进行路径规划或滤波后对当前帧图片进行抖动补偿；以及从当前帧图片中选取至少1个特征点；由选取的至少1个特征点和剩余的特征点作为下一帧图片需要跟踪的特征点，且选取的特征点与剩余的特征点不同。

【技术特征摘要】
1.一种图像采集装置的抖动补偿方法，其特征在于，所述方法包括：获取待处理视频的第一帧图片；对所述第一帧图片进行特征点检测，并选取指定数量的特征点作为第二帧图片需要跟踪的特征点；针对除所述第一帧图片之外的每帧当前帧图片，从当前帧图片需要跟踪的特征点中剔除当前帧图片中确定为属于运动目标对象的特征点；利用剩余的特征点进行第一运动参数估计、根据第一运动参数估计结果进行路径规划或滤波后对当前帧图片进行抖动补偿；以及从当前帧图片中选取至少1个特征点；由选取的至少1个特征点和剩余的特征点作为下一帧图片需要跟踪的特征点，且选取的特征点与剩余的特征点不同。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：针对除所述第一帧图片之外的每帧当前帧图片，若当前帧图片未剔除特征点，则利用当前帧图片需要跟踪的特征点进行第一运动参数估计、根据第一运动参数估计结果进行路径规划或滤波后对当前帧图片进行抖动补偿；在校正当前帧图片之后,由当前帧图片需要跟踪的特征点作为下一帧图片需要跟踪的特征点。3.根据权利要求1所述的方法，其特征在于，针对除所述第一帧图片之外的每帧当前帧图片，从当前帧图片需要跟踪的特征点中剔除当前帧图片中确定为属于运动目标对象的特征点，包括：获取当前帧图片需要跟踪的特征点在当前帧图片中的当前坐标；根据当前帧图片的所述当前坐标和当前帧图片需要跟踪的特征点的历史坐标，进行第二运动参数估计；利用第二运动参数估计结果，对所述当前坐标进行转换；针对当前帧图片需要跟踪的每一特征点，计算该特征点的转换后的坐标与该特征点的历史坐标之间的距离；剔除所述距离大于预设阈值的特征点；其中，特征点的历史坐标为该特征点在指定帧上的坐标，该指定帧为将特征点确定为需要跟踪的特征点时采用的帧图片；所述历史坐标以及选取的至少1个特征点的坐标均为通过第二运动参数估计结果进行坐标转换得到的坐标。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：构建数组，用于存储需要跟踪的特征点的历史坐标；针对除所述第一帧图片之外的每帧当前帧图片，从当前帧图片需要跟踪的特征点中剔除当前帧图片中确定为属于运动目标对象的特征点，包括：将需要剔除的特征点从所述数组中删除；针对每帧当前帧图片，由选取的至少1个特征点和剩余的特征点作为下一帧图片需要跟踪的特征点，包括：将选取的至少1个特征点的坐标作为该特征点的历史坐标补充至所述数组中。5.根据权利要求1所述的方法，其特征在于，针对除所述第一帧之外的每帧当前帧图片，利用剩余的特征点进行第一运动参数估计，包括：对所述剩余的特征点在当前帧图片和上一帧的图片中分别对应的坐标，进行第一运动参数估计。6.根据权利要求1所述的方法，其特征在于，在校正当前帧图片之后，从当前帧图片中选取至少1个特征点，包括：在校正当前帧图片之后，对当前帧图片进行特征点检测；在检测到的特征点中随机选取一定数量的特征点，所述一定数量与当前帧图片中剔除的特征点数量相同。7.一种图像采集装置的抖动补偿装置，其特征在于，所述装置包括：获取模块，用于获取待处理视频...

【专利技术属性】
技术研发人员：王廷鸟，刘晓沐，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：浙江,33