一种图像去抖的方法及装置制造方法及图纸

本发明专利技术提供了一种图像去抖的方法及装置，其中，该方法包括：获取两帧双目图像，双目图像包括左目图像和右目图像；确定多个公共特征点，并确定公共特征点在两帧双目图像中的三维坐标；将移动距离小于预设距离值的公共特征点作为有效特征点，移动距离为公共特征点在两帧双目图像中的两个三维坐标之间的距离值；根据有效特征点在两帧双目图像中的三维坐标的变化值确定相机的位姿变化参数；根据位姿变化参数调整后一帧双目图像的像素点的坐标值。通过本发明专利技术提供的图像去抖的方法及装置，可以方便快速地确定相机位姿变化，方法简单、算法复杂度低、运行速度快、实时性高，且最终确定相机位姿变化更加精确。

A Method and Device for Image Dejitter

The invention provides a method and device for image shaking removal, which includes: acquiring two binocular images, binocular images including left-eye images and right-eye images; determining multiple common feature points and determining three-dimensional coordinates of common feature points in two binocular images; taking common feature points whose moving distance is less than the preset distance value as effective feature points, and moving distance is as follows: The distance between two three-dimensional coordinates in two binocular images is the common feature point; the camera's pose change parameters are determined according to the change of three-dimensional coordinates in two binocular images; and the coordinates of the pixels in the latter binocular image are adjusted according to the change of position and attitude parameters. The method and device of image shaking elimination provided by the invention can conveniently and quickly determine the change of camera position and pose. The method is simple, the algorithm complexity is low, the running speed is fast, the real-time performance is high, and the final determination of the change of camera position and pose is more accurate.

【技术实现步骤摘要】
一种图像去抖的方法及装置
本专利技术涉及图像处理
，具体而言，涉及一种图像去抖的方法及装置。
技术介绍
在当今社会，相机以其简洁直观而广泛应用于各个领域。同时，由于应用场景、应用方式、固定方式等因素的影响，相机录制视频过程中会不可避免的造成画面抖动。这种画面的抖动无疑会降低视频的直观性与观赏性，甚至会降低后期基于视频图像计算的精度。目前，视频图像去抖的方法主要有机械去抖、光学去抖和电子去抖。机械去抖的方法就是将相机安装于具有自增稳功能的机械结构上。光学去抖是通过镜头内置的仪器感应相机的抖动，之后对镜头的位置进行相应的调整从而达到去抖效果。电子去抖是通过电子手段来对图像进行相应处理，以减轻抖动对图像的影响。目前，机械去抖方法和光学去抖方法去抖能力、应用场景有限，而且这两种方法均会增加设备复杂性以及硬件成本；而电子去抖法计算量大、耗时长，无法满足实时性。
技术实现思路
为解决上述问题，本专利技术实施例的目的在于提供一种图像去抖的方法及装置。第一方面，本专利技术实施例提供了一种图像去抖的方法，包括：获取两帧双目图像，所述双目图像包括左目图像和右目图像，且两帧所述双目图像的时间戳之差小于预设时间差值；确定多个公共特征点，并确定所述公共特征点在两帧双目图像中的三维坐标，所述公共特征点为同时存在于两帧双目图像的左目图像和右目图像的世界点在两帧双目图像中所对应的像素点；将移动距离小于预设距离值的公共特征点作为有效特征点，所述移动距离为所述公共特征点在两帧双目图像中的两个三维坐标之间的距离值；根据所述有效特征点在两帧双目图像中的三维坐标的变化值确定相机的位姿变化参数；根据所述位姿变化参数调整后一帧双目图像的像素点的坐标值。第二方面，本专利技术实施例还提供了一种图像去抖的装置，包括：获取模块，用于获取两帧双目图像，所述双目图像包括左目图像和右目图像，且两帧所述双目图像的时间戳之差小于预设时间差值；第一确定模块，用于确定多个公共特征点，并确定所述公共特征点在两帧双目图像中的三维坐标，所述公共特征点为同时存在于两帧双目图像的左目图像和右目图像的世界点在两帧双目图像中所对应的像素点；第二确定模块，用于将移动距离小于预设距离值的公共特征点作为有效特征点，所述移动距离为所述公共特征点在两帧双目图像中的两个三维坐标之间的距离值；位姿变化确定模块，用于根据所述有效特征点在两帧双目图像中的三维坐标的变化值确定相机的位姿变化参数；去抖模块，用于根据所述位姿变化参数调整后一帧双目图像的像素点的坐标值。本专利技术实施例上述第一方面提供的方案中，基于两帧双目图像将极远静止点作为有效特征点，并根据有效特征点在两帧图像中三维坐标之间的变化确定相机位姿变化，进而可以基于该相机位姿变化调整双目图像的像素点，实现图像去抖。该方法基于双目测距实现图像去抖，且所利用的极远静止点具有相同的移动方向，基于极远静止点可以方便快速地确定相机位姿变化，方法简单、算法复杂度低、运行速度快、实时性高；且极远静止点距离相机较远，可以忽略极远静止点在景深方向上的变化，使得最终确定相机位姿变化更加精确。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了本专利技术实施例所提供的图像去抖的方法的流程图；图2示出了本专利技术实施例所提供的双目图像的示意图；图3示出了本专利技术实施例所提供的原始双目图像的示意图；图4示出了本专利技术实施例所提供的图像去抖的装置的结构示意图。具体实施方式在本专利技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本专利技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。在本专利技术中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本专利技术中的具体含义。本专利技术实施例提供的一种图像去抖的方法，参见图2所示，包括步骤101-105：步骤101：获取两帧双目图像，双目图像包括左目图像和右目图像，且两帧双目图像的时间戳之差小于预设时间差值。本专利技术实施例中，通过两帧双目图像的变化实现对后一帧双目图像的去抖；其中，每一帧双目图像均具有时间戳参数，通过时间戳比较靠近的两帧双目图像进行去抖处理；时间戳之差越大，两帧双目图像的差别越大，相机抖动越大，去抖处理效果越差；故需要选取时间戳之差较小的两帧双目图像，比如相邻的两帧双目图像。每一帧的双目图像具体可以通过双目相机采集。具体的，通过双目相机可以采集相应的左目图像和右目图像。该双目相机具体可以为双目立体相机，在使用双目立体相机之前首先需要对双目立体相机进行标定。双目立体相机的标定分为两步：安装之前标定双目立体相机内参和安装后标定双目立体相机外参。在安装之前对双目立体相机进行标定，得到双目立体相机的焦距、相机基线长度、镜头畸变系数、左右镜头之间距离等仅与相机自身特性相关的内参数，即双目相机内参。将双目相机安装在车辆上之后，保持双目立体相机与车辆的相对位置不变，并开始对双目立体相机进行第二次标定，标定双目立体相机的外参，也就是双目立体相机与地面坐标系(或世界坐标系)的位置关系。双目相机采集到双目图像后，可以对采集的图像进行预处理(比如滤波、抑制噪声等)，提高图像的信噪比，获得最终可以进行去抖处理的双目图像。步骤102：确定多个公共特征点，并确定公共特征点在两帧双目图像中的三维坐标，公共特征点为同时存在于两帧双目图像的左目图像和右目图像的世界点在两帧双目图像中所对应的像素点。本专利技术实施例中，在两帧双目图像的左目图像和右目图像均存在的一个点作为公共特征点。例如，世界点P出现在一帧的左目图像和右目图像中，且世界点P也出现在另一帧的左目图像和右目图像中，则世界点P在两帧双目图像中所对应的像素点为公共特征点。在两帧双目图像中可以确定多个公共特征点，且前一帧双目图像中的一个公共特征点对应后一帧双目图像中的一个公共特征点，即两帧双目图像的公共特征点是一一对应关系。同样的，对于一帧双目图像，左目图像和右目图像中也均存在该公共特征点，利用公共特征点在左本文档来自技高网...

【技术保护点】
1.一种图像去抖的方法，其特征在于，包括：获取两帧双目图像，所述双目图像包括左目图像和右目图像，且两帧所述双目图像的时间戳之差小于预设时间差值；确定多个公共特征点，并确定所述公共特征点在两帧双目图像中的三维坐标，所述公共特征点为同时存在于两帧双目图像的左目图像和右目图像的世界点在两帧双目图像中所对应的像素点；将移动距离小于预设距离值的公共特征点作为有效特征点，所述移动距离为所述公共特征点在两帧双目图像中的两个三维坐标之间的距离值；根据所述有效特征点在两帧双目图像中的三维坐标的变化值确定相机的位姿变化参数；根据所述位姿变化参数调整后一帧双目图像的像素点的坐标值。

【技术特征摘要】
1.一种图像去抖的方法，其特征在于，包括：获取两帧双目图像，所述双目图像包括左目图像和右目图像，且两帧所述双目图像的时间戳之差小于预设时间差值；确定多个公共特征点，并确定所述公共特征点在两帧双目图像中的三维坐标，所述公共特征点为同时存在于两帧双目图像的左目图像和右目图像的世界点在两帧双目图像中所对应的像素点；将移动距离小于预设距离值的公共特征点作为有效特征点，所述移动距离为所述公共特征点在两帧双目图像中的两个三维坐标之间的距离值；根据所述有效特征点在两帧双目图像中的三维坐标的变化值确定相机的位姿变化参数；根据所述位姿变化参数调整后一帧双目图像的像素点的坐标值。2.根据权利要求1所述的方法，其特征在于，所述获取两帧双目图像包括：获取双目相机采集的两帧原始双目图像，所述原始双目图像包括原始左目图像和原始右目图像；对所述原始双目图像进行矫正处理，将校正后的原始左目图像作为最终获取的左目图像，将校正后的原始右目图像作为最终获取的右目图像，所述左目图像和所述右目图像共面，且同一特征点在所述左目图像中的位置和在所述右目图像中的位置在预设方向上对齐；将矫正后的两帧原始双目图像作为最终获取的两帧双目图像。3.根据权利要求1所述的方法，其特征在于，所述确定所述公共特征点在两帧双目图像中的三维坐标包括：根据所述公共特征点在所述左目图像中的位置和在所述右目图像中的位置确定所述公共特征点的视差D：其中，D表示视差，表示第n帧双目图像中第i个公共特征点在所述左目图像中的横坐标，xri(n)表示第n帧双目图像中第i个公共特征点在所述右目图像中的横坐标；根据所述公共特征点的视差和双目相机内参确定所述公共特征点在相机坐标系中的三维坐标所述双目相机内参包括双目相机的焦距和相机基线长度；所述公共特征点的三维坐标为：其中，分别表示第n帧双目图像中第i个公共特征点在相机坐标系中所对应的横坐标、纵坐标和竖坐标，表示第n帧双目图像中第i个公共特征点在所述左目图像中的纵坐标，B为相机基线长度，f为双目相机的焦距。4.根据权利要求1所述的方法，其特征在于，所述根据所述有效特征点在两帧双目图像中的三维坐标的变化值确定相机的位姿变化参数包括：分别确定两帧双目图像所有有效特征点的特征矩阵A和B：其中，A为第n帧双目图像的特征矩阵，B为第n+m帧双目图像的特征矩阵，Yi(n)、分别表示第n帧双目图像中第i个有效特征点在相机坐标系中所对应的横坐标、纵坐标和竖坐标，Yi(n+m)、分别表示第n+m帧双目图像中第i个有效特征点在相机坐标系中所对应的横坐标、纵坐标和竖坐标，i＝1,2,…,K，K为有效特征点的个数；根据两帧双目图像的特征矩阵确定相机的位姿变化参数：其中，R表示旋转矩阵，t表示平移向量，且5.根据权利要求1所述的方法，其特征在于，所述根据所述位姿变化参数调整后一帧双目图像的像素点的坐标值包括：确定后一帧双目图像的像素点的原始坐标，并根据像素点的原始坐标确定在相机坐标系下所述像素点在成像平面内的三维坐标：其中，分别表示第n+m帧双目图像中第i个像素点在成像平面内的横坐标、纵坐标和竖坐标，分别表示第n+m帧双目图像中第i个像素点的原始横坐标和原始纵坐标；f表示双目相机的焦距，(u0，v0)为双目相机光轴与成像平面的交点坐标；且第n+m帧双目图像即为后一帧双目图像；根据所述位姿变化参数确定对所述像素点在成像平面内的三维坐标进行调整，确定调整后的三维坐标；其中：分别表示第n+m帧双目图像中第i个像素点在成像平面内调整后的横坐标、纵坐标和竖坐标，R表示旋转矩阵，t表示平移向量，且根据像素点在成像平面内调整后的三维坐标对所述像素点的坐标值进行调整，确定像素点调整后的坐标值：其中，分比为第n+m帧双目图像中第i个像素点调整后的横坐标和纵坐标。6.一种图像去抖的装置，其特征在于，包括：获取模块，用于获取...

【专利技术属性】
技术研发人员：伍宽，魏宇腾，朱继玉，
申请(专利权)人：北京双髻鲨科技有限公司，
类型：发明
国别省市：北京,11