图像处理方法、装置、云台和存储介质制造方法及图纸

本发明专利技术提供一种图像处理方法、装置、云台和存储介质，该方法包括：根据原始旋转参数，建立重投影误差约束函数；其中，所述原始旋转参数为所述当前帧图像的相机位姿相对于所述前一帧图像的相机位姿的旋转参数；或，所述原始旋转参数为所述当前帧图像的云台姿态相对于所述前一帧图像的云台姿态的旋转参数；对所述重投影误差约束函数进行优化处理，得到优化后的旋转参数；根据所述优化后的旋转参数，对所述当前帧图像进行校正，上述方案能够对拍摄的运动轨迹平滑处理，对拍摄的图像进行校正，效率较高。

【技术实现步骤摘要】
【国外来华专利技术】图像处理方法、装置、云台和存储介质
本专利技术实施例涉及图像处理
，尤其涉及一种图像处理方法、装置、云台和存储介质。
技术介绍
大范围移动延时(Hyperlapse)亦称高动态延时，是缩时摄影中的一种新兴曝光技术，借由改变相机每次曝光的位置以在缩时摄影的同时对对象以持续移动的方式拍摄。与通过相机滑轨移动相机的简单“移动延时”(推轨镜头)不同，大范围移动延时需要相机进行长距离的移动，容易导致抖动较大。因而对于拍摄的视频需要进行增稳处理。
技术实现思路
本专利技术提供一种图像处理方法、装置、云台和存储介质，提升了处理效率。第一方面，本专利技术实施例提供一种图像处理方法，包括：根据原始旋转参数，建立重投影误差约束函数；其中，所述原始旋转参数为当前帧图像的相机位姿相对于前一帧图像的相机位姿的旋转参数；或，所述原始旋转参数为所述当前帧图像的云台姿态相对于所述前一帧图像的云台姿态的旋转参数；对所述重投影误差约束函数进行优化处理，得到优化后的旋转参数；根据所述优化后的旋转参数，对所述当前帧图像进行校正。第二方面，本专利技术实施例提供一种图像处理装置，包括：存储器、处理器；其中，所述存储器用于存储指令；所述处理器用于运行所述指令以实现：根据原始旋转参数，建立重投影误差约束函数；其中，所述原始旋转参数为当前帧图像的相机位姿相对于前一帧图像的相机位姿的旋转参数；或，所述原始旋转参数为所述当前帧图像的云台姿态相对于所述前一帧图像的云台姿态的旋转参数；对所述重投影误差约束函数进行优化处理，得到优化后的旋转参数；根据所述优化后的旋转参数，对所述当前帧图像进行校正。第三方面，本专利技术实施例提供一种存储介质，包括：可读存储介质和计算机程序，所述计算机程序用于实现上述第一方面任一实施方式提供的图像处理方法。第四方面，本专利技术实施例还提供一种云台，包括：至少一个转动轴；角度传感器；以及上述第二方面任一实施方式提供的图像处理装置。本专利技术提供一种图像处理方法、装置、云台和存储介质，根据原始旋转参数，建立重投影误差约束函数；其中，所述原始旋转参数为所述当前帧图像的相机位姿相对于所述前一帧图像的相机位姿的旋转参数；或，所述原始旋转参数为所述当前帧图像的云台姿态相对于所述前一帧图像的云台姿态的旋转参数；对所述重投影误差约束函数进行优化处理，得到优化后的旋转参数；根据所述优化后的旋转参数，对所述当前帧图像进行校正，结合原始旋转参数的先验信息，通过对图像之间的相对旋转参数进行优化，实现了对拍摄运动轨迹的平滑处理，进而根据优化后的相对旋转参数对图像进行校正，能够有效抑制抖动，从而完成增稳处理，效率较高。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术提供的应用场景示意图；图2为本专利技术一实施例提供的图像处理方法的流程图；图3为本专利技术另一实施例提供的图像处理方法的流程图；图4为本专利技术又一实施例提供的图像处理方法的流程图；图5为本专利技术一实施例提供的图像处理装置的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。首先对本专利技术所涉及的应用场景进行介绍：本专利技术实施例提供的图像处理方法，应用于移动延时摄影中，对移动延时摄像获取的图像或视频进行增稳处理，提高处理效率。其中，该方法可以由图像处理装置执行。在本专利技术的一实施例中，如图1所示，该图像处理装置可以应用在云台中，具体可以是集成在云台中、或与云台进行无线连接的遥控设备，本专利技术实施例对此并不限定。其中，云台可以设置在无人机或机器人等设备上。在本专利技术的一实施例中，该图像处理装置可以应用在移动终端等电子设备中，例如包括：智能手机、平板电脑、可穿戴设备等。本专利技术实施例提供的方法可由图像处理装置如该图像处理装置的处理器执行相应的软件代码实现，也可由该图像处理装置备在执行相应的软件代码的同时，通过和服务器进行数据交互来实现，如服务器执行部分操作，来控制图像处理装置执行该图像处理方法。下面以具体的实施例对本专利技术的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。图2为本专利技术一实施例提供的图像处理方法的流程图。如图2所示，本实施例提供的方法，包括：步骤201、根据原始旋转参数，建立重投影误差约束函数；其中，原始旋转参数为当前帧图像的相机位姿相对于前一帧图像的相机位姿的旋转参数；或，原始旋转参数为当前帧图像的云台姿态相对于前一帧图像的云台姿态的旋转参数。具体的，用户使用移动延时摄影功能进行拍摄获取到多个图像，可以在每次获取到一张图像后进行增稳处理，或获取到全部图像后进行增稳处理，或者，抽取多帧图像拼接成视频后进行增稳处理。进一步的，为了提高处理效率，加快计算速度，如果图像的分辨率较大，可以进行压缩，例如将图像转换为1080p的图像。进一步，还可以把彩色图像转化为灰度图像，具体可以将彩色图像转化为YUV格式，再直接使用Y通道的图像信息即可。在进行增稳处理时，首先获取当前帧图像相对于前一帧图像的原始旋转参数，表示两帧之间的相对旋转关系，该原始旋转参数可以是当前帧图像的云台姿态相对于前一帧图像的云台姿态的原始旋转参数，该原始旋转参数可以通过云台惯性测量单元(InertialMeasurementUnit，简称IMU)的陀螺仪获取到；或者，该原始旋转参数可以是当前帧图像的相机位姿相对于前一帧图像的相机位姿的原始旋转参数。进一步根据获取到的原始旋转参数，建立重投影误差约束函数。步骤202、对重投影误差约束函数进行优化处理，得到优化后的旋转参数。步骤203、根据优化后的旋转参数，对当前帧图像进行校正。具体的，对重投影误差约束函数进行优化处理，得到优化后的旋转参数，即对拍摄的运动轨迹进行了平滑处理，进而根据优化后的旋转参数，对当前帧图像进行校正，能够有效抑制抖动。进一步的，在对多帧图像进行校正后，可以将多个校正后的图像合成增稳后的视频。本实施例的方法，根据原始旋转参数，建立重投影误差约束函数；其中，所述原始旋转参数为所述当前帧图像的相机位姿相对于所述前一帧图像的相机位姿的旋转参数；或，所述原始旋转参数为所述当前帧图像的云台姿态相对于所述前一帧图像的云台姿态的旋转参数；对本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n根据原始旋转参数，建立重投影误差约束函数；其中，所述原始旋转参数为当前帧图像的相机位姿相对于前一帧图像的相机位姿的旋转参数；或，所述原始旋转参数为所述当前帧图像的云台姿态相对于所述前一帧图像的云台姿态的旋转参数；/n对所述重投影误差约束函数进行优化处理，得到优化后的旋转参数；/n根据所述优化后的旋转参数，对所述当前帧图像进行校正。/n

【技术特征摘要】
【国外来华专利技术】1.一种图像处理方法，其特征在于，包括：
根据原始旋转参数，建立重投影误差约束函数；其中，所述原始旋转参数为当前帧图像的相机位姿相对于前一帧图像的相机位姿的旋转参数；或，所述原始旋转参数为所述当前帧图像的云台姿态相对于所述前一帧图像的云台姿态的旋转参数；
对所述重投影误差约束函数进行优化处理，得到优化后的旋转参数；
根据所述优化后的旋转参数，对所述当前帧图像进行校正。


2.根据权利要求1所述的方法，其特征在于，所述建立重投影误差约束函数之前，还包括：
分别获取相互匹配的当前帧图像的待处理特征点和前一帧图像的待处理特征点；
所述根据原始旋转参数，建立重投影误差约束函数，包括：
根据所述原始旋转参数、所述前一帧图像中待处理特征点以及预设的投影函数，建立所述重投影误差约束函数；
根据所述优化后的旋转参数，对所述当前帧图像进行校正包括：
根据所述优化后的旋转参数，对所述当前帧图像的待处理特征点进行校正。


3.根据权利要求1或2所述的方法，其特征在于，所述对所述重投影误差约束函数进行优化处理，得到优化后的旋转参数，包括：
对所述重投影误差约束函数进行优化处理，得到使得所述重投影误差约束函数最小的优化后的旋转参数。


4.根据权利要求1或2所述的方法，其特征在于，所述根据所述优化后的旋转参数，对所述当前帧图像进行校正，包括：
将所述优化后的旋转参数进行滤波处理，得到所述当前帧图像对应的优化后的云台姿态或优化后的相机位姿；
根据所述优化后的云台姿态或所述优化后的相机位姿，对当前帧图像进行校正，得到校正后的当前帧图像。


5.根据权利要求4所述的方法，其特征在于，所述将所述优化后的旋转参数进行滤波处理，得到所述当前帧图像对应的优化后的云台姿态或优化后的相机位姿，包括：
将所述优化后的旋转参数，转化为四元数表示；
对所述四元数表示进行滤波处理，并将滤波处理后的四元数表示转化为所述当前帧图像对应的优化后的云台姿态或优化后的相机位姿。


6.根据权利要求5所述的方法，其特征在于，所述对所述四元数表示进行滤波处理，并将滤波处理后的四元数表示转化为所述当前帧图像对应的优化后的云台姿态或优化后的相机位姿，包括：
对所述四元数表示进行高斯滤波处理，并将处理后的四元数表示进行归一化处理，得到归一化后的四元数表示；
将所述归一化后的四元数表示转化为所述当前帧图像对应的优化后的云台姿态或优化后的相机位姿。


7.根据权利要求5所述的方法，其特征在于，所述将所述优化后的旋转参数，转化为当前帧图像对应的四元数表示之前，还包括：
将所述优化后的的旋转参数，转化为所述当前帧图像相对于待处理图像中第一帧图像的旋转参数。


8.根据权利要求4所述的方法，其特征在于，所述根据所述优化后的云台姿态或所述优化后的相机位姿，得到校正后的当前帧图像，包括：
根据所述优化后的云台姿态和原始的云台姿态，对当前帧图像进行校正，得到校正后的当前帧图像；或，
根据所述优化后的相机位姿和原始的相机位姿，对当前帧图像进行校正，得到校正后的当前帧图像。


9.根据权利要求1或2所述的方法，其特征在于，所述对所述当前帧图像进行校正之后，还包括：
将多个校正后的图像合成增稳后的视频。


10.根据权利要求2所述的方法，其特征在于，所述分别获取相互匹配的当前帧图像的待处理特征点和前一帧图像的待处理特征点，包括：
根据角点检测算法提取所述当前帧图像中的待处理特征点；
根据所述当前帧图像中待处理特征点的像素坐标，利用KLT算法在所述前一帧图像中确定匹配的待处理特征点。


11.根据权利要求10所述的方法，其特征在于，所述角点检测算法包括以下至少一项：FAST算法、SUSAN算法、Harris角点检测算法。


12.一种...

【专利技术属性】
技术研发人员：吴哲，周游，严嘉祺，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44