【技术实现步骤摘要】
【国外来华专利技术】图像处理方法和设备版权申明本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
本申请涉及图像处理领域,并且更具体地,涉及一种图像处理方法和设备。
技术介绍
随着现代科技的发展,无人机被应用在越来越多的场景中。要达到自动化操作,无人机需要具备一定的定位能力和环境感知能力。目前,无人机可以使用结构光摄像头进行定位和环境感知,这种摄像头能够直接获取到深度信息,但是这种摄像头在强光环境下表现很差,容易受到干扰,价格也较为昂贵。另一种常用的就是双/多目视觉模块进行定位和环境感知,由间隔一定距离的两个以上摄像头组成,靠着两个摄像头同一时刻拍摄的照片的差异,来计算三维深度信息,但是双/多目摄像头之间的旋转和位置,直接影响了其测量有效的范围和精度,故双/多目视觉模块对于结构要求比较高。综上所述,在无人机越来越小型化和便携化的今天,结构光摄像头户外强光环境易受到干扰,而双/多目视觉模块对结构要求较高,且需要一定的间隔,还需要无遮挡,并不是所有无人机都能够适用。
技术实现思路
本申请实施例提供一种图像处理方法和设备,可以在提高定位和环境感知精度的同时,可以降低资源耗费,以及节约成本等。第一方面,提供了一种图像处理方法,包括:获取单目摄像头拍摄的多帧图像;根据相机拍摄该多帧图像时的位姿关系,从该多帧图像中,提取多个关键帧图像;利用相机拍摄该多个关键帧图像时的位姿,计算该多个关键帧图像中的特征点的深度信息。第二方面,提供了一种图像处理方法,包括:获取单目摄像头拍摄的多帧图像;利用 ...
【技术保护点】
1.一种图像处理方法,其特征在于,包括:获取单目摄像头拍摄的多帧图像;根据相机拍摄所述多帧图像时的位姿关系,从所述多帧图像中,提取多个关键帧图像;利用相机拍摄所述多个关键帧图像时的位姿,计算所述多个关键帧图像中的特征点的深度信息。
【技术特征摘要】
【国外来华专利技术】1.一种图像处理方法,其特征在于,包括:获取单目摄像头拍摄的多帧图像;根据相机拍摄所述多帧图像时的位姿关系,从所述多帧图像中,提取多个关键帧图像;利用相机拍摄所述多个关键帧图像时的位姿,计算所述多个关键帧图像中的特征点的深度信息。2.根据权利要求1所述的方法,其特征在于,所述根据相机拍摄所述多帧图像时的位姿关系,从所述多帧图像中,提取多个关键帧图像,包括:从所述多帧图像中,提取第一个关键帧图像;获取相机拍摄所述多帧图像中的下一帧图像与上一个关键帧图像时的位姿关系;在相机拍摄所述下一帧图像与所述上一个关键帧图像时的位姿关系满足预设关系时,将所述下一帧图像确定为所述关键帧图像。3.根据权利要求2所述的方法,其特征在于,所述预设关系为:旋转角度小于或等于第一阈值;和/或,位置变化小于或等于第二阈值。4.根据权利要求2或3所述的方法,其特征在于,所述获取相机拍摄所述多帧图像中的下一帧图像与上一个关键帧图像时的位姿关系,包括:通过位姿关系累计的方式,得到相机拍摄所述下一帧图像与所述上一个关键帧图像时的位姿关系。5.根据权利要求2或3所述的方法,其特征在于,所述获取相机拍摄所述多帧图像中的下一帧图像与上一个关键帧图像时的位姿关系,包括:根据所述下一帧图像和所述上一个关键帧图像的位置和/或姿态,得到相机拍摄所述下一帧图像与所述上一个关键帧图像时的位姿关系。6.根据权利要求1至5中任一项所述的方法,其特征在于,所述多帧图像是连续的多帧运动姿态变化量小于或等于第三阈值的图像。7.根据权利要求1至6中任一项所述的方法,其特征在于,所述利用相机拍摄所述多个关键帧图像时的位姿,计算所述多个关键帧图像中的特征点的深度信息,包括:从所述多个关键帧图像中选择多个待处理的特征点;计算所述多个待处理的特征点中每个待处理的特征点在所述多个关键帧图像之间的相对位置,以及计算相机拍摄每个关键帧图像时的位姿;根据所述每个待处理的特征点在所述多个关键帧图像之间的相对位置,以及相机拍摄所述每个关键帧图像时的位姿,确定所述每个待处理的特征点的深度信息。8.根据权利要求7所述的方法,其特征在于,所述从所述多个关键帧图像中选择多个待处理的特征点,包括:从所述多个关键帧图像中选择多个初始特征点;计算所述多个初始特征点中每个初始特征点从第一关键帧图像到第二关键帧图像的第一光流;计算所述每个初始特征点从所述第二关键帧图像到所述第一关键帧图像的第二光流;将所述第一光流与所述第二光流之和的绝对值小于等于第四阈值对应的初始特征点,确定为所述待处理的特征点。9.根据权利要求7或8所述的方法,其特征在于,所述计算所述多个待处理的特征点中每个待处理的特征点在所述多个关键帧图像之间的相对位置,以及计算相机拍摄每个关键帧图像时的位姿,包括:利用集束调整算法,计算所述每个待处理的特征点在所述多个关键帧图像之间的相对位置,以及相机拍摄所述每个关键帧图像时的位姿。10.根据权利要求9所述的方法,其特征在于,所述利用集束调整算法,计算所述每个待处理的特征点在所述多个关键帧图像之间的相对位置,以及相机拍摄所述每个关键帧图像时的位姿,包括:将初始计算的位姿关系作为初始值,利用所述集束调整算法,计算所述每个待处理的特征点在所述多个关键帧图像之间的相对位置,以及相机拍摄所述每个关键帧图像时的位姿;其中,所述初始计算的位姿关系是相机拍摄所述多个关键帧图像时的位姿关系,且是利用视觉里程计、惯性测量单元和全球定位系统中的至少一种得到的。11.根据权利要求9或10所述的方法,其特征在于,所述计算所述多个待处理的特征点中每个待处理的特征点在所述多个关键帧图像之间的相对位置,以及计算相机拍摄每个关键帧图像时的位姿,还包括:利用初始计算的位姿关系,对利用所述集束调整算法计算的位姿中的位移进行缩放;其中,所述初始计算的位姿关系是相机拍摄所述多个关键帧图像时的位姿关系,且是利用视觉里程计、惯性测量单元和全球定位系统中的至少一种得到的。12.根据权利要求1至11中任一项所述的方法,其特征在于,所述方法还包括:根据所述多个关键帧图像中的特征点的深度信息,确定所述多个关键帧图像中每个关键帧图像的每个像素位置的深度信息。13.根据权利要求12所述的方法,其特征在于,所述根据所述多个关键帧图像中的特征点的深度信息,确定所述多个关键帧图像中每个关键帧图像的每个像素位置的深度信息,包括:根据所述多个关键帧图像中的特征点的深度信息,使用平均绝对差算法、误差平方和算法、绝对误差和算法、归一化积相关算法、序贯相似性检测算法或者绝对变换误差和算法,确定所述每个关键帧图像中每个像素位置的深度信息。14.根据权利要求12或13所述的方法,其特征在于,所述方法还包括:利用相机拍摄至少一个关键帧图像与其他关键帧图像时的位姿关系,对所述至少一个关键帧图像中的至少部分像素位置的深度信息进行验证。15.根据权利要求14所述的方法,其特征在于,所述对所述至少一个关键帧图像中的至少部分像素位置的深度信息进行验证,包括:利用第三关键帧图像的第一像素位置的深度信息,得到所述第一像素位置的3D位置;根据所述第一像素位置的3D位置,以及相机拍摄所述第三关键帧图像与第四关键帧图像时的位姿关系,得到所述第一像素位置在所述第四关键帧图像对应的第二像素位置;比较所述第一像素位置的颜色亮度值,以及所述第二像素位置的颜色亮度值之间的关系;根据比较结果,确定所述第一像素位置的深度信息的准确性。16.根据权利要求15所述的方法,其特征在于,在所述比较所述第一像素位置的颜色亮度值,以及所述第二像素位置的颜色亮度值之间的关系之前,所述对所述关键帧图像中的至少部分像素的深度信息进行验证,还包括:通过双线性插值运算的方式,得到所述第二像素位置的颜色亮度值。17.根据权利要求15或16的方法,其特征在于,所述根据比较结果,确定所述第一像素位置的深度信息的准确性,包括:在所述第一像素位置的颜色亮度值与所述第二像素位置的颜色亮度值的差值的绝对值大于或等于第五阈值时,确定所述第一像素位置的深度信息不准确。18.根据15至17中任一项所述的方法,其特征在于,所述方法还包括:在所述第三关键帧图像中的像素位置深度信息不准确的比例大于或等于第六阈值时,放弃计算得到的所述第三关键帧图像的深度信息。19.一种图像处理方法,其特征在于,包括:获取单目摄像头拍摄的多帧图像;利用相机拍摄所述多帧图像时的位姿,计算所述多帧图像中的特征点的深度信息;根据所述多帧图像中的特征点的深度信息,确定所述多帧图像中每帧图像的每个像素的深度信息。20.根据权利要求19所述的方法,其特征在于,所述利用相机拍摄所述多帧图像时的位姿,计算所述多帧图像中的特征点的深度信息,包括:从所述多帧图像中选择多个待处理的特征点;计算所述多个待处理的特征点中每个待处理的特征点在所述多帧图像之间的相对位置,以及计算相机在拍摄所述每帧图像时的位姿;根据所述每个待处理的特征点在所述多帧图像之间的相对位置,以及相机在拍摄所述每帧图像时的位姿,确定所述每个待处理的特征点的深度信息。21.根据权利要求20所述的方法,其特征在于,所述从所述多帧图像中选择多个待处理的特征点,包括:从所述多帧图像中选择多个初始特征点;计算所述多个初始特征点中每个初始特征点从第一图像到第二图像的第一光流;计算所述每个初始特征点从所述第二图像到所述第一图像的第二光流;将所述第一光流与所述第二光流之和的绝对值小于等于第一阈值对应的初始特征点,确定为所述待处理的特征点。22.根据权利要求19至21中任一项所述的方法,其特征在于,所述计算所述多个待处理的特征点中每个待处理的特征点在所述多帧图像之间的相对位置,以及计算相机拍摄所述每帧图像时的位姿,包括:利用集束调整算法,计算所述每个待处理的特征点在所述多帧图像之间的相对位置,以及相机拍摄所述每帧图像时的位姿。23.根据权利要求22所述的方法,其特征在于,所述利用集束调整算法,计算所述每个待处理的特征点在所述多帧图像之间的相对位置,以及相机拍摄所述每帧图像时的位姿,包括:将初始计算的位姿关系作为初始值,利用所述集束调整算法,计算所述每个待处理的特征点在所述多个关键帧图像之间的相对位置,以及相机拍摄所述每帧图像时的位姿;其中,所述初始计算的位姿关系是相机拍摄所述多个关键帧图像时的位姿关系,且是利用视觉里程计、惯性测量单元和全球定位系统中的至少一种得到的。24.根据权利要求22或23所述的方法,其特征在于,所述利用集束调整算法,计算所述每个待处理的特征点在所述多帧图像之间的相对位置,以及相机拍摄所述每帧图像时的位姿,还包括:利用初始计算的位姿关系,对利用所述集束调整算法计算的位姿中的位移进行缩放;其中,所述初始计算的位姿关系是相机拍摄所述多帧图像时的位姿关系,且是利用视觉里程计、惯性测量单元和全球定位系统中的至少一种得到的。25.根据权利要求19至24中任一项所述的方法,其特征在于,所述根据所述多帧图像中的特征点的深度信息,确定所述多帧图像中每帧图像的每个像素的深度信息,包括:根据所述多帧图像中的特征点的深度信息,使用平均绝对差算法、误差平方和算法、绝对误差和算法、归一化积相关算法、序贯相似性检测算法或者绝对变换误差和算法,确定所述每帧图像中每个像素位置的深度信息。26.根据权利要求19至25中任一项所述的方法,其特征在于,所述方法还包括:利用相机拍摄所述多帧图像中至少一帧图像与其他帧图像时的位姿关系,对所述至少一帧图像中的至少部分像素位置的深度信息进行验证。27.根据权利要求26所述的方法,其特征在于,所述对所述多帧图像中的至少一帧图像中的至少部分像素位置的深度信息进行验证,包括:利用第一图像的第一像素位置的深度信息,得到所述第一像素位置的3D位置;根据所述第一像素位置的3D位置,以及相机拍摄所述第一图像与第二图像时的位姿关系,得到所述第一像素位置在所述第二图像对应的第二像素位置;比较所述第一像素位置的颜色亮度值,以及所述第二像素位置的颜色亮度值之间的关系;根据比较结果,确定所述第一像素位置的深度信息的准确性。28.根据权利要求27所述的方法,其特征在于,在所述比较所述第一像素位置的颜色亮度值,以及所述第二像素位置的颜色亮度值之间的关系之前,所述对所述关键帧图像中的至少部分像素的深度信息进行验证,还包括:通过双线性插值运算的方式,得到所述第二像素位置的颜色亮度值。29.根据权利要求27或28的方法,其特征在于,所述根据比较结果,确定所述第一像素位置的深度信息的准确性,包括:在所述第一像素位置的颜色亮度值与所述第二像素位置的颜色亮度值的差值的绝对值大于或等于第二阈值时,确定所述第一像素位置的深度信息不准确。30.根据27至29中任一项所述的方法,其特征在于,所述方法还包括:在所述第一图像中的像素位置深度信息不准确的比例大于或等于第三阈值,放弃计算得到的所述第一图像的深度信息。31.一种图像处理方法,其特征在于,包括:获取单目摄像头拍摄的多帧图像;利用相机拍摄所述多帧图像时的位姿,确定所述多帧图像中每帧图像的每个像素的深度信息;利用相机拍摄所述多帧图像中至少一帧图像与其他帧图像时的位姿关系,对至少一帧图像中的至少部分像素位置的深度信息进行验证。32.根据权利要求31所述的方法,其特征在于,所述对所述多帧图像中的至少一帧图像中的至少部分像素位置的深度信息进行验证,包括:利用第一图像的第一像素位置的深度信息,得到所述第一像素位置的3D位置;根据所述第一像素位置的3D位置,以及相机拍摄所述第一图像与第二图像时的位姿关系,得到所述第一像素位置在所述第二图像对应的第二像素位置;比较所述第一像素位置的颜色亮度值,以及所述第二像素位置的颜色亮度值之间的关系;根据比较...
【专利技术属性】
技术研发人员:周游,杨振飞,刘洁,
申请(专利权)人:深圳市大疆创新科技有限公司,
类型:发明
国别省市:广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。