图像处理方法和设备技术

技术编号:19397289 阅读:27 留言:0更新日期:2018-11-10 05:10
本申请实施例提供一种图像处理方法和设备,可以在提高定位和环境感知精度的同时,可以降低资源耗费,以及节约成本等。该方法包括:获取单目摄像头拍摄的多帧图像;根据相机拍摄该多帧图像时的位姿关系,从该多帧图像中,提取多个关键帧图像;利用相机拍摄该多个关键帧图像时的位姿,计算该多个关键帧图像中的特征点的深度信息。

【技术实现步骤摘要】
【国外来华专利技术】图像处理方法和设备版权申明本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
本申请涉及图像处理领域,并且更具体地,涉及一种图像处理方法和设备。
技术介绍
随着现代科技的发展,无人机被应用在越来越多的场景中。要达到自动化操作,无人机需要具备一定的定位能力和环境感知能力。目前,无人机可以使用结构光摄像头进行定位和环境感知,这种摄像头能够直接获取到深度信息,但是这种摄像头在强光环境下表现很差,容易受到干扰,价格也较为昂贵。另一种常用的就是双/多目视觉模块进行定位和环境感知,由间隔一定距离的两个以上摄像头组成,靠着两个摄像头同一时刻拍摄的照片的差异,来计算三维深度信息,但是双/多目摄像头之间的旋转和位置,直接影响了其测量有效的范围和精度,故双/多目视觉模块对于结构要求比较高。综上所述,在无人机越来越小型化和便携化的今天,结构光摄像头户外强光环境易受到干扰,而双/多目视觉模块对结构要求较高,且需要一定的间隔,还需要无遮挡,并不是所有无人机都能够适用。
技术实现思路
本申请实施例提供一种图像处理方法和设备,可以在提高定位和环境感知精度的同时,可以降低资源耗费,以及节约成本等。第一方面,提供了一种图像处理方法,包括:获取单目摄像头拍摄的多帧图像;根据相机拍摄该多帧图像时的位姿关系,从该多帧图像中,提取多个关键帧图像;利用相机拍摄该多个关键帧图像时的位姿,计算该多个关键帧图像中的特征点的深度信息。第二方面,提供了一种图像处理方法,包括:获取单目摄像头拍摄的多帧图像;利用相机拍摄该多帧图像时的位姿,计算该多帧图像中的特征点的深度信息;根据该多帧图像中的特征点的深度信息,确定该多帧图像中每帧图像的每个像素的深度信息。第三方面,提供了一种图像处理方法,包括:获取单目摄像头拍摄的多帧图像;利用相机拍摄该多帧图像时的位姿,确定该多帧图像中每帧图像的每个像素的深度信息;利用相机拍摄该多帧图像中至少一帧图像与其他帧图像时的位姿关系,对至少一帧图像中的至少部分像素位置的深度信息进行验证。第四方面,提供了一种图像处理设备,包括获取单元、提取单元和确定单元;其中,该获取单元用于:获取单目摄像头拍摄的多帧图像;该提取单元用于:根据相机拍摄该多帧图像时的位姿关系,从该多帧图像中,提取多个关键帧图像;该确定单元用于:利用相机拍摄该多个关键帧图像时的位姿,计算该多个关键帧图像中的特征点的深度信息。第五方面,提供了一种图像处理设备,包括获取单元和计算单元;其中,该获取单元用于:获取单目摄像头拍摄的多帧图像;该确定单元用于:利用相机拍摄该多帧图像时的位姿,计算该多帧图像中的特征点的深度信息;根据该多帧图像中的特征点的深度信息,确定该多帧图像中每帧图像的每个像素的深度信息。第六方面,提供了一种图像处理设备,包括获取单元,确定单元和验证单元;其中,该获取单元用于:获取单目摄像头拍摄的多帧图像;该确定单元用于:利用相机拍摄该多帧图像时的位姿,确定该多帧图像中每帧图像的每个像素的深度信息;该验证单元用于:利用相机拍摄该多帧图像中至少一帧图像与其他帧图像时的位姿关系,对至少一帧图像中的至少部分像素位置的深度信息进行验证。第七方面,提供了一种图像处理设备,包括处理器和存储器。处理器和存储器之间通过内部连接通路互相通信,存储器存储有指令,处理器用于调用存储器中存储的指令,执行上述任意一种方法。第八方面,提供了一种计算机可读介质,用于存储计算机程序,计算机程序包括用于执行上述任意一种方法中的指令。第九方面,提供了一种包括指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任意一种方法。本申请实施例提出了一种图像处理方法和设备,可以利用图像的相机位姿或图像之间的相机位姿关系来来确定单目相机拍摄图像中的像素点的深度信息,可以避免进行即时定位与地图构建(simultaneouslocalizationandmapping,SLAM)进行定位和环境感知所带来的资源耗费较大的问题,并且可以避免采用价格较为昂贵的结构光摄像头或者对结构要求较高的双/多目摄像头,因此本申请实施例的方法可以在提高定位和环境感知精度的同时,可以降低资源耗费,以及节约成本等。附图说明为了更清楚地说明本申请实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1是根据本申请实施例的图像处理方法的示意性流程图。图2是根据本申请实施例的关键帧提取的示意性图。图3是根据本申请实施例的计算像素点的深度信息的示意性图。图4是根据本申请实施例的深度信息的验证方法的示意性图。图5是根据本申请实施例的颜色亮度信息的计算方法的示意性图。图6是根据本申请实施例的图像处理方法的示意性图。图7是根据本申请实施例的图像处理方法的示意性图。图8是根据本申请实施例的图像处理设备的示意性框图。图9是根据本申请实施例的图像处理设备的示意性框图。图10是根据本申请实施例的图像处理设备的示意性框图。图11是根据本申请实施例的图像处理设备的示意性框图。图12是根据本申请实施例的图像处理设备的示意性框图。具体实施方式下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。需要说明的是,本申请实施例中当一组件与另一组件“固定连接”或“连接”,或者,一组件“固定于”另一组件时,它可以直接在另一组件上,或者也可以存在居中的组件。应理解,本文中的具体的例子只是为了帮助本领域技术人员更好地理解本公开实施例,而非限制本公开实施例的范围。本专利技术实施例可以应用于各种类型的可移动设备。本专利技术实施例中的可移动设备可以在任何合适的环境下移动,例如,空气中(例如,定翼飞机、旋翼飞机,或既没有定翼也没有旋翼的飞机)、水中(例如,轮船或潜水艇)、陆地上(例如,汽车或火车)、太空(例如,太空飞机、卫星或探测器),以及以上各种环境的任何组合。可移动设备可以是飞机,例如无人机(UnmannedAerialVehicle,简称为“UAV”)。在一些实施例中,可移动设备可以承载生命体,例如,人或动物。除了上述提到的可移动设备,本专利技术实施例可以应用于其它具有单目摄像头的载具,例如虚拟现实(VirtualReality,VR)/增强现实(AugmentedReality,AR)眼镜等设备。非结构光的单目(单个摄像头)相机同时兼有重量轻、体积小、价格低廉和功耗低的特点,但是利用单目相机得到的图像需要较为复杂的计算过程,才能得到较好的定位和环境感知结果。具体地,可以使用单目相机拍摄的图像做即时定位与地图构建(simultaneouslocalizationandmapping,SLAM),但是SLAM计算资源耗费比较大,在无人机上难以实现。可选地,对于相机而言,相机模型可以表征为以下式1:其中,[u,v,1]T表本文档来自技高网...

【技术保护点】
1.一种图像处理方法,其特征在于,包括:获取单目摄像头拍摄的多帧图像;根据相机拍摄所述多帧图像时的位姿关系,从所述多帧图像中,提取多个关键帧图像;利用相机拍摄所述多个关键帧图像时的位姿,计算所述多个关键帧图像中的特征点的深度信息。

【技术特征摘要】
【国外来华专利技术】1.一种图像处理方法,其特征在于,包括:获取单目摄像头拍摄的多帧图像;根据相机拍摄所述多帧图像时的位姿关系,从所述多帧图像中,提取多个关键帧图像;利用相机拍摄所述多个关键帧图像时的位姿,计算所述多个关键帧图像中的特征点的深度信息。2.根据权利要求1所述的方法,其特征在于,所述根据相机拍摄所述多帧图像时的位姿关系,从所述多帧图像中,提取多个关键帧图像,包括:从所述多帧图像中,提取第一个关键帧图像;获取相机拍摄所述多帧图像中的下一帧图像与上一个关键帧图像时的位姿关系;在相机拍摄所述下一帧图像与所述上一个关键帧图像时的位姿关系满足预设关系时,将所述下一帧图像确定为所述关键帧图像。3.根据权利要求2所述的方法,其特征在于,所述预设关系为:旋转角度小于或等于第一阈值;和/或,位置变化小于或等于第二阈值。4.根据权利要求2或3所述的方法,其特征在于,所述获取相机拍摄所述多帧图像中的下一帧图像与上一个关键帧图像时的位姿关系,包括:通过位姿关系累计的方式,得到相机拍摄所述下一帧图像与所述上一个关键帧图像时的位姿关系。5.根据权利要求2或3所述的方法,其特征在于,所述获取相机拍摄所述多帧图像中的下一帧图像与上一个关键帧图像时的位姿关系,包括:根据所述下一帧图像和所述上一个关键帧图像的位置和/或姿态,得到相机拍摄所述下一帧图像与所述上一个关键帧图像时的位姿关系。6.根据权利要求1至5中任一项所述的方法,其特征在于,所述多帧图像是连续的多帧运动姿态变化量小于或等于第三阈值的图像。7.根据权利要求1至6中任一项所述的方法,其特征在于,所述利用相机拍摄所述多个关键帧图像时的位姿,计算所述多个关键帧图像中的特征点的深度信息,包括:从所述多个关键帧图像中选择多个待处理的特征点;计算所述多个待处理的特征点中每个待处理的特征点在所述多个关键帧图像之间的相对位置,以及计算相机拍摄每个关键帧图像时的位姿;根据所述每个待处理的特征点在所述多个关键帧图像之间的相对位置,以及相机拍摄所述每个关键帧图像时的位姿,确定所述每个待处理的特征点的深度信息。8.根据权利要求7所述的方法,其特征在于,所述从所述多个关键帧图像中选择多个待处理的特征点,包括:从所述多个关键帧图像中选择多个初始特征点;计算所述多个初始特征点中每个初始特征点从第一关键帧图像到第二关键帧图像的第一光流;计算所述每个初始特征点从所述第二关键帧图像到所述第一关键帧图像的第二光流;将所述第一光流与所述第二光流之和的绝对值小于等于第四阈值对应的初始特征点,确定为所述待处理的特征点。9.根据权利要求7或8所述的方法,其特征在于,所述计算所述多个待处理的特征点中每个待处理的特征点在所述多个关键帧图像之间的相对位置,以及计算相机拍摄每个关键帧图像时的位姿,包括:利用集束调整算法,计算所述每个待处理的特征点在所述多个关键帧图像之间的相对位置,以及相机拍摄所述每个关键帧图像时的位姿。10.根据权利要求9所述的方法,其特征在于,所述利用集束调整算法,计算所述每个待处理的特征点在所述多个关键帧图像之间的相对位置,以及相机拍摄所述每个关键帧图像时的位姿,包括:将初始计算的位姿关系作为初始值,利用所述集束调整算法,计算所述每个待处理的特征点在所述多个关键帧图像之间的相对位置,以及相机拍摄所述每个关键帧图像时的位姿;其中,所述初始计算的位姿关系是相机拍摄所述多个关键帧图像时的位姿关系,且是利用视觉里程计、惯性测量单元和全球定位系统中的至少一种得到的。11.根据权利要求9或10所述的方法,其特征在于,所述计算所述多个待处理的特征点中每个待处理的特征点在所述多个关键帧图像之间的相对位置,以及计算相机拍摄每个关键帧图像时的位姿,还包括:利用初始计算的位姿关系,对利用所述集束调整算法计算的位姿中的位移进行缩放;其中,所述初始计算的位姿关系是相机拍摄所述多个关键帧图像时的位姿关系,且是利用视觉里程计、惯性测量单元和全球定位系统中的至少一种得到的。12.根据权利要求1至11中任一项所述的方法,其特征在于,所述方法还包括:根据所述多个关键帧图像中的特征点的深度信息,确定所述多个关键帧图像中每个关键帧图像的每个像素位置的深度信息。13.根据权利要求12所述的方法,其特征在于,所述根据所述多个关键帧图像中的特征点的深度信息,确定所述多个关键帧图像中每个关键帧图像的每个像素位置的深度信息,包括:根据所述多个关键帧图像中的特征点的深度信息,使用平均绝对差算法、误差平方和算法、绝对误差和算法、归一化积相关算法、序贯相似性检测算法或者绝对变换误差和算法,确定所述每个关键帧图像中每个像素位置的深度信息。14.根据权利要求12或13所述的方法,其特征在于,所述方法还包括:利用相机拍摄至少一个关键帧图像与其他关键帧图像时的位姿关系,对所述至少一个关键帧图像中的至少部分像素位置的深度信息进行验证。15.根据权利要求14所述的方法,其特征在于,所述对所述至少一个关键帧图像中的至少部分像素位置的深度信息进行验证,包括:利用第三关键帧图像的第一像素位置的深度信息,得到所述第一像素位置的3D位置;根据所述第一像素位置的3D位置,以及相机拍摄所述第三关键帧图像与第四关键帧图像时的位姿关系,得到所述第一像素位置在所述第四关键帧图像对应的第二像素位置;比较所述第一像素位置的颜色亮度值,以及所述第二像素位置的颜色亮度值之间的关系;根据比较结果,确定所述第一像素位置的深度信息的准确性。16.根据权利要求15所述的方法,其特征在于,在所述比较所述第一像素位置的颜色亮度值,以及所述第二像素位置的颜色亮度值之间的关系之前,所述对所述关键帧图像中的至少部分像素的深度信息进行验证,还包括:通过双线性插值运算的方式,得到所述第二像素位置的颜色亮度值。17.根据权利要求15或16的方法,其特征在于,所述根据比较结果,确定所述第一像素位置的深度信息的准确性,包括:在所述第一像素位置的颜色亮度值与所述第二像素位置的颜色亮度值的差值的绝对值大于或等于第五阈值时,确定所述第一像素位置的深度信息不准确。18.根据15至17中任一项所述的方法,其特征在于,所述方法还包括:在所述第三关键帧图像中的像素位置深度信息不准确的比例大于或等于第六阈值时,放弃计算得到的所述第三关键帧图像的深度信息。19.一种图像处理方法,其特征在于,包括:获取单目摄像头拍摄的多帧图像;利用相机拍摄所述多帧图像时的位姿,计算所述多帧图像中的特征点的深度信息;根据所述多帧图像中的特征点的深度信息,确定所述多帧图像中每帧图像的每个像素的深度信息。20.根据权利要求19所述的方法,其特征在于,所述利用相机拍摄所述多帧图像时的位姿,计算所述多帧图像中的特征点的深度信息,包括:从所述多帧图像中选择多个待处理的特征点;计算所述多个待处理的特征点中每个待处理的特征点在所述多帧图像之间的相对位置,以及计算相机在拍摄所述每帧图像时的位姿;根据所述每个待处理的特征点在所述多帧图像之间的相对位置,以及相机在拍摄所述每帧图像时的位姿,确定所述每个待处理的特征点的深度信息。21.根据权利要求20所述的方法,其特征在于,所述从所述多帧图像中选择多个待处理的特征点,包括:从所述多帧图像中选择多个初始特征点;计算所述多个初始特征点中每个初始特征点从第一图像到第二图像的第一光流;计算所述每个初始特征点从所述第二图像到所述第一图像的第二光流;将所述第一光流与所述第二光流之和的绝对值小于等于第一阈值对应的初始特征点,确定为所述待处理的特征点。22.根据权利要求19至21中任一项所述的方法,其特征在于,所述计算所述多个待处理的特征点中每个待处理的特征点在所述多帧图像之间的相对位置,以及计算相机拍摄所述每帧图像时的位姿,包括:利用集束调整算法,计算所述每个待处理的特征点在所述多帧图像之间的相对位置,以及相机拍摄所述每帧图像时的位姿。23.根据权利要求22所述的方法,其特征在于,所述利用集束调整算法,计算所述每个待处理的特征点在所述多帧图像之间的相对位置,以及相机拍摄所述每帧图像时的位姿,包括:将初始计算的位姿关系作为初始值,利用所述集束调整算法,计算所述每个待处理的特征点在所述多个关键帧图像之间的相对位置,以及相机拍摄所述每帧图像时的位姿;其中,所述初始计算的位姿关系是相机拍摄所述多个关键帧图像时的位姿关系,且是利用视觉里程计、惯性测量单元和全球定位系统中的至少一种得到的。24.根据权利要求22或23所述的方法,其特征在于,所述利用集束调整算法,计算所述每个待处理的特征点在所述多帧图像之间的相对位置,以及相机拍摄所述每帧图像时的位姿,还包括:利用初始计算的位姿关系,对利用所述集束调整算法计算的位姿中的位移进行缩放;其中,所述初始计算的位姿关系是相机拍摄所述多帧图像时的位姿关系,且是利用视觉里程计、惯性测量单元和全球定位系统中的至少一种得到的。25.根据权利要求19至24中任一项所述的方法,其特征在于,所述根据所述多帧图像中的特征点的深度信息,确定所述多帧图像中每帧图像的每个像素的深度信息,包括:根据所述多帧图像中的特征点的深度信息,使用平均绝对差算法、误差平方和算法、绝对误差和算法、归一化积相关算法、序贯相似性检测算法或者绝对变换误差和算法,确定所述每帧图像中每个像素位置的深度信息。26.根据权利要求19至25中任一项所述的方法,其特征在于,所述方法还包括:利用相机拍摄所述多帧图像中至少一帧图像与其他帧图像时的位姿关系,对所述至少一帧图像中的至少部分像素位置的深度信息进行验证。27.根据权利要求26所述的方法,其特征在于,所述对所述多帧图像中的至少一帧图像中的至少部分像素位置的深度信息进行验证,包括:利用第一图像的第一像素位置的深度信息,得到所述第一像素位置的3D位置;根据所述第一像素位置的3D位置,以及相机拍摄所述第一图像与第二图像时的位姿关系,得到所述第一像素位置在所述第二图像对应的第二像素位置;比较所述第一像素位置的颜色亮度值,以及所述第二像素位置的颜色亮度值之间的关系;根据比较结果,确定所述第一像素位置的深度信息的准确性。28.根据权利要求27所述的方法,其特征在于,在所述比较所述第一像素位置的颜色亮度值,以及所述第二像素位置的颜色亮度值之间的关系之前,所述对所述关键帧图像中的至少部分像素的深度信息进行验证,还包括:通过双线性插值运算的方式,得到所述第二像素位置的颜色亮度值。29.根据权利要求27或28的方法,其特征在于,所述根据比较结果,确定所述第一像素位置的深度信息的准确性,包括:在所述第一像素位置的颜色亮度值与所述第二像素位置的颜色亮度值的差值的绝对值大于或等于第二阈值时,确定所述第一像素位置的深度信息不准确。30.根据27至29中任一项所述的方法,其特征在于,所述方法还包括:在所述第一图像中的像素位置深度信息不准确的比例大于或等于第三阈值,放弃计算得到的所述第一图像的深度信息。31.一种图像处理方法,其特征在于,包括:获取单目摄像头拍摄的多帧图像;利用相机拍摄所述多帧图像时的位姿,确定所述多帧图像中每帧图像的每个像素的深度信息;利用相机拍摄所述多帧图像中至少一帧图像与其他帧图像时的位姿关系,对至少一帧图像中的至少部分像素位置的深度信息进行验证。32.根据权利要求31所述的方法,其特征在于,所述对所述多帧图像中的至少一帧图像中的至少部分像素位置的深度信息进行验证,包括:利用第一图像的第一像素位置的深度信息,得到所述第一像素位置的3D位置;根据所述第一像素位置的3D位置,以及相机拍摄所述第一图像与第二图像时的位姿关系,得到所述第一像素位置在所述第二图像对应的第二像素位置;比较所述第一像素位置的颜色亮度值,以及所述第二像素位置的颜色亮度值之间的关系;根据比较...

【专利技术属性】
技术研发人员:周游杨振飞刘洁
申请(专利权)人:深圳市大疆创新科技有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1