基于移动摄像头的图像处理方法和装置制造方法及图纸

本申请实施例公开了基于移动摄像头的图像处理方法和装置。该方法的一具体实施方式包括：获取该移动摄像头拍摄的当前帧，确定该当前帧包含的目标对象的特征点的特征点位置；利用该特征点位置，对该当前帧与三维地图进行特征点的匹配，以确定该当前帧所包含的该目标对象的特征点的空间位置；基于所确定的特征点位置和空间位置，确定该当前帧相对于包含该目标对象的历史帧的该移动摄像头的位姿变化。本申请实施例能够对当前帧与三维地图进行特征点的匹配，追踪到各帧的摄像头的位姿变化。并且，通过当前帧的平面特征，准确地得到特征点的空间位置。

【技术实现步骤摘要】
基于移动摄像头的图像处理方法和装置
本申请实施例涉及计算机
，具体涉及互联网
，尤其涉及基于移动摄像头的图像处理方法和装置。
技术介绍
增强现实(AugmentedReality，简称AR)技术是一种在现实世界场景中叠加图像、视频和三维渲染模型的技术。随着电子产品计算能力的提升，AR的应用越来越广泛。AR技术现在已经被用于生活中的各个领域，AR技术的普及与应用给人们的生活带来了耳目一新的体验，同时也方便了人们的生活。
技术实现思路
本申请实施例提出了基于移动摄像头的图像处理方法和装置。第一方面，本申请实施例提供了一种基于移动摄像头的图像处理方法，包括：获取移动摄像头拍摄的当前帧，确定当前帧包含的目标对象的特征点的特征点位置；利用特征点位置，对当前帧与三维地图进行特征点的匹配，以确定当前帧所包含的目标对象的特征点的空间位置，其中，三维地图包括目标对象的多个特征点的空间位置；基于所确定的特征点位置和空间位置，确定当前帧相对于包含目标对象的历史帧的移动摄像头的位姿变化。在一些实施例中，三维地图通过如下的构建步骤构建：获取移动摄像头拍摄的包含目标对象的至少两帧图像，其中，至少两帧图像包括第一图像帧和第二图像帧；响应于对第一图像帧包含的目标对象的特征点和第二图像帧包含的目标对象的特征点匹配成功，确定移动摄像头自拍摄第一图像帧至拍摄第二图像帧的位姿变化为第一位姿变化；基于第一图像帧、第二图像帧和第一位姿变化，构建三维地图。在一些实施例中，位姿变化包括移动摄像头的旋转变化和平移变化；响应于对第一图像帧包含的目标对象的特征点和第二图像帧包含的目标对象的特征点匹配成功，确定移动摄像头自拍摄第一图像帧至拍摄第二图像帧的位姿变化为第一位姿变化，包括：基于第一图像帧包含的目标对象的特征点的描述子和第二图像帧包含的目标对象的特征点的描述子，对第一图像帧包含的目标对象的特征点和第二图像帧包含的目标对象的特征点进行匹配；响应于匹配成功，采用对极约束确定第二图像帧相对于第一图像帧的移动摄像头的第一位姿变化。在一些实施例中，至少两帧图像还包括第三图像帧，基于第一图像帧、第二图像帧和第一位姿变化，构建三维地图，包括：将第三图像帧相对于在先拍摄的图像帧的移动摄像头的位姿变化确定为第二位姿变化，其中，至少两帧图像包括在先拍摄的图像；基于第一图像帧、第二图像帧、第三图像帧，以及第一位姿变化、第二位姿变化，构建三维地图。在一些实施例中，在构建三维地图之后，方法还包括：获取移动摄像头拍摄的第四图像帧，将第四图像帧的特征点的描述子与参考图像的特征点的描述子进行匹配，其中，参考图像包含目标对象；响应于确定第四图像帧与参考图像存在预设数量以上的特征点相匹配，利用最小化重投影误差，调整三维地图。第二方面，本申请实施例提供了一种基于移动摄像头的图像处理装置，包括：获取单元，被配置成获取移动摄像头拍摄的当前帧，确定当前帧包含的目标对象的特征点的特征点位置；第一确定单元，被配置成利用特征点位置，对当前帧与三维地图进行特征点的匹配，以确定当前帧所包含的目标对象的特征点的空间位置，其中，三维地图包括目标对象的多个特征点的空间位置；第二确定单元，被配置成基于所确定的特征点位置和空间位置，确定当前帧相对于包含目标对象的历史帧的移动摄像头的位姿变化。在一些实施例中，装置还包括地图构建单元；地图构建单元包括：获取子单元，被配置成获取移动摄像头拍摄的包含目标对象的至少两帧图像，其中，至少两帧图像包括第一图像帧和第二图像帧；确定子单元，被配置成响应于对第一图像帧包含的目标对象的特征点和第二图像帧包含的目标对象的特征点匹配成功，确定移动摄像头自拍摄第一图像帧至拍摄第二图像帧的位姿变化为第一位姿变化；构建子单元，被配置成基于第一图像帧、第二图像帧和第一位姿变化，构建三维地图。在一些实施例中，位姿变化包括移动摄像头的旋转变化和平移变化；确定子单元，进一步被配置成：基于第一图像帧包含的目标对象的特征点的描述子和第二图像帧包含的目标对象的特征点的描述子，对第一图像帧包含的目标对象的特征点和第二图像帧包含的目标对象的特征点进行匹配；响应于匹配成功，采用对极约束确定第二图像帧相对于第一图像帧的移动摄像头的第一位姿变化。在一些实施例中，至少两帧图像还包括第三图像帧，构建子单元，进一步被配置成：将第三图像帧相对于在先拍摄的图像帧的移动摄像头的位姿变化确定为第二位姿变化，其中，至少两帧图像包括在先拍摄的图像；基于第一图像帧、第二图像帧、第三图像帧，以及第一位姿变化、第二位姿变化，构建三维地图。在一些实施例中，装置还包括：匹配单元，被配置成在构建三维地图之后，获取移动摄像头拍摄的第四图像帧，将第四图像帧的特征点的描述子与参考图像的特征点的描述子进行匹配，其中，参考图像包含目标对象；调整单元，被配置成响应于确定第四图像帧与参考图像存在预设数量以上的特征点相匹配，利用最小化重投影误差，调整三维地图。第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如基于移动摄像头的图像处理方法中任一实施例的方法。第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如基于移动摄像头的图像处理方法中任一实施例的方法。本申请实施例提供的基于移动摄像头的图像处理方案，首先，获取移动摄像头拍摄的当前帧，确定当前帧包含的目标对象的特征点的特征点位置。之后，利用特征点位置，对当前帧与三维地图进行特征点的匹配，以确定当前帧所包含的目标对象的特征点的空间位置，其中，三维地图包括目标对象的多个特征点的空间位置。最后，基于所确定的特征点位置和空间位置，确定当前帧相对于包含目标对象的历史帧的移动摄像头的位姿变化。本申请实施例提供的方案能够对当前帧与三维地图进行特征点的匹配，追踪到各帧的摄像头的位姿变化。并且，通过当前帧的平面特征，准确地得到特征点的空间位置。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1是本申请可以应用于其中的示例性系统架构图；图2a是根据本申请的基于移动摄像头的图像处理方法的一个实施例的流程图；图2b是根据本申请的基于移动摄像头的图像处理方法的一个三维地图的示意图；图3是根据本申请的基于移动摄像头的图像处理方法的一个应用场景的示意图；图4是根据本申请的基于移动摄像头的图像处理方法的又一个实施例的流程图；图5是根据本申请的基于移动摄像头的图像处理装置的一个实施例的结构示意图；图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描本文档来自技高网...

【技术保护点】
1.一种基于移动摄像头的图像处理方法，包括：/n获取所述移动摄像头拍摄的当前帧，确定所述当前帧包含的目标对象的特征点的特征点位置；/n利用所述特征点位置，对所述当前帧与三维地图进行特征点的匹配，以确定所述当前帧所包含的所述目标对象的特征点的空间位置，其中，所述三维地图包括所述目标对象的多个特征点的空间位置；/n基于所确定的特征点位置和空间位置，确定所述当前帧相对于包含所述目标对象的历史帧的所述移动摄像头的位姿变化。/n

【技术特征摘要】
1.一种基于移动摄像头的图像处理方法，包括：
获取所述移动摄像头拍摄的当前帧，确定所述当前帧包含的目标对象的特征点的特征点位置；
利用所述特征点位置，对所述当前帧与三维地图进行特征点的匹配，以确定所述当前帧所包含的所述目标对象的特征点的空间位置，其中，所述三维地图包括所述目标对象的多个特征点的空间位置；
基于所确定的特征点位置和空间位置，确定所述当前帧相对于包含所述目标对象的历史帧的所述移动摄像头的位姿变化。


2.根据权利要求1所述的方法，其中，所述三维地图通过如下的构建步骤构建：
获取所述移动摄像头拍摄的包含所述目标对象的至少两帧图像，其中，所述至少两帧图像包括第一图像帧和第二图像帧；
响应于对所述第一图像帧包含的所述目标对象的特征点和所述第二图像帧包含的所述目标对象的特征点匹配成功，确定所述移动摄像头自拍摄第一图像帧至拍摄第二图像帧的位姿变化为第一位姿变化；
基于所述第一图像帧、所述第二图像帧和所述第一位姿变化，构建所述三维地图。


3.根据权利要求2所述的方法，其中，位姿变化包括所述移动摄像头的旋转变化和平移变化；
所述响应于对所述第一图像帧包含的所述目标对象的特征点和所述第二图像帧包含的所述目标对象的特征点匹配成功，确定所述移动摄像头自拍摄第一图像帧至拍摄第二图像帧的位姿变化为第一位姿变化，包括：
基于所述第一图像帧包含的所述目标对象的特征点的描述子和所述第二图像帧包含的所述目标对象的特征点的描述子，对所述第一图像帧包含的所述目标对象的特征点和所述第二图像帧包含的所述目标对象的特征点进行匹配；
响应于匹配成功，采用对极约束确定所述第二图像帧相对于所述第一图像帧的所述移动摄像头的所述第一位姿变化。


4.根据权利要求2所述的方法，其中，所述至少两帧图像还包括第三图像帧，所述基于所述第一图像帧、所述第二图像帧和所述第一位姿变化，构建所述三维地图，包括：
将所述第三图像帧相对于在先拍摄的图像帧的所述移动摄像头的位姿变化确定为第二位姿变化，其中，所述至少两帧图像包括所述在先拍摄的图像；
基于所述第一图像帧、所述第二图像帧、所述第三图像帧，以及所述第一位姿变化、所述第二位姿变化，构建所述三维地图。


5.根据权利要求2之一所述的方法，其中，在所述构建所述三维地图之后，所述方法还包括：
获取所述移动摄像头拍摄的第四图像帧，将所述第四图像帧的特征点的描述子与参考图像的特征点的描述子进行匹配，其中，所述参考图像包含所述目标对象；
响应于确定所述第四图像帧与所述参考图像存在预设数量以上的特征点相匹配，利用最小化重投影误差，调整所述三维地图。


6.一种基于移动摄像头的图像处理装置，包括：
获取单元，被配置成获取所述移动摄像头拍摄的当前帧，确定所述当前帧包含的目标对象的特征点的特征点位置；

【专利技术属性】
技术研发人员：刘享军，吕晓磊，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11