相机重定位方法及装置制造方法及图纸

本公开涉及一种相机重定位方法及装置。该相机重定位方法包括：通过共享层从相机获取的图像中提取图像特征；通过第一专门层根据图像特征确定并输出相机在第一坐标系中的位移；通过第二专门层根据图像特征确定并输出相机在第一坐标系中的姿态。本公开的相机重定位方法及装置，通过对神经网络进行分支，能够较好地处理相机重定位任务中的位移预测和姿态预测两个子任务之间的关系，达到位移预测和姿态预测两个子任务互不干扰的目的，能够大大地提高相机重定位的精度。

Camera repositioning method and apparatus

The present invention relates to a camera repositioning method and apparatus. Including the camera relocation method: by sharing image feature extraction of image layers from the camera; through the first special layer according to the displacement image feature determines and outputs in the first camera in the coordinate system; through the second special layer according to the characteristics of the image and determine the output of the camera in the coordinate system of attitude. The disclosed camera relocation method and device, through the branches of the neural network can well deal with the displacement prediction and re positioning task in camera attitude to predict the relationship between the two sub tasks, achieve the displacement prediction and attitude prediction two sub tasks do not interfere with each other at the same time, can greatly improve the accuracy of camera positioning.

【技术实现步骤摘要】
相机重定位方法及装置
本公开涉及计算机视觉
，尤其涉及一种相机重定位方法及装置。
技术介绍
近年来，除了通过GPS(GlobalPositionSystem，全球定位系统)、基站、蓝牙和Wi-Fi(WirelessFidelity，无线保真技术)进行定位外，越来越多的定位系统使用了视觉传感器。视觉传感器是指利用光学元件和成像装置获取外部环境图像信息的仪器。视觉传感器获取的视觉图像中包含底层的颜色、纹理特征以及高层的物体、场景特征，且视觉传感器价格低廉、使用广泛，越来越多地受到定位系统的青睐。近年来，借助计算机视觉技术的高速发展，基于视觉图像的定位技术得到了广泛的应用。相机重定位是指通过对相机拍摄的图像进行分析，计算相机在图像拍摄场景坐标系的位移和姿态。图1是相关技术示出的相机重定位的坐标系示意图。如图1所示，相机的位移可以通过向量r＝[X,Y,Z]来表示，相机的姿态可以通过xyz坐标系(全局坐标系)与x’y’z’坐标系(局部坐标系)之间的关系来表示。相关技术中，主要的相机重定位方法可以分为基于点特征的相机重定位方法和基于全图特征的相机重定位方法。基于点特征的相机重定位方法通过像素点特征来进行点坐标匹配，例如通过卷积神经网络进行点匹配，从而计算相机的姿态。基于全图特征的相机重定位方法通过将全图特征映射到高维特征空间来获得更好的对于相机位移、姿态的连续映射。利用卷积神经网络也可以不进行点匹配，直接处理图像回归得到相机的姿态。这类基于神经网络的相机重定位方法就是基于全图特征的相机重定位方法。相关技术中，基于神经网络实现端到端学习的相机重定位方法可以包括PoseNet网络结构(例如GoogLeNet、VGG-16网络结构等)，即可以通过在输入端读取一张相机拍摄的图像，而在输出端直接输出相机的位移和姿态。图2是相关技术中的GoogLeNet网络结构的示例性的框图。图3是相关技术中的VGG-16网络结构的示例性的框图。如图2和图3所示，GoogLeNet网络结构和VGG-16网络结构的每一层均以前一层的输出为输入，最终的表示位移和姿态的向量由同一个全连接层生成并输出。相机重定位方法可以认为是解决相机的位移预测和相机的姿态预测两个子任务。通过计算不同图像的位移和姿态，例如计算不同图像的3个位移变量和3个姿态变量之间的相关程度，可以发现两组变量(一组为位移变量，另一组为姿态变量)中，组内相关性要显著高于组间相关性。由此可以说明，尽管相机的位移和姿态之间是有关联的，但是位移和姿态之间也是有显著的差异性的。采用同一个全连接层同时预测相机的位移和姿态，这使得在神经网络的训练过程中，位移和姿态两组变量的训练效果的均衡变得非常重要，提高其中之一的预测效果往往使得另一者的效果降低。
技术实现思路
有鉴于此，本公开提出了一种相机重定位方法及装置，以准确地预测相机的位移和姿态。根据本公开的第一方面，提供了一种相机重定位方法，所述方法基于卷积神经网络，所述卷积神经网络包括共享层、第一专门层和第二专门层，所述方法包括：通过所述共享层从相机获取的图像中提取图像特征；通过所述第一专门层根据所述图像特征确定并输出所述相机在第一坐标系中的位移；通过所述第二专门层根据所述图像特征确定并输出所述相机在所述第一坐标系中的姿态。对于所述的相机重定位方法，在一种可能的实现方式中，所述共享层包括图像特征卷积层、图像特征池化层和图像特征生成模块中的至少一项。对于所述的相机重定位方法，在一种可能的实现方式中，所述第一专门层包括位移卷积层、位移池化层和位移特征生成模块中的至少一项，所述第一专门层还包括位移全连接层。对于所述的相机重定位方法，在一种可能的实现方式中，所述第二专门层包括姿态卷积层、姿态池化层和姿态特征生成模块中的至少一项，所述第二专门层还包括姿态全连接层。根据本公开的第二方面，提供了一种相机重定位装置，所述装置基于卷积神经网络，所述卷积神经网络包括共享层、第一专门层和第二专门层，所述装置包括：图像特征提取模块，用于通过所述共享层从相机获取的图像中提取图像特征；位移确定模块，用于通过所述第一专门层根据所述图像特征确定并输出所述相机在第一坐标系中的位移；姿态确定模块，用于通过所述第二专门层根据所述图像特征确定并输出所述相机在所述第一坐标系中的姿态。对于所述的相机重定位装置，在一种可能的实现方式中，所述共享层包括图像特征卷积层、图像特征池化层和图像特征生成模块中的至少一项。对于所述的相机重定位装置，在一种可能的实现方式中，所述第一专门层包括位移卷积层、位移池化层和位移特征生成模块中的至少一项，所述第一专门层还包括位移全连接层。对于所述的相机重定位装置，在一种可能的实现方式中，所述第二专门层包括姿态卷积层、姿态池化层和姿态特征生成模块中的至少一项，所述第二专门层还包括姿态全连接层。根据本公开的第三方面，提供了一种相机重定位装置，所述装置基于卷积神经网络，所述卷积神经网络包括共享层、第一专门层和第二专门层，所述装置包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：通过所述共享层从相机获取的图像中提取图像特征；通过所述第一专门层根据所述图像特征确定并输出所述相机在第一坐标系中的位移；通过所述第二专门层根据所述图像特征确定并输出所述相机在所述第一坐标系中的姿态。根据本公开的第四方面，提供了一种非易失性计算机可读存储介质，当所述存储介质中的指令由终端和/或服务器的处理器执行时，使得终端和/或服务器能够执行一种相机重定位方法，所述方法基于卷积神经网络，所述卷积神经网络包括共享层、第一专门层和第二专门层，所述方法包括：通过所述共享层从相机获取的图像中提取图像特征；通过所述第一专门层根据所述图像特征确定并输出所述相机在第一坐标系中的位移；通过所述第二专门层根据所述图像特征确定并输出所述相机在所述第一坐标系中的姿态。本公开的相机重定位方法及装置，通过共享层从相机获取的图像中提取图像特征，通过第一专门层根据图像特征确定并输出相机在第一坐标系中的位移，通过第二专门层根据图像特征确定并输出相机在第一坐标系中的姿态，由此通过对神经网络进行分支，能够较好地处理相机重定位任务中的位移预测和姿态预测两个子任务之间的关系，达到位移预测和姿态预测两个子任务互不干扰的目的，能够大大地提高相机重定位的精度。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。附图说明包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。图1是相关技术示出的相机重定位的坐标系示意图。图2是相关技术中的GoogLeNet网络结构的示例性的框图。图3是相关技术中的VGG-16网络结构的示例性的框图。图4是根据本公开一实施例的相机重定位方法的卷积神经网络的框图。图5是根据本公开一实施例的相机重定位方法的流程图。图6是根据本公开一实施例的基于GoogLeNet的分支网络结构的一示例性的框图。图7是根据本公开一实施例的基于VGG-16的分支网络结构的一示例性的框图。图8是根据本公开一实施例的相机重定位装置的框图。图9是根据本公开一实施例的相机重定位装置的框图。具体实施方式以下将参考附图详细说明本公本文档来自技高网...

【技术保护点】
一种相机重定位方法，其特征在于，所述方法基于卷积神经网络，所述卷积神经网络包括共享层、第一专门层和第二专门层，所述方法包括：通过所述共享层从相机获取的图像中提取图像特征；通过所述第一专门层根据所述图像特征确定并输出所述相机在第一坐标系中的位移；通过所述第二专门层根据所述图像特征确定并输出所述相机在所述第一坐标系中的姿态。

【技术特征摘要】
1.一种相机重定位方法，其特征在于，所述方法基于卷积神经网络，所述卷积神经网络包括共享层、第一专门层和第二专门层，所述方法包括：通过所述共享层从相机获取的图像中提取图像特征；通过所述第一专门层根据所述图像特征确定并输出所述相机在第一坐标系中的位移；通过所述第二专门层根据所述图像特征确定并输出所述相机在所述第一坐标系中的姿态。2.根据权利要求1所述的相机重定位方法，其特征在于，所述共享层包括图像特征卷积层、图像特征池化层和图像特征生成模块中的至少一项。3.根据权利要求1所述的相机重定位方法，其特征在于，所述第一专门层包括位移卷积层、位移池化层和位移特征生成模块中的至少一项，所述第一专门层还包括位移全连接层。4.根据权利要求1所述的相机重定位方法，其特征在于，所述第二专门层包括姿态卷积层、姿态池化层和姿态特征生成模块中的至少一项，所述第二专门层还包括姿态全连接层。5.一种相机重定位装置，其特征在于，所述装置基于卷积神经网络，所述卷积神经网络包括共享层、第一专门层和第二专门层，所述装置包括：图像特征提取模块，用于通过所述共享层从相机获取的图像中提取图像特征；位移确定模块，用于通过所述第一...

【专利技术属性】
技术研发人员：胡晓林，吴健，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11