利用全景图像进行重定位的方法、装置及设备制造方法及图纸

本发明专利技术提供一种利用全景图像进行重定位的方法、装置、设备及计算机可读存储介质，涉及图像处理技术领域，能够提高利用全景图像进行定位的准确性。所述方法包括：获取全景图像；对所述全景图像进行预处理，获得待处理子图像；将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图；对所述深层特征图进行旋转不变池化处理；将经过旋转不变池化处理后的深层特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息。本发明专利技术实施例可提高利用全景图像进行定位的准确性。

The Method, Device and Equipment of Relocation Using Panoramic Image

The invention provides a method, device, device and computer readable storage medium for relocation using panoramic images, which relates to the field of image processing technology and can improve the accuracy of location using panoramic images. The method includes: acquiring panoramic image; preprocessing the panoramic image to obtain the subimage to be processed; inputting the subimage to be processed into the multipath convolution neural network to obtain the deep feature map of the subimage to be processed; rotating invariant pooling processing the deep feature map; and inputting the deep feature map after rotating invariant pooling processing to the deep feature map. In the full connection model, the output of the full connection model is regarded as the position information after relocation. The embodiment of the invention can improve the accuracy of positioning using panoramic images.

【技术实现步骤摘要】
利用全景图像进行重定位的方法、装置及设备
本专利技术涉及图像处理
，尤其涉及一种利用全景图像进行重定位的方法、装置、设备及计算机可读存储介质。
技术介绍
由于能够带给观者更广阔的视角，图像中包含更丰富的内容，因此全景图像的摄像头受到了越来越多的喜欢。现有技术中提出了一种利用卷积神经网络、通过对场景图像进行分析从而进行位置识别的方案。在该方案中，考察了在以下两种情况下，均沿着同一路线进行两次往返，第一次往返采集的图像数据用作训练数据集，第二次用作测试数据集。通过固定相机位置的方式采集训练及测试数据集，没有引入由于相机旋转带来的视角偏移。经测试，第二次往返进行数据采集过程中相机发生了不超过5米的横向位置偏移。在此方案中，通过固定相机位置的方式采集训练及测试数据集，没有引入由于相机旋转带来的视角偏移。然而，在实际应用中，相机很可能发生水平旋转，而这将在一定程度上影响定位结果的准确性。
技术实现思路
有鉴于此，本专利技术提供一种利用全景图像进行重定位的方法、装置、设备及计算机可读存储介质，能够提高利用全景图像进行定位的准确性。为解决上述技术问题，一方面，本专利技术提供一种利用全景图像进行重定位的方法，包括：获取全景图像；对所述全景图像进行预处理，获得待处理子图像；将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图；对所述深层特征图进行旋转不变池化处理；将经过旋转不变池化处理后的深层特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息。其中，所述对所述全景图像进行预处理，获得待处理子图像，包括：将所述全景图像的等距柱状投影映射到单位球面；从所述单位球面的球面中心点将所述单位球面映射到外切立方体；展开所述外切立方体，得到待处理子图像，其中所述待处理子图像至少包括所述全景图像的中间区域图像。其中，所述待处理子图像还包括：所述全景图像的顶部区域图像；或者，所述待处理子图像还包括：所述全景图像的顶部区域图像和底部区域图像。其中，当所述待处理子图像只包括所述全景图像的中间区域图像时，所述将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图，包括：将所述中间区域图像作为所述多路径卷积神经网络的输入，加载所述多路径卷积神经网络的卷积层权值，将所述多路径卷积神经网络的输出作为所述中间区域图像的深层特征图。其中，当所述待处理子图像包括所述全景图像的中间区域图像、顶部区域图像时，所述将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图，包括：将所述中间区域图像、顶部区域图像分别作为所述多路径卷积神经网络两条路径的输入，加载所述多路径卷积神经网络的卷积层权值，将所述两条路径对应的输出分别作为所述中间区域图像、顶部区域图像的深层特征图。其中，当所述待处理子图像包括所述全景图像的中间区域图像、顶部区域图像、底部区域图像时，所述将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图，包括：将所述中间区域图像、顶部区域图像、底部区域图像分别作为所述多路径卷积神经网络三条路径的输入，加载所述多路径卷积神经网络的卷积层权值，将所述多路径卷积神经网络的三条路径对应的输出分别作为所述中间区域图像、顶部区域图像、底部区域图像的深层特征图。其中，当所述待处理子图像包括所述全景图像的中间区域图像时，所述对所述深层特征图进行旋转不变池化处理，包括：提取所述中间区域对应的深层特征图的行最大值，作为所述全景图像的中间区域对应的新的特征图；当所述待处理子图像包括所述全景图像的顶部区域图像和/或所述全景图像的底部区域图像时，所述对所述深层特征图进行旋转不变池化处理，包括：提取所述顶部区域图像和/或所述全景图像的底部区域图像的深层特征图的最大值，作为所述顶部和/或底部区域对应的新的特征图。其中，当所述待处理子图像包括所述全景图像的中间区域图像、顶部区域图像时，所述将经过旋转不变池化处理后的深层特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息，包括：将所述中间区域图像的新的特征图、所述顶部区域图像的新的特征图进行拼接，获得拼接后的特征图；将所述拼接后的特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息。其中，当所述待处理子图像包括所述全景图像的中间区域图像、顶部区域图像、底部区域图像时，所述将经过旋转不变池化处理后的深层特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息，包括：将所述中间区域图像的新的特征图、所述顶部区域图像的新的特征图、所述底部区域图像的新的特征图进行拼接，获得拼接后的特征图；将所述拼接后的特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息。第二方面，本专利技术实施例提供一种利用全景图像进行重定位的装置，包括：图像获取模块，用于获取全景图像；图像预处理模块，用于对所述全景图像进行预处理，获得待处理子图像；第一图像处理模块，用于将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图；第二图像处理模块，用于对所述深层特征图进行旋转不变池化处理；重定位模块，用于将经过旋转不变池化处理后的深层特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息。第三方面，本专利技术实施例提供一种电子设备，包括：处理器；和存储器，在所述存储器中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：获取全景图像；对所述全景图像进行预处理，获得待处理子图像；将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图；对所述深层特征图进行旋转不变池化处理；将经过旋转不变池化处理后的深层特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息。第四方面，本专利技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器运行时，使得所述处理器执行以下步骤：获取全景图像；对所述全景图像进行预处理，获得待处理子图像；将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图；对所述深层特征图进行旋转不变池化处理；将经过旋转不变池化处理后的深层特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息。本专利技术的上述技术方案的有益效果如下：在本专利技术实施例中，将输入的全景图像经预处理后获得待处理子图像，而后将待处理子图像经多路径卷积神经网络后获得深层特征图。在通过对深层特征图进行旋转不变池化处理后，输入到全连接模型中，进而确定重定位后的位置信息。通过以上描述可以看出，将全景图像进行预处理，可去除图像中畸变，降低畸变对定位准确性的影响；而经预处理后的待处理子图像经卷积神经网络提取特征、对特征进行旋转不变池化处理，将处理后的特征图输入到全连接模型并回归出位置信息，可降低相机旋转对定位准确性的影响。附图说明图1为本专利技术实施例的全景图像拼接方法的流程图；图2为本专利技术实施例的全景图像提取场景的示意图；图3为本专利技术实施例的基于卷积神经网络及全景输入图像的重定位流程图；图4为本专利技术实施例的全景图像拼接方法的流程图；图5为全景图像的本文档来自技高网...

【技术保护点】
1.一种利用全景图像进行重定位的方法，其特征在于，包括：获取全景图像；对所述全景图像进行预处理，获得待处理子图像；将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图；对所述深层特征图进行旋转不变池化处理；将经过旋转不变池化处理后的深层特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息。

【技术特征摘要】
1.一种利用全景图像进行重定位的方法，其特征在于，包括：获取全景图像；对所述全景图像进行预处理，获得待处理子图像；将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图；对所述深层特征图进行旋转不变池化处理；将经过旋转不变池化处理后的深层特征图输入到全连接模型中，将所述全连接模型的输出作为重定位后的位置信息。2.根据权利要求1所述的方法，其特征在于，所述对所述全景图像进行预处理，获得待处理子图像，包括：将所述全景图像的等距柱状投影映射到单位球面；从所述单位球面的球面中心点将所述单位球面映射到外切立方体；展开所述外切立方体，得到待处理子图像，其中所述待处理子图像至少包括所述全景图像的中间区域图像。3.根据权利要求2所述的方法，其特征在于，所述待处理子图像还包括：所述全景图像的顶部区域图像；或者，所述待处理子图像还包括：所述全景图像的顶部区域图像和底部区域图像。4.根据权利要求2所述的方法，其特征在于，当所述待处理子图像只包括所述全景图像的中间区域图像时，所述将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图，包括：将所述中间区域图像作为所述多路径卷积神经网络的输入，加载所述多路径卷积神经网络的卷积层权值，将所述多路径卷积神经网络的输出作为所述中间区域图像的深层特征图。5.根据权利要求3所述的方法，其特征在于，当所述待处理子图像包括所述全景图像的中间区域图像、顶部区域图像时，所述将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图，包括：将所述中间区域图像、顶部区域图像分别作为所述多路径卷积神经网络两条路径的输入，加载所述多路径卷积神经网络的卷积层权值，将所述两条路径对应的输出分别作为所述中间区域图像、顶部区域图像的深层特征图。6.根据权利要求3所述的方法，其特征在于，当所述待处理子图像包括所述全景图像的中间区域图像、顶部区域图像、底部区域图像时，所述将所述待处理子图像输入到多路径卷积神经网络中，获得所述待处理子图像的深层特征图，包括：将所述中间区域图像、顶部区域图像、底部区域图像分别作为所述多路径卷积神经网络三条路径的输入，加载所述多路径卷积神经网络的卷积层权值，将所述多路径卷积神经网络的三条路径对应的输出分别作为所述中间区域图像、顶部区域图像、底部区域图像的深层特征图。7.根据权利要求3所述的方法，其特征在于，当所述待处理子图像包括所述全景图像的中间区域图像时，所述对所述深层特征图进行旋转不变池化处理，包括：提取所述中间区域对应的深层特征图的行最大值，作为所述全景图像的中间区域对应的新的特征图；当所述待处理子图像包括所述全景图像的顶部区域图像和/或所述全景图像的底部区域图像时，所...

【专利技术属性】
技术研发人员：历宁，李朝峰，刘弘毅，刘丽艳，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本,JP