The invention provides a method, device, device and computer readable storage medium for relocation using panoramic images, which relates to the field of image processing technology and can improve the accuracy of location using panoramic images. The method includes: acquiring panoramic image; preprocessing the panoramic image to obtain the subimage to be processed; inputting the subimage to be processed into the multipath convolution neural network to obtain the deep feature map of the subimage to be processed; rotating invariant pooling processing the deep feature map; and inputting the deep feature map after rotating invariant pooling processing to the deep feature map. In the full connection model, the output of the full connection model is regarded as the position information after relocation. The embodiment of the invention can improve the accuracy of positioning using panoramic images.
【技术实现步骤摘要】
利用全景图像进行重定位的方法、装置及设备
本专利技术涉及图像处理
,尤其涉及一种利用全景图像进行重定位的方法、装置、设备及计算机可读存储介质。
技术介绍
由于能够带给观者更广阔的视角,图像中包含更丰富的内容,因此全景图像的摄像头受到了越来越多的喜欢。现有技术中提出了一种利用卷积神经网络、通过对场景图像进行分析从而进行位置识别的方案。在该方案中,考察了在以下两种情况下,均沿着同一路线进行两次往返,第一次往返采集的图像数据用作训练数据集,第二次用作测试数据集。通过固定相机位置的方式采集训练及测试数据集,没有引入由于相机旋转带来的视角偏移。经测试,第二次往返进行数据采集过程中相机发生了不超过5米的横向位置偏移。在此方案中,通过固定相机位置的方式采集训练及测试数据集,没有引入由于相机旋转带来的视角偏移。然而,在实际应用中,相机很可能发生水平旋转,而这将在一定程度上影响定位结果的准确性。
技术实现思路
有鉴于此,本专利技术提供一种利用全景图像进行重定位的方法、装置、设备及计算机可读存储介质,能够提高利用全景图像进行定位的准确性。为解决上述技术问题,一方面,本专利技术提供一种利用全景图像进行重定位的方法,包括:获取全景图像;对所述全景图像进行预处理,获得待处理子图像;将所述待处理子图像输入到多路径卷积神经网络中,获得所述待处理子图像的深层特征图;对所述深层特征图进行旋转不变池化处理;将经过旋转不变池化处理后的深层特征图输入到全连接模型中,将所述全连接模型的输出作为重定位后的位置信息。其中,所述对所述全景图像进行预处理,获得待处理子图像,包括:将所述全景图像的等距柱状 ...
【技术保护点】
1.一种利用全景图像进行重定位的方法,其特征在于,包括:获取全景图像;对所述全景图像进行预处理,获得待处理子图像;将所述待处理子图像输入到多路径卷积神经网络中,获得所述待处理子图像的深层特征图;对所述深层特征图进行旋转不变池化处理;将经过旋转不变池化处理后的深层特征图输入到全连接模型中,将所述全连接模型的输出作为重定位后的位置信息。
【技术特征摘要】
1.一种利用全景图像进行重定位的方法,其特征在于,包括:获取全景图像;对所述全景图像进行预处理,获得待处理子图像;将所述待处理子图像输入到多路径卷积神经网络中,获得所述待处理子图像的深层特征图;对所述深层特征图进行旋转不变池化处理;将经过旋转不变池化处理后的深层特征图输入到全连接模型中,将所述全连接模型的输出作为重定位后的位置信息。2.根据权利要求1所述的方法,其特征在于,所述对所述全景图像进行预处理,获得待处理子图像,包括:将所述全景图像的等距柱状投影映射到单位球面;从所述单位球面的球面中心点将所述单位球面映射到外切立方体;展开所述外切立方体,得到待处理子图像,其中所述待处理子图像至少包括所述全景图像的中间区域图像。3.根据权利要求2所述的方法,其特征在于,所述待处理子图像还包括:所述全景图像的顶部区域图像;或者,所述待处理子图像还包括:所述全景图像的顶部区域图像和底部区域图像。4.根据权利要求2所述的方法,其特征在于,当所述待处理子图像只包括所述全景图像的中间区域图像时,所述将所述待处理子图像输入到多路径卷积神经网络中,获得所述待处理子图像的深层特征图,包括:将所述中间区域图像作为所述多路径卷积神经网络的输入,加载所述多路径卷积神经网络的卷积层权值,将所述多路径卷积神经网络的输出作为所述中间区域图像的深层特征图。5.根据权利要求3所述的方法,其特征在于,当所述待处理子图像包括所述全景图像的中间区域图像、顶部区域图像时,所述将所述待处理子图像输入到多路径卷积神经网络中,获得所述待处理子图像的深层特征图,包括:将所述中间区域图像、顶部区域图像分别作为所述多路径卷积神经网络两条路径的输入,加载所述多路径卷积神经网络的卷积层权值,将所述两条路径对应的输出分别作为所述中间区域图像、顶部区域图像的深层特征图。6.根据权利要求3所述的方法,其特征在于,当所述待处理子图像包括所述全景图像的中间区域图像、顶部区域图像、底部区域图像时,所述将所述待处理子图像输入到多路径卷积神经网络中,获得所述待处理子图像的深层特征图,包括:将所述中间区域图像、顶部区域图像、底部区域图像分别作为所述多路径卷积神经网络三条路径的输入,加载所述多路径卷积神经网络的卷积层权值,将所述多路径卷积神经网络的三条路径对应的输出分别作为所述中间区域图像、顶部区域图像、底部区域图像的深层特征图。7.根据权利要求3所述的方法,其特征在于,当所述待处理子图像包括所述全景图像的中间区域图像时,所述对所述深层特征图进行旋转不变池化处理,包括:提取所述中间区域对应的深层特征图的行最大值,作为所述全景图像的中间区域对应的新的特征图;当所述待处理子图像包括所述全景图像的顶部区域图像和/或所述全景图像的底部区域图像时,所...
【专利技术属性】
技术研发人员:历宁,李朝峰,刘弘毅,刘丽艳,
申请(专利权)人:株式会社理光,
类型:发明
国别省市:日本,JP
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。