用于VSLAM前端处理的优化方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术涉及一种用于VSLAM前端处理的优化方法、装置、电子设备及存储介质。该方法通过对接收到的视频信息进行处理，得到多帧图像；利用深度神经网络分别对每帧图像内的物体进行识别，判断所述多帧图像中任意相邻两帧图像内的每个物体是否发生位姿变换；对相邻两帧图像中发生位姿变换的物体对应的图像进行处理，以完成优化。由此，减少了发生位姿变换的物体的再次运算，只需要对未发生位姿变换的物体进行计算即可，从而有效的降低了对处理器的处理能力的要求和对存储器存储空间大要求，有效保证VSLAM运算结果的实时性和准确性。

【技术实现步骤摘要】
用于VSLAM前端处理的优化方法、装置、电子设备及存储介质
本专利技术涉及计算机应用
，特别地涉及一种用于VSLAM前端处理的优化方法、装置、电子设备及存储介质。
技术介绍
基于视觉的同时定位和构图(即：视觉导航)(VisualSimultaneousLocalizationandMapping，VSLAM)主要是利用摄像机对周围环境进行图像采集，并对图像进行滤波和计算，完成自身位置确定和路径识别，并做出导航决策的导航技术。随着当前嵌入式设备运算能力的大幅提升，部分VLSAM算法已经在机器人、无人车等智能设备得到广泛运行。VSLAM可分为前端(视觉里程计)、后端(非线性优化)、建图、回环检测四个部分。其中，前端主要进行图像处理，如特征点提取和匹配，在现有前端处理过程中主要存在的问题是：对采集的所有视频信息均需要进行处理，难以保证处理结果的实时性，需要较高性能的处理器处理能力和占用较大的内存空间，难以能保证前端的计算不会影响整个VSLAM的实时性和准确性；同时，当环境中有运动物体存在时，如运动的人、动物(猫，狗)、车辆或风吹动的窗帘等等，会导致特征点匹配方法存在误匹配的情况发生，导致VSLAM的运行结果不准确和存在较大的误差。
技术实现思路
本专利技术提供一种用于VSLAM前端处理的优化方法、装置、电子设备及存储介质，以解决现有的VSLAM算法运行效果较差的问题。为解决上述技术问题，本专利技术实施例提出如下技术方案：本专利技术第一方面提供一种用于VSLAM前端处理的优化方法，包括：对接收到的视频信息进行处理，得到多帧图像；利用深度神经网络分别对每帧图像内的物体进行识别，得到识别结果，其中，识别结果中包括物体的种类信息和位置信息；判断所述多帧图像中任意相邻两帧图像内的每个物体是否发生位姿变换；对相邻两帧图像中发生位姿变换的物体对应的图像进行处理，以完成优化。结合第一方面，在第一方面的第一种可能的实现方式中，上述执行所述判断所述多帧图像中任意相邻两帧图像内的每个物体是否发生位姿变换的步骤包括：计算所述多帧图像中任意相邻两帧图像内的每个物体的位姿变换矩阵，其中，所述位姿变换矩阵包括对应物体的旋转矩阵和平移矩阵；根据旋转矩阵和位移矩阵判断各个物体是否发生位姿变换。结合第一方面，在第一方面的第二种可能的实现方式中，上述执行判断所述多帧图像中任意相邻两帧图像内的每个物体是否发生位姿变换的步骤包括：提取所述多帧图像中任意相邻两帧图像内每个物体的特征点，并进行匹配；利用匹配的特征点分别计算该相邻两帧图像内每个物体的位姿变换矩阵；分别计算该相邻两帧图像内各个物体的位姿变换矩阵的旋转矩阵和平移矩阵，并根据旋转矩阵和平移矩阵判断每个物体是否发生位姿变换。结合第一方面，在第一方面的第三种可能的实现方式中，上述位姿变换矩阵为：F＝K-TtxRK-1其中，F是位姿变换矩阵，K是相机内参，tx是平移矩阵，R是旋转矩阵。结合第一方面，在第一方面的第四种可能的实现方式中，上述方法包括：对每个物体在任意相邻两帧图像内的位姿变换矩阵分别进行计算，得到上帧图像内的第一旋转矩阵和第一平移矩阵，以及得到下帧图像内的第二旋转矩阵和第二平移矩；分别判断所述第一旋转矩阵和所述第二旋转矩阵，以及所述第一平移矩阵和所述第二平移矩阵是否一致，若一致，则确定该物体未发生位移，若不一致，则确定该物体发生位移。结合第一方面，在第一方面的第五种可能的实现方式中，上述执行对相邻两帧图像中发生位姿变换的物体对应的图像进行处理，以完成优化的步骤包括：在各帧图像中移除相邻两帧图像中发生位姿变换的物体对应的图像。结合第一方面，在第一方面的第六种可能的实现方式中，上述执行对相邻两帧图像中发生位姿变换的物体对应的图像进行处理，以完成优化的步骤包括：在各帧图像中，对相邻两帧图像中发生位姿变换的物体对应图像的特征点进行标记，以不再识别该物体。本专利技术第二方面提供一种用于VSLAM前端处理的优化装置，包括：接收模块，用于对接收到的视频信息进行处理，得到多帧图像；识别模块，用于利用深度神经网络分别对每帧图像内的物体进行识别，得到识别结果，其中，识别结果中包括物体的种类信息和位置信息；判断模块，用于判断所述多帧图像中任意相邻两帧图像内的每个物体是否发生位姿变换；处理模块，用于对相邻两帧图像中发生位姿变换的物体对应的图像进行处理，以完成优化。本专利技术第三方面提供一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，该计算机程序被所述处理器执行时，执行上述的用于VSLAM前端处理的优化方法。本专利技术第四方面提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，执行上述的用于VSLAM前端处理的优化方法。本专利技术提供的用于VSLAM前端处理的优化方法、装置、电子设备及存储介质，与现有技术相比，至少具备有以下有益效果：该方法通过对接收到的视频信息进行处理，得到多帧图像；利用深度神经网络分别对每帧图像内的物体进行识别，判断所述多帧图像中任意相邻两帧图像内的每个物体是否发生位姿变换；对相邻两帧图像中发生位姿变换的物体对应的图像进行处理，以完成优化。由此，减少了发生位姿变换的物体的再次运算，只需要对未发生位姿变换的物体进行计算即可，从而有效的降低了对处理器的处理能力的要求和对存储器存储空间大要求，有效保证VSLAM运算结果的实时性和准确性。附图说明在下文中将基于实施例并参考附图来对本专利技术进行更详细的描述。图1为本专利技术实施例提供的一种用于VSLAM前端处理的优化方法的流程示意图。图2a和图2b分别为本专利技术实施例提供的前后两帧识别物体的示意图。图3为图2a和图2b中图像处理结果的示意图。图4为图1中步骤S130的流程示意图。图5为图1中步骤S130的另一流程示意图。在附图中，相同的部件使用相同的附图标记，附图并未按照实际的比例绘制。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚以下将结合附图及实施例来详细说明本专利技术的实施方式，借此对本专利技术如何应用技术手段来解决技术问题，并达到相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本专利技术的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。请参阅图1，本专利技术实施例提供了一种可应用于电子设备的用于VSLAM前端处理的优化方法，该电子设备可以是但不限于全景摄像头、扫地机器人等。该方法应用于电子设备时，执行步骤S110至步骤S140：步骤S110：对接收到的视频信息进行处理，得到多帧图像。在一些实施例中，通过本文档来自技高网...

【技术保护点】
1.一种用于VSLAM前端处理的优化方法，其特征在于，包括：/n对接收到的视频信息进行处理，得到多帧图像；/n利用深度神经网络分别对每帧图像内的物体进行识别，得到识别结果，其中，识别结果中包括物体的种类信息和位置信息；/n判断所述多帧图像中任意相邻两帧图像内的每个物体是否发生位姿变换；/n对相邻两帧图像中发生位姿变换的物体对应的图像进行处理，以完成优化。/n

【技术特征摘要】
1.一种用于VSLAM前端处理的优化方法，其特征在于，包括：
对接收到的视频信息进行处理，得到多帧图像；
利用深度神经网络分别对每帧图像内的物体进行识别，得到识别结果，其中，识别结果中包括物体的种类信息和位置信息；
判断所述多帧图像中任意相邻两帧图像内的每个物体是否发生位姿变换；
对相邻两帧图像中发生位姿变换的物体对应的图像进行处理，以完成优化。


2.根据权利要求1所述的用于VSLAM前端处理的优化方法，其特征在于，执行所述判断所述多帧图像中任意相邻两帧图像内的每个物体是否发生位姿变换的步骤包括：
计算所述多帧图像中任意相邻两帧图像内的每个物体的位姿变换矩阵，其中，所述位姿变换矩阵包括对应物体的旋转矩阵和平移矩阵；
根据旋转矩阵和位移矩阵判断各个物体是否发生位姿变换。


3.根据权利要求1所述的用于VSLAM前端处理的优化方法，其特征在于，执行所述判断所述多帧图像中任意相邻两帧图像内的每个物体是否发生位姿变换的步骤包括：
提取所述多帧图像中任意相邻两帧图像内每个物体的特征点，并进行匹配；
利用匹配的特征点分别计算该相邻两帧图像内每个物体的位姿变换矩阵；
分别计算该相邻两帧图像内各个物体的位姿变换矩阵的旋转矩阵和平移矩阵，并根据旋转矩阵和平移矩阵判断每个物体是否发生位姿变换。


4.根据权利要求3所述的用于VSLAM前端处理的优化方法，其特征在于，所述位姿变换矩阵为：
F＝K-Tt×RK-1
其中，F是位姿变换矩阵，K是相机内参，tx是平移矩阵，R是旋转矩阵。


5.根据权利要求4所述的用于VSLAM前端处理的优化方法，其特征在于，所述方法包括：
对每个物体在任意相邻两帧图像内的位姿变换矩阵分别进行计算，得到上帧图像内的第...

【专利技术属性】
技术研发人员：洪泽，
申请(专利权)人：珠海格力电器股份有限公司，珠海零边界集成电路有限公司，
类型：发明
国别省市：广东;44