避障方法、装置、存储介质及电子设备制造方法及图纸

本公开涉及一种避障方法、装置、存储介质及电子设备，包括：获取目标视野对应的第一图像帧对应的第一RGB图和第一深度图；获取在第一图像帧之前获得的连续N帧第二图像帧分别对应的第二RGB图和第二深度图；根据第一RGB图、第一深度图、N帧第二RGB图和N帧第二深度图获取与第一图像帧对应的第一语义分割图；将第一RGB图、第一深度图和第一语义分割图作为预设避障网络模型的输入，以得到预设避障网络模型输出的避障方向来实现避障。这样，能够大大提高所确定的避障方向的准确性，且除了根据当前获取到的图像帧的RGB图和深度图之外，还结合了语义分割图来对避障方向进行判断，从而大大提高了对低矮小障碍的识别准确性，进一步保障了避障的精度和安全性。

Barrier avoidance methods, devices, storage media and electronic equipment

【技术实现步骤摘要】
避障方法、装置、存储介质及电子设备
本公开涉及计算机视觉领域，具体地，涉及一种避障方法、装置、存储介质及电子设备。
技术介绍
在实际生活中，智能机器人或无人驾驶车辆等各种智能设备所处的环境通常是动态的、可变的，而这些智能设备通常会需要在变化的环境中进行移动，如何能够保证这些智能设备能够主动识别出障碍物并躲避障碍物成为了亟需解决的问题。目前，市场上常用的避障方案主要是基于激光雷达、视觉传感器、超声波传感器等传感器来实现的，通过传感器识别出前进方向上的障碍物，另外，主流的一些避障算法可分为遗传算法、模糊算法、神经网络算法等。激光雷达价格比较昂贵，性价比不高，不便于大规模推广；超声波传感器有探测盲区，可能会无法识别出某些区域的障碍物，造成智能设备的无法根据指令到达指定位置；部分传统避障算法本身实现起来比较复杂，因此避障成功率和效率都不高。因此，现有的避障方案都具有一定缺陷，而且，对于智能设备需要避开的某些低矮小障碍，现有方案基本都不能很好的检测到，这样会对智能设备的避障造成很大的干扰。
技术实现思路
本公开的目的是提供一种避障方法、装置、存储介质及电子设备，能够根据目标视野中获取到的连续多帧图像帧来对当前获取到图像帧应该避障的方向进行判断，能够大大提高所确定的避障方向的准确性，且除了根据当前获取到的图像帧的RGB图和深度图之外，还结合了语义分割图来对避障方向进行判断，从而大大提高了对低矮小障碍的识别准确性，进一步保障了避障的精度和安全性。为了实现上述目的，本公开提供一种避障方法，所述方法包括：获取目标视野对应的第一图像帧对应的第一RGB图和第一深度图；获取在所述第一图像帧之前获得的连续N帧第二图像帧分别对应的第二RGB图和第二深度图，所述N为正整数；根据所述第一RGB图、所述第一深度图、所述N帧第二RGB图和所述N帧第二深度图获取与所述第一图像帧对应的第一语义分割图；将所述第一RGB图、所述第一深度图和所述第一语义分割图作为预设避障网络模型的输入，以得到所述预设避障网络模型输出的避障方向来实现避障。可选地，所述获取目标视野对应的第一图像帧对应的第一RGB图和第一深度图包括：获取所述目标视野对应的所述第一图像帧对应的所述第一RGB图和第三深度图；根据所述第一RGB图对所述第三深度图进行补全处理，以得到补全后的所述第一深度图。可选地，所述根据所述第一RGB图对所述第三深度图进行补全处理包括：将所述第一RGB图和所述第三深度图输入第一预设卷积网络模型中以得到补全后的所述第一深度图。可选地，所述获取在所述第一图像帧之前获得的连续N帧第二图像帧分别对应的第二RGB图和第二深度图包括：获取在所述第一图像帧之前获得的连续N帧第二图像帧分别对应的第二RGB图和第四深度图；根据与每一帧第二图像帧分别对应的所述第二RGB图对与之对应的所述第四深度图进行补全处理，以得到补全后的所述第二深度图。可选地，所述根据所述第一RGB图、所述第一深度图、所述N帧第二RGB图和所述N帧第二深度图获取与所述第一图像帧对应的第一语义分割图包括：根据所述第一RGB图和所述第一深度图获取与所述第一图像帧对应的第二语义分割图；根据所述N帧第二RGB图和所述N帧第二深度图分别获取与每一帧所述第二图像帧对应的N帧第三语义分割图；根据所述N帧第三语义分割图对所述第二语义分割图进行补全处理，以得到补全后的所述第一语义分割图。可选地，所述根据所述N帧第三语义分割图对所述第二语义分割图进行补全处理包括：将所述N帧第三语义分割图和所述第二语义分割图输入第二预设卷积网络模型中以得到补全后的所述第一语义分割图。本公开还提供一种避障装置，所述装置包括：第一获取模块，用于获取目标视野对应的第一图像帧对应的第一RGB图和第一深度图；第二获取模块，用于获取在所述第一图像帧之前获得的连续N帧第二图像帧分别对应的第二RGB图和第二深度图，所述N为正整数；第三获取模块，用于根据所述第一RGB图、所述第一深度图、所述N帧第二RGB图和所述N帧第二深度图获取与所述第一图像帧对应的第一语义分割图；避障模块，用于将所述第一RGB图、所述第一深度图和所述第一语义分割图作为预设避障网络模型的输入，以得到所述预设避障网络模型输出的避障方向来实现避障。可选地，所述第一获取模块包括：第一获取子模块，用于获取所述目标视野对应的所述第一图像帧对应的所述第一RGB图和第三深度图；第一补全子模块，用于根据所述第一RGB图对所述第三深度图进行补全处理，以得到补全后的所述第一深度图。可选地，所述第一补全子模块还用于：将所述第一RGB图和所述第三深度图输入第一预设卷积网络模型中以得到补全后的所述第一深度图。可选地，所述第二获取模块包括：第二获取子模块，用于获取在所述第一图像帧之前获得的连续N帧第二图像帧分别对应的第二RGB图和第四深度图；第二补全子模块，用于根据与每一帧第二图像帧分别对应的所述第二RGB图对与之对应的所述第四深度图进行补全处理，以得到补全后的所述第二深度图。可选地，所述第三获取模块包括：第三获取子模块，用于根据所述第一RGB图和所述第一深度图获取与所述第一图像帧对应的第二语义分割图；第四获取子模块，用于根据所述N帧第二RGB图和所述N帧第二深度图分别获取与每一帧所述第二图像帧对应的N帧第三语义分割图；第三补全子模块，用于根据所述N帧第三语义分割图对所述第二语义分割图进行补全处理，以得到补全后的所述第一语义分割图。可选地，所述第三补全子模块还用于：将所述N帧第三语义分割图和所述第二语义分割图输入第二预设卷积网络模型中以得到补全后的所述第一语义分割图。本公开还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以上所述避障方法的步骤。本公开还提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现以上所述避障方法的步骤。通过上述技术方案，根据当前的目标视野对应的第一图像帧和在该第一图像帧之前获取到的连续多帧图像帧来判断避障方向，即能够根据目标视野中获取到的连续多帧图像帧来对当前获取到图像帧应该避障的方向进行判断，能够大大提高所确定的避障方向的准确性，且除了根据当前获取到的图像帧的RGB图和深度图之外，还结合了语义分割图来对避障方向进行判断，从而大大提高了对低矮小障碍的识别准确性，进一步保障了避障的精度和安全性。本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。附图说明附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：图1是根据本公开一示例性实施例示出的一种避障方法的流程图。图2是根据本公开又一示例性实施例示出的一种避障方法的流程图。图3是根据本公开又一示例性实施例示出的一种避障方法的流程图。图4是根据本公开又一示例性实施例示出的一种避障方法的流程图。图5是根据本公开一示例性实施例示出的一种避障装置的结构框图。图6是根据本公开又一示例性实施例示出的一种避障装置的结构框图。图7是根据一示例性实施例示出的一种电子设备的框图。图8是根据一示例性实施例示出的一种电子设备的框图。具体实施方式以下结合附图对本公开的具体实施方式进行详细说明。本文档来自技高网...

【技术保护点】
1.一种避障方法，其特征在于，所述方法包括：获取目标视野对应的第一图像帧对应的第一RGB图和第一深度图；获取在所述第一图像帧之前获得的连续N帧第二图像帧分别对应的第二RGB图和第二深度图，所述N为正整数；根据所述第一RGB图、所述第一深度图、所述N帧第二RGB图和所述N帧第二深度图获取与所述第一图像帧对应的第一语义分割图；将所述第一RGB图、所述第一深度图和所述第一语义分割图作为预设避障网络模型的输入，以得到所述预设避障网络模型输出的避障方向来实现避障。

【技术特征摘要】
1.一种避障方法，其特征在于，所述方法包括：获取目标视野对应的第一图像帧对应的第一RGB图和第一深度图；获取在所述第一图像帧之前获得的连续N帧第二图像帧分别对应的第二RGB图和第二深度图，所述N为正整数；根据所述第一RGB图、所述第一深度图、所述N帧第二RGB图和所述N帧第二深度图获取与所述第一图像帧对应的第一语义分割图；将所述第一RGB图、所述第一深度图和所述第一语义分割图作为预设避障网络模型的输入，以得到所述预设避障网络模型输出的避障方向来实现避障。2.根据权利要求1所述的方法，其特征在于，所述获取目标视野对应的第一图像帧对应的第一RGB图和第一深度图包括：获取所述目标视野对应的所述第一图像帧对应的所述第一RGB图和第三深度图；根据所述第一RGB图对所述第三深度图进行补全处理，以得到补全后的所述第一深度图。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一RGB图对所述第三深度图进行补全处理包括：将所述第一RGB图和所述第三深度图输入第一预设卷积网络模型中以得到补全后的所述第一深度图。4.根据权利要求1-3中任一权利要求所述的方法，其特征在于，所述获取在所述第一图像帧之前获得的连续N帧第二图像帧分别对应的第二RGB图和第二深度图包括：获取在所述第一图像帧之前获得的连续N帧第二图像帧分别对应的第二RGB图和第四深度图；根据与每一帧第二图像帧分别对应的所述第二RGB图对与之对应的所述第四深度图进行补全处理，以得到补全后的所述第二深度图。5.根据权利要求4所述的方法，其特征在于，所述根据所述第一RGB图、所述第一深度图、所述N帧第二RGB图和所述N帧第二深度图获取与所述第一图像帧对应的第一语义分割图包括：根据所述第一RGB图和所述第一深度图获取与所述第一图像帧对...

【专利技术属性】
技术研发人员：易万鑫，廉士国，林义闽，
申请(专利权)人：深圳前海达闼云端智能科技有限公司，
类型：发明
国别省市：广东,44