图像检测的方法、装置、电子设备以及存储介质制造方法及图纸

本申请公开了一种图像检测的方法、装置、电子设备以及存储介质，涉及自动驾驶、计算机视觉、深度学习领域。具体实现方案为：获取在待测环境中相机采集的待测图像；将待测图像的全局特征、待测图像的局部特征和待测环境的深度图特征进行融合，获取待测图像的融合特征；根据待测图像的融合特征，预测待测图像中的障碍物距离相机的深度。相比于现有技术，本申请结合待测环境的深度图特征对图像中的障碍物距离相机的深度进行预测，提高了图像检测的精度和鲁棒性。

【技术实现步骤摘要】
图像检测的方法、装置、电子设备以及存储介质
本申请实施例涉及计算机技术中的计算机视觉、自动驾驶和深度学习领域，尤其涉及一种图像检测的方法、装置、电子设备以及存储介质。
技术介绍
无人驾驶技术，是指通过传感器来感知车辆周围环境，并根据感知所获得的道路、车辆位置和障碍物等，控制车辆的转向和速度，从而使车辆能够安全、可靠地在道路上行驶的技术。三维车辆检测用于检测车辆周围的障碍物，对无人驾驶技术至关重要。目前，针对道路场景下的三维车辆检测主要基于车载双目相机的图像或雷达数据。针对固定监控场景下的三维车辆检测，可以直接通过网络预测三维检测框的八个顶点在图像上的投影或长宽高、朝向角信息从而实现障碍物检测；或者，还通过单目深度估计将图像结合深度信息转换为伪点云，再通过3D点云检测的方法进行障碍物检测。然而，依赖双目相机的方式对障碍物深度估计的精度要求较高，计算复杂度高，无法满足实时性和鲁棒性需求。依赖雷达的方式不满足监控摄像头下的应用场景需求，并且雷达生成的点云较为稀疏，远处检测精度较低。基于二维图像的方式往往会受到透视投影引起的近大远小的影响，从而导致估计的3D检测框不够准确，检测精度不足。因此，现有的三维车辆检测方法无法同时满足精度和鲁棒性的要求。
技术实现思路
本申请提供了一种图像检测的方法、装置、电子设备以及存储介质。根据本申请的第一方面，提供了一种图像检测的方法，包括：获取在待测环境中相机采集的待测图像；将所述待测图像的全局特征、所述待测图像的局部特征和所述待测环境的深度图特征进行融合，获取所述待测图像的融合特征；根据所述待测图像的融合特征，预测所述待测图像中的障碍物距离所述相机的深度。根据本申请的第二方面，提供了一种图像检测的装置，包括：获取模块，用于获取在待测环境中相机采集的待测图像；融合模块，用于将所述待测图像的全局特征、所述待测图像的局部特征和所述待测环境的深度图特征进行融合，获取所述待测图像的融合特征；预测模块，用于根据所述待测图像的融合特征，预测所述待测图像中的障碍物距离所述相机的深度。根据本申请的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的方法。根据本申请的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述第一方面所述的方法。根据本申请的第五方面，提供了一种图像检测的方法，包括：将待测图像的全局特征、所述待测图像的局部特征和待测环境的深度图特征进行融合，获取所述待测图像的融合特征；根据所述待测图像的融合特征，预测所述待测图像中的障碍物距离所述相机的深度。根据本申请的技术解决了现有技术中三维车辆检测无法同时满足精度和鲁棒性的要求的技术问题。相比于现有技术，本申请结合待测环境的深度图特征对图像中的障碍物距离相机的深度进行预测，提高了图像检测的精度和鲁棒性。应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1为本申请实施例提供的一种图像检测的方法的场景示意图；图2为本申请实施例提供的一种图像检测的方法的流程示意图；图3为本申请实施例提供的一种图像检测的原理示意图；图4为本申请实施例提供的另一种图像检测的方法的流程示意图；图5为本申请实施例提供的再一种图像检测的方法的流程示意图；图6为本申请实施例提供的一种图像检测的装置的结构示意图；图7是用来实现本申请实施例的图像检测的方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。目前，针对道路场景下的三维车辆检测主要基于车载双目相机的图像或雷达数据。针对固定监控场景下的三维车辆检测，可以直接通过网络预测三维检测框的八个顶点在图像上的投影或长宽高、朝向角信息从而实现障碍物检测；或者，还通过单目深度估计将图像结合深度信息转换为伪点云，再通过3D点云检测的方法进行障碍物检测。然而，依赖双目相机的方式对障碍物深度估计的精度要求较高，计算复杂度高，无法满足实时性和鲁棒性需求。依赖雷达的方式不满足监控摄像头下的应用场景需求，并且雷达生成的点云较为稀疏，远处检测精度较低。基于二维图像的方式往往会受到透视投影引起的近大远小的影响，从而导致估计的3D检测框不够准确，检测精度不足。因此，现有的三维车辆检测方法无法同时满足精度和鲁棒性的要求。本申请提供一种图像检测的方法、装置、电子设备以及存储介质，应用于计算机技术中的计算机视觉、自动驾驶和深度学习领域，以解决三维车辆检测无法同时满足精度和鲁棒性的要求的技术问题，达到提高图像检测的精度和鲁棒性的效果。本申请的专利技术构思是：在进行图像检测时，在现有的全局特征和局部特征的基础上融合深度图特征。为了清楚理解本申请的技术方案，下面对本申请中涉及的名词进行解释：单目相机：只有一个视觉传感器的相机。双目相机：有两个视觉传感器组成的相机，双目相机可以利用三角测量原理获得场景的深度信息，并且可以重建周围景物的三维形状和位置。深度图：深度图也被称为距离影像图，是指将从图像采集器到场景中各点的距离作为像素值的图像。相机内参：与相机自身特性相关的参数，例如相机的焦距、像素大小等。下面对本申请的使用场景进行说明。图1为本申请实施例提供的一种图像检测的方法的场景示意图。如图1，车辆101上的相机102采集车辆周围环境的图像，并将图像发送给服务器103，服务器103对图像进行检测，确定图像中的障碍物距离相机103的深度，并对车辆101发生指示信息，控制车辆101的转向和速度，以进行自动驾驶。其中，相机102可以为单目相机。服务器102可以是一台服务器，或者是云服务平台中的服务器。需要说明的是，本申请技术方案的应用场景可以是图1中的自动驾驶场景，但并不限于此，还可以应用于其他需要进行图像检测的场景。可以理解，上述图像检测的方法可以通过本申请实施例提供的图像检测的装置实现，图像检测的装置可以是某个设备的部分或全部，例如可以是服务器或者服务器内的处理器。下面以集成或安装有相关执行代码的服务器为例，以具体地实施例对本申请实施例的技术方案进行详细说明。下面这几个具体的实本文档来自技高网...

【技术保护点】
1.一种图像检测的方法，包括：/n获取在待测环境中相机采集的待测图像；/n将所述待测图像的全局特征、所述待测图像的局部特征和所述待测环境的深度图特征进行融合，获取所述待测图像的融合特征；/n根据所述待测图像的融合特征，预测所述待测图像中的障碍物距离所述相机的深度。/n

【技术特征摘要】
1.一种图像检测的方法，包括：
获取在待测环境中相机采集的待测图像；
将所述待测图像的全局特征、所述待测图像的局部特征和所述待测环境的深度图特征进行融合，获取所述待测图像的融合特征；
根据所述待测图像的融合特征，预测所述待测图像中的障碍物距离所述相机的深度。


2.根据权利要求1所述的方法，在所述获取所述待测图像的融合特征之前，还包括：
从所述待测环境的地面深度图中提取所述待测环境的深度图特征。


3.根据权利要求2所述的方法，其中，所述从所述待测环境的地面深度图中提取所述待测环境的深度图特征，包括：
将所述待测环境的地面深度图输入主干网络中，并获取所述主干网络输出的所述待测环境的深度图特征。


4.根据权利要求2所述的方法，在所述从所述待测环境的地面深度图中提取所述待测环境的深度图特征之前，还包括：
根据所述待测环境的地面上的至少一个点距离所述相机的深度，建立所述待测环境的地面深度图。


5.根据权利要求4所述的方法，在所述建立所述待测环境的地面深度图之前，还包括：
根据所述待测环境的地面上的至少一个点在图像坐标系下的坐标，确定所述待测环境的地面上至少一个点距离所述相机的深度。


6.根据权利要求5所述的方法，其中，所述根据所述待测环境的地面上至少一个点在图像坐标系下的坐标，确定所述待测环境的地面上的至少一个点距离所述相机的深度，包括：
获取所述待测环境的地面上的至少一个点在图像坐标系下的坐标；
根据所述待测环境的地面上的至少一个点在图像坐标系下的坐标、所述相机的内参和地面方程，确定所述待测环境的地面上至少一个点距离所述相机的深度。


7.根据权利要求6所述的方法，其中，所述根据所述待测环境的地面上至少一个点在图像坐标系下的坐标、所述相机的内参和地面方程，确定所述待测环境的地面上的至少一个点距离所述相机的深度，包括：
根据所述相机的内参和所述地面方程，对所述待测环境的地面上的至少一个点在图像坐标系下的坐标进行反射投影，计算出待测环境的地面上的至少一个点距离所述相机的深度。


8.根据权利要求1-7任一项所述的方法，其中，所述根据所述待测图像的融合特征，预测所述待测图像中的障碍物距离所述相机的深度，包括：
将所述待测图像的融合特征输入神经网络模型，并获取所述神经网络模型输出的所述待测图像中的障碍物距离所述相机的深度。


9.根据权利要求8所述的方法，其中，所述神经网络模型为卷积神经网络模型或全连接神经网络模型。


10.根据权利要求1-7任一项所述的方法，其中，所述待测图像为单目图像。


11.一种图像检测的装置，包括：
获取模块，用于获取在待测环境中相机采集的待测图像；
融合模块，用于将所述待测图像的...

【专利技术属性】
技术研发人员：李莹莹，叶晓青，谭啸，孙昊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11