行人检测方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术实施例公开了一种行人检测方法、装置、电子设备和存储介质，行人检测方法包括：获取检测区域的彩色图像和深度图像；根据所述深度图像生成点云数据；根据所述点云数据、所述深度图像和所述彩色图像生成所述检测区域的特征张量；将所述特征张量输入预先训练的行人检测模型中获得所述检测区域的行人检测信息。本发明专利技术实施例由点云数据、深度图像和彩色图像生成检测区域的特征张量来检测行人，实现了通过深度图像和点云数据中包含的三维空间信息来进行行人检测，既能够提高行人检测的准确性，又能够获得诸如行人高度等更为准确的行人检测结果，从而可以根据行人检测结果实现更为精细的设备控制。

【技术实现步骤摘要】
行人检测方法、装置、电子设备和存储介质
本专利技术实施例涉及行人检测
，尤其涉及一种行人检测方法、装置、电子设备和存储介质。
技术介绍
随着监控和网络技术的发展，行人检测技术广泛应用于不同场所，在有些场所中，需要通过行人检测结果来进行相关设备的控制或者对行人行为进行分析，例如通过检测到行人实现自动门控制、地铁进出站闸机控制、行人尾随分析等。在现有行人检测中，多用红外行人检测技术，即通过红外设备感应检测区域以检测出有行人在检测区域内，然而，在非行人的物体的辐射温度接近行人时，红外行人检测容易出现误检的可能性高，行人检测结果不准确，再者，红外行人检测仅能检测到有无行人，无法获得行人高度等更多维度的信息，行人检测结果的应用受限。
技术实现思路
本专利技术实施例提供一种行人检测方法、装置、电子设备和存储介质，以解决现有技术中红外行人检测检测准确率低、获得的行人检测数据匮乏导致行人检测数据应用受限的问题。第一方面，本专利技术实施例提供了一种行人检测方法，包括：获取检测区域的彩色图像和深度图像；根据所述深度图像生成点云数据；根据所述点云数据、所述深度图像和所述彩色图像生成所述检测区域的特征张量；将所述特征张量输入预先训练的行人检测模型中获得所述检测区域的行人检测信息。第二方面，本专利技术实施例提供了一种行人检测装置，包括：图像获取模块，用于获取检测区域的彩色图像和深度图像；点云数据生成模块，用于根据所述深度图像生成点云数据；特征张量生成模块，用于根据所述点云数据、所述深度图像和所述彩色图像生成所述检测区域的特征张量；特征张量输入模块，用于将所述特征张量输入预先训练的行人检测模型中获得所述检测区域的行人检测信息。第三方面，本专利技术实施例提供了一种电子设备，所述电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术任一实施例所述的行人检测方法。第四方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本专利技术任一实施例所述的行人检测方法。本专利技术实施例通过获取检测区域的彩色图像和深度图像，并根据深度图像生成点云数据，根据点云数据、深度图像和彩色图像生成检测区域的特征张量，将特征张量输入预先训练的行人检测模型中获得检测区域的行人检测信息。由于通过获取到的深度图像生成点云数据，由点云数据、深度图像和彩色图像生成检测区域的特征张量来检测行人，实现了通过深度图像和点云数据中包含的三维空间信息来进行行人检测，既能够提高行人检测的准确性，又能够获得诸如行人高度等多维度的检测结果，从而可以根据检测结果实现多方面的应用。附图说明图1是本专利技术实施例一提供的一种行人检测方法的步骤流程图；图2A是本专利技术实施例二提供的一种行人检测方法的步骤流程图；图2B是本专利技术实施例中行人检测的一个场景示意图；图2C是本专利技术实施例中深度图像、前景检测框、最高区域检测框的示意图；图2D是本专利技术实施例中计算得到的点云特征的示意图；图2E是本专利技术实施例中一阶梯度图或者二阶梯度图的示意图；图2F是本专利技术实施例中遍历梯度图所使用的模板的示意图；图3是本专利技术实施例三提供的一种行人检测装置的结构框图；图4是本专利技术实施例四提供的一种电子设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。实施例一图1为本专利技术实施例一提供的一种行人检测方法的步骤流程图，本专利技术实施例可适用于对检测区域执行行人检测的情况，该方法可以由本专利技术实施例的行人检测装置来执行，该行人检测装置可以由硬件或软件来实现，并集成在本专利技术实施例所提供的电子设备中，具体地，如图1所示，本专利技术实施例的行人检测方法可以包括如下步骤：S101、获取检测区域的彩色图像和深度图像。具体地，检测区域可以是需要检测是否存在行人的区域，示例性地，检测区域可以是自动门一定范围内的区域，还可以是自动闸机(如地铁、车站等进出站闸机)一定范围内的区域，本专利技术实施例对检测区域不加以限制。具体地，检测区域的彩色图像和深度图像可以通过相机来获取，相机可以是能够获取深度数据的拍照设备，在一个示例中，相机可以包括一个彩色摄像头和一个红外摄像头，彩色摄像头用于获取检测区域的彩色图像，红外摄像头可以用于获取检测区域的深度图像，该深度图像中每个像素点的像素值表达了该像素点对应的检测区域中的目标到相机的距离。当然，相机还可以是双目相机，即具有两个彩色摄像头，或者一个彩色摄像头一个黑白摄像头的相机，本专利技术实施例对相机不加以限制，能够获取彩色图像和深度图像即可。在本专利技术的一个实施例中，相机可以预先标定并设置在检测区域的正上方，即相机的感光芯片(CCD或CMOS)与地面平行，相机摄像头的光轴垂直与地面，即从相机上鸟瞰检测区域，使得相机按照预设周期对检测区域拍照时能够获得检测区域的彩色图像和深度图像，该深度图像和彩色图像对齐，即基于预先对相机标定的参数，使得深度图像和彩色图像的高度、宽度、分辨率相同，深度图像中的每个像素点均与彩色图像中的像素点对应，从而使得深度图像中每个像素点的深度值映射到彩色图像中的像素点对应的目标。在另外的实施例中，检测区域的彩色图像和深度图像也可以是通过有线/无线方式接收外部设备所传输的图像，在此对检测区域的彩色图像和深度图像的获取方式不做限定。S102、根据所述深度图像生成点云数据。点云数据(pointclouddata)是指以点的形式记录的数据，每一个点包含有三维坐标，具体到本专利技术实施例中，点云数据可以是检测区域内运动目标(如行人、行李箱等)的点云数据，在本专利技术的一个实施例中，可以通过预设的前景检测算法对深度图像执行前景检测得到前景检测框，该前景检测框为深度图像中包含运动目标的最小矩形框，然后通过前景检测框中每个像素点的像素值结合相机的内参计算每个像素点的点云的三维坐标，从而生成点云数据。S103、根据所述点云数据、所述深度图像和所述彩色图像生成所述检测区域的特征张量。其中，可以根据点云中最高区域的点云(行人头部的点云)与其他点云(头部以外的点云)的点云数据，计算出最高区域的点云与其他点云之间的点云特征，例如高度差、点云间的夹角等作为点云之间的点云特征，对于深度图像可以对深度图像中的像素值计算一阶梯度和二阶梯度，以生成一阶梯度图和二阶梯度图，通过预设模板遍历一阶梯度图和二阶梯度图中的每个像素点，在满足预设条件时累加该像素点的得分，最终得到一张积分图，将点云之间的点云特征、本文档来自技高网...

【技术保护点】
1.一种行人检测方法，其特征在于，包括：/n获取检测区域的彩色图像和深度图像；/n根据所述深度图像生成点云数据；/n根据所述点云数据、所述深度图像和所述彩色图像生成所述检测区域的特征张量；/n将所述特征张量输入预先训练的行人检测模型中获得所述检测区域的行人检测信息。/n

【技术特征摘要】
1.一种行人检测方法，其特征在于，包括：
获取检测区域的彩色图像和深度图像；
根据所述深度图像生成点云数据；
根据所述点云数据、所述深度图像和所述彩色图像生成所述检测区域的特征张量；
将所述特征张量输入预先训练的行人检测模型中获得所述检测区域的行人检测信息。


2.根据权利要求1所述的行人检测方法，其特征在于，所述根据所述深度图像生成点云数据，包括：
基于预设的前景检测算法对所述深度图像进行前景检测得到前景检测框；
通过预设的最高区域检测算法对所述前景检测框所在区域进行最高区域检测得到最高区域检测框；
采用所述前景检测框和所述最高区域检测框中每个像素点的像素值，以及相机的内参生成所述像素点的点云得到点云数据。


3.根据权利要求2所述的行人检测方法，其特征在于，所述通过预设最高区域检测算法对所述前景检测框所在区域进行最高区域检测得到最高区域检测框，包括：
将所述前景检测框中每个像素点的像素值映射到指定范围像素值；
采用预设最高区域检测算法对像素值映射到所述指定范围像素值后的所述前景检测框区域进行最高区域检测，得到最高区域检测框。


4.根据权利要求2所述的行人检测方法，其特征在于，所述采用所述前景检测框和所述最高区域检测框中每个像素点的像素值以及所述相机的内参生成所述像素点的点云得到点云数据，包括：
针对所述前景检测框中的每个像素点，通过所述像素点在所述深度图像中的像素坐标、所述彩色图像的像素坐标原点以及所述相机的焦距计算所述像素点的初始X坐标和初始Y坐标；
采用所述初始X坐标和初始Y坐标以及所述相机的畸变系数计算所述像素点在世界坐标系中的X坐标和Y坐标；
采用所述像素点的像素值和所述相机的深度值转换因子计算所述像素点在世界坐标系的Z坐标；
根据所述像素点的X坐标、Y坐标和Z坐标生成所述像素点在世界坐标系下的点云；
将所述点云转换为所述相机的视锥空间的点云得到点云数据。


5.根据权利要求1-4任一项所述的行人检测方法，其特征在于，所述根据所述点云数据、所述深度图像和所述彩色图像生成所述检测区域的特征张量，包括：
基于所述点云数据确定点云子集，所述点云子集包括点云中位于最高区域的若干点；
针对所述最高区域以外的每个点，计算所述最高区域以外的每个点与所述点云子集中每个点之间的特征，作为点云特征；
对所述深度图像中的每个像素点的像素值计算一阶梯度和二阶梯度，得到一阶梯度图和二阶梯度...

【专利技术属性】
技术研发人员：张睿，冯琰一，吴志伟，李德紘，
申请(专利权)人：佳都新太科技股份有限公司，广州新科佳都科技有限公司，
类型：发明
国别省市：广东;44