基于多模态镜头的牵小孩过闸识别方法、系统技术方案

本申请涉及过闸识别的技术领域，尤其涉及一种基于多模态镜头的牵小孩过闸识别方法、系统，通过将rgb图像和深度图像进行检测和融合，结合rgb图像和深度图像各自的优点，能够更准确地判断出闸机处的人头数量信息和人头位置信息；并基于深度图像和多模态人头检测结果计算各个人头对应的用户的身高，从而能够判断出大人牵小孩过闸的场景，并发送提示信息，以减少小孩漏检和误检的情况发生。少小孩漏检和误检的情况发生。少小孩漏检和误检的情况发生。

【技术实现步骤摘要】
基于多模态镜头的牵小孩过闸识别方法、系统


[0001]本申请涉及过闸识别的
，尤其是涉及一种基于多模态镜头的牵小孩过闸识别方法、系统。

技术介绍

[0002]目前，闸机是一种通道阻挡装置，可用于各种有通行核验要求的出入口，如机场安检、机场登机、园区/学校/医院安检。
[0003]现有的闸机一般采用红外光栅对射的方法来判断旅客的过闸情况，红外光栅的方式通过简单的遮挡次数、遮挡间隔等信息检测旅客过闸。由于小孩的个头较小，当有旅客牵小孩过闸时，现有的红外光栅对射的方式无法从旅客、行李中准确区分出小孩，容易造成小孩漏检、误夹小孩等问题，对此情况有待进一步改善。

技术实现思路

[0004]为了解决现有的用红外光栅对射的方式检测旅客过闸时，无法区分出小孩的问题，本申请提供一种基于多模态镜头的牵小孩过闸识别方法、系统，采用如下的技术方案：第一方面，一种基于多模态镜头的牵小孩过闸识别方法，包括如下步骤：获取闸机处的rgb图像和深度图像；基于预设的多模态融合检测模型对所述rgb图像和所述深度图像进行检测和融合，得到多模态人头检测结果，其中，所述多模态人头检测结果包括所述rgb图像和所述深度图像融合后的人头数量信息和人头位置信息；基于所述深度图像和所述多模态人头检测结果对各个人头对应的用户身高进行计算，得到各个人头对应的用户身高信息；在存在至少一个人头对应的用户身高低于预设身高阈值的情况下，发送提示信息。
[0005]通过采用上述技术方案，单一的彩色摄像头对于颜色、光线等变化较为敏感，容易受到服装颜色变化的影响，导致检测结果不准确；而单一的深度摄像头在同时存在小孩和行李的情况下，容易将小孩与行李混淆，同样具有较高的误检率和漏检率。因此，本申请通过将rgb图像和深度图像进行检测和融合，结合rgb图像和深度图像各自的优点，能够更准确地判断出闸机处的人头数量信息和人头位置信息；并基于深度图像和多模态人头检测结果计算各个人头对应的用户的身高，从而能够判断出大人牵小孩过闸的场景，并发送提示信息，以减少小孩漏检和误检的情况发生。
[0006]可选的，在所述基于预设的多模态融合检测模型对所述rgb图像和所述深度图像进行检测和融合，得到多模态人头检测结果之前，所述方法还包括：采用提前标定好的镜头参数对所述rgb图像和所述深度图像进行校正对齐。
[0007]通过采用上述技术方案，本申请在获取rgb图像和深度图像之后，由于获取rgb图像的摄像头与获取深度图像的摄像头之间存在焦距、角度和位置等差距，导致获取到的rgb
图像和深度图像并非完全一致的图像，因此，通过采用提前标定好的镜头参数对rgb图像和深度图像进行校正对齐，以便于后续利用校正对齐后的rgb图像和深度图像进行检测和融合。
[0008]可选的，所述多模态镜头包括rgb镜头和tof镜头，所述提前标定好的镜头参数包括rgb镜头的内参、tof镜头的内参、rgb与tof镜头的外参，所述采用提前标定好的镜头参数对所述rgb图像和所述深度图像进行校正对齐的过程中，包括如下步骤：利用rgb镜头内参对rgb图像进行校正，得到校正后的rgb图像；利用tof镜头内参对深度图像进行校正，得到校正后的深度图像；利用rgb和tof镜头的外参将所述校正后的深度图像中每个位置处的深度映射到所述校正后的rgb图像的坐标系下。
[0009]通过采用上述技术方案，本申请通过rgb镜头内参对rgb图像进行校正，通过tof镜头内参对深度图像进行校正，然后利用rgb和tof镜头的外参将校正后的深度图像中每个位置处的深度映射到所述校正后的rgb图像的坐标系下，使校正后的rgb图像和校正后的深度图像对齐，使rgb图像中的每个像素点可以在映射后的深度图像中计算出现实中该点的实际深度，可以理解的是，深度的含义为空间中某个点到摄像头传感器平面的距离，可根据深度图像计算得出。
[0010]可选的，所述多模态镜头设置在所述闸机入口处的正上方，所述多模态镜头的拍摄方向垂直向下。
[0011]通过采用上述技术方案，多模态镜头设置在闸机入口处的正上方，且多模态镜头的拍摄方向垂直向下，拍摄闸机入口时通过俯视视角进行拍摄，俯视视角具有较强的抗遮挡性，能够观察到过闸旅客的完整通行轨迹，更加容易拍摄到闸机处用户的人头检测结果，且得到的深度图像更加易于分析，以对牵小孩的旅客进行识别。
[0012]可选的，所述多模态融合检测模型包括rgb图像检测模型和深度图像检测模型，所述基于预设的多模态融合检测模型对所述rgb图像和所述深度图像进行检测和融合，得到多模态人头检测结果的过程中，包括如下步骤：采用预设的rgb图像检测模型对所述rgb图像中的人头进行检测，提取所述rgb图像中的人头检测结果；采用预设的深度图像检测模型对所述深度图像中的人头进行检测，提取所述深度图像中的人头检测结果；采用目标融合算法对所述rgb图像中的人头检测结果和所述深度图像中的人头检测结果进行融合，得到多模态人头检测结果。
[0013]通过采用上述技术方案，本申请通过预设的rgb图像检测模型对rgb图像中的人头进行检测，通过预设的深度图像检测模型对深度图像中的人头进行检测，然后使用目标融合算法对rgb图像和深度图像中检测到的人头进行融合，得到融合后的人头，根据rgb检测模型和深度图像检测模型检测的人头检测结果进行融合，更准确地判断出闸机处的人头数量信息和人头位置信息。
[0014]可选的，所述采用预设的rgb图像检测模型对所述rgb图像中的人头进行检测，提取所述rgb图像中的人头检测结果的过程中，包括如下步骤：将所述rgb图像输入预设的rgb图像检测模型中，得到所述rgb图像中的所有人头
的最小外接框和置信度；提取置信度大于预设置信度阈值的最小外接框，所述最小外接框即rgb图像中的人头检测结果。
[0015]通过采用上述技术方案，本申请在采用预设的rgb图像检测模型对所述rgb图像中的人头进行检测时只保留置信度高于预设置信度阈值的最小外接框，提取置信度大于预设置信度阈值的最小外接框中的人头检测结果，从而提高了融合的精度。
[0016]可选的，所述采用预设的深度图像检测模型对所述深度图像中的人头进行检测，提取所述深度图像中的人头的过程中，包括如下步骤：将所述深度图像输入预设的深度图像检测模型中，得到所述深度图像中的所有人头的最小外接框和置信度；提取置信度大于预设置信度阈值的最小外接框，所述最小外接框即深度图像中的人头检测结果。
[0017]通过采用上述技术方案，本申请在采用预设的深度图像检测模型对所述深度图像中的人头进行检测时只保留置信度高于预设置信度阈值的最小外接框，提取置信度大于预设置信度阈值的最小外接框中的人头检测结果，从而提高了融合的精度。
[0018]可选的，所述采用目标融合算法对所述rgb图像中的人头检测结果和所述深度图像中的人头检测结果进行融合，得到多模态人头检测结果的过程中，包括如下步骤：将所述rgb图像中的人头检测结果和所述深度图像中的人头检测结果输入预设的贝叶斯...

【技术保护点】

【技术特征摘要】
1.一种基于多模态镜头的牵小孩过闸识别方法，其特征在于，包括如下步骤：获取闸机处的rgb图像和深度图像；基于预设的多模态融合检测模型对所述rgb图像和所述深度图像进行检测和融合，得到多模态人头检测结果，其中，所述多模态人头检测结果包括所述rgb图像和所述深度图像融合后的人头数量信息和人头位置信息；基于所述深度图像和所述多模态人头检测结果对各个人头对应的用户身高进行计算，得到各个人头对应的用户身高信息；在存在至少一个人头对应的用户身高低于预设身高阈值的情况下，发送提示信息。2.根据权利要求1所述的基于多模态镜头的牵小孩过闸识别方法，其特征在于，在所述基于预设的多模态融合检测模型对所述rgb图像和所述深度图像进行检测和融合，得到多模态人头检测结果之前，所述方法还包括：采用提前标定好的镜头参数对所述rgb图像和所述深度图像进行校正对齐。3.根据权利要求2所述的基于多模态镜头的牵小孩过闸识别方法，其特征在于，所述多模态镜头包括rgb镜头和tof镜头，所述提前标定好的镜头参数包括rgb镜头的内参、tof镜头的内参、rgb与tof镜头的外参，所述采用提前标定好的镜头参数对所述rgb图像和所述深度图像进行校正对齐的过程中，包括如下步骤：利用rgb镜头内参对rgb图像进行校正，得到校正后的rgb图像；利用tof镜头内参对深度图像进行校正，得到校正后的深度图像；利用rgb和tof镜头的外参将所述校正后的深度图像中每个位置处的深度映射到所述校正后的rgb图像的坐标系下。4.根据权利要求1所述的基于多模态镜头的牵小孩过闸识别方法，其特征在于：所述多模态镜头设置在所述闸机入口处的正上方，所述多模态镜头的拍摄方向垂直向下。5.根据权利要求1所述的基于多模态镜头的牵小孩过闸识别方法，其特征在于，所述多模态融合检测模型包括rgb图像检测模型和深度图像检测模型，所述基于预设的多模态融合检测模型对所述rgb图像和所述深度图像进行检测和融合，得到多模态人头检测结果的过程中，包括如下步骤：采用预设的rgb图像检测模型对所述rgb图像中的人头进行检测，提取所述rgb图像中的人头检测结果；采用预设的深度图像检测模型对所述深度图像中的人头进行检测，提取所述深度图像中的人头检测结果；采用目标融合算法对所述rgb图像中的人头检测结果和所述深度图像中的人头检测结果进行融合，得到多模态人头检测结果。6.根据权利要求5所述的基于多模态镜头的牵小孩过闸识别方法，其特征在于，所述采用预设的rgb图像检测模型对所述rgb图像中的人头进行检测，提取所述rgb图像中的人头检测结果的过程中，包括如下步骤：将所述rgb图像输入预设的rgb图像检测模型中，得到所述rgb图像中的所有人头的最小外接框和置信度；提取置信度大于预设置信度阈值的最小外接框，所述最小外接框即rgb图像中的人头检测结果。
7.根据权利要求5所述的基于多模态镜头的牵小孩过...

【专利技术属性】
技术研发人员：徐绍凯，王汉超，陈明木，贾宝芝，何一凡，
申请(专利权)人：厦门瑞为信息技术有限公司，
类型：发明
国别省市：