基于多路摄像头深度学习的停车场智能管理系统及方法技术方案

本公开提供了一种多路摄像头深度学习的停车场智能管理系统，包括：服务器端，包括：数据采集模块，通过采用多路摄像头采集停车场的车辆以及停车场停车位边界的各个方位的视频和/或图像数据；网络传输模块，用于将采集到的车辆视频和/或图像数据上传至后台计算模块；以及后台计算模块，用于停车车辆信息的处理，包括：深度学习模型训练子模块以及车辆行为判断子模块。本公开提高了神经网络识别率与稳定性，并具有适应性强、安装使用方便、价格便宜、抗电磁干扰能力强等优点。

【技术实现步骤摘要】
基于多路摄像头深度学习的停车场智能管理系统及方法
本公开涉及停车场智能管理领域，尤其涉及一种基于多路摄像头深度学习的停车场智能管理系统及方法。
技术介绍
近年来，随着城市的快速发展、车辆保有量的迅速增长，停车场的管理及车主的停车问题日益凸显，例如人们经常会遇到无法在短时间内找到合适的停车场及停车位，或在陌生的停车场内无法找到空车位或出口等情况，这使得停车成为了一个非常耗时、令人头疼的事情，极大地降低了人们的生活效率。而目前，停车场的管理仍主要采用人工或半人工的管理模式，而且大部分的停车场都没有导航系统，其主要以路标，指示灯为主，只能靠车主自己摸索寻找空位，这不仅增加了寻位时间，而且容易导致停车场内部拥堵，甚至发生车祸。同时，在停车过程中出现的车辆被盗窃、破坏、剐蹭、碰撞等异常情况也时常发生，但其引起的纠纷及取证困难也往往令车主和管理方头疼。公开内容(一)要解决的技术问题本公开提供了一种多路摄像头深度学习的停车场智能管理系统及方法，以至少部分解决以上所提出的技术问题。(二)技术方案根据本公开的一个方面，提供了一种多路摄像头深度学习的停车场智能管理系统，包括：服务器端，所述服务器端包括：数据采集模块，通过采用多路摄像头采集停车场的车辆以及停车场停车位边界的各个方位的视频和/或图像数据；网络传输模块，用于将采集到的车辆视频和/或图像数据上传至后台计算模块；以及后台计算模块，用于停车车辆信息的处理，包括：深度学习模型训练子模块，通过所述多路摄像头预先对不同品牌、型号车辆各个方位的图像数据，停车场道路、停车位的区域的视频和/或图像数据，以及用于异常行为判断的视频和/或图像数据进行采集，将所得视频和/或图片数据进行编组进行深度学习训练，训练后生成深度神经网络模型；以及车辆行为判断子模块，根据训练后生成的神经网络模型对车辆行为进行监控和判断。在本公开一些实施例中，所述后台计算模块包括：车辆停放子模块，用于基于多路摄像头的深度神经网络实现停车场车位的自动识别和管理，包括根据用户请求查询停车场的停车状况，判断该车辆停车状态以及在确认停车后开始计时计费；车辆定位及导航子模块，以车牌识别和计算机视觉为核心，当车辆进入通道后，多摄像头实时捕捉视频信号，将实时视频信息传送到系统中进行处理，通过直接测量车牌尺寸大小和/或通过通道及两旁标记物进行间接测量，得到该车辆与不同摄像头的相对位置及距离，得到特定车牌号的车辆在停车场的位置，从而获得不同时刻停车场所有通道内车辆的位置信息并提供导航信息；以及异常行为分析子模块，对停车场内发生的异常情况进行预警。在本公开一些实施例中，所述后台计算模块的车辆停放子模块包括：数据模型训练子分模块，所述车辆停放子模块的训练部分采集数据样本中标记出的车辆整体及其特征，并通过多层CNN卷积神经网络，针对停车场全局以及局部车位训练得到包含各种品牌、型号车辆各个方位特征的深度神经网络模型；行为识别预测子分模块，所述车辆停放子模块的识别部分包含全局和局部两个组件，使用训练所得的基于多路摄像头的深度神经网络，获得全局车辆的位置信息与各车位的局部停车信息，若两者匹配程度超过一定阈值则认为结果可信并输出结果，识别部分的局部组件根据车辆与车位特征判断车辆是否正确停放于指定车位；所述后台计算模块的异常行为分析子模块包括：数据模型训练子分模块，通过多路摄像头从不同角度对目标区域内正常行为以及非正常行为进行图像数据采集，将采集到的多帧图像作为一个样本，并将数据样本作为训练数据输入，通过深度神经网络训练得到深度神经网络的模型；行为识别预测子分模块，将停车场多路摄像头采集的新数据输入训练所得深度神经网络模型内，并判断其行为模式；若判断为非正常的行为，则发送该数据图像及相关信息至管理员，以备用户查询。在本公开一些实施例中，所述数据采集模块包括：硬件接口子模块，用于包括摄像头的调用；人机交互子模块，用于每处摄像头实时监控画面信息、每一个停车位内车辆停放状态记录信息、空车位信息及预警提示信息记录的调取及显示。在本公开一些实施例中，所述的停车场智能管理系统，还包括客户端，所述客户端包括：空车位查询模块，用于查询停车场空车位数量及位置；车位定位及道路导航模块，用于获取空车位定位及道路导航信息；停车计时付费模块，用于查看该停放车辆的停车时长及停车费用，并实现自助在线缴费。在本公开一些实施例中，所述后台计算模块包括超算集群服务器，所述超算集群服务器包括多核和众核并行服务器，用于提供：计算服务，包括：视频和/或图像数据的深度学习及车辆特征提取、比对；存储服务，包括：监控视频的实时存储，以及网络传输过程中出现丢包或者网络故障时，监控视频的临时存储；以及资源调控服务，包括：计算机集群的资源调配，避免出现进程堵塞、排队的情况。根据本公开的另一个方面，提供了一种多路摄像头深度学习的停车场智能管理方法，包括以下步骤：当服务器后台计算模块车辆停放子模块接收到用户的停车查询请求时，进行停车场空位查询，并将信息推送给用户；服务器后台计算模块的车辆停放子模块判断到达停车场入口的车辆是否允许进入；服务器后台计算模块为允许进入停车场的车辆分配车位，车辆定位及导航子模块提供空车位导航信息，并且异常行为分析子模块开始对车辆行为异常情况进行监测；服务器后台服务器车辆停放子模块检测到达指定车位的车辆是否按要求停放，并在车辆停好后开始计时计费；若服务器收到用户提交的结束停车指令，则后台计算模块的车辆定位及导航子模向该用户提供出口导航信息；服务器识别停车场出口处车辆车牌号信息，并进行停车费用结算。在本公开一些实施例中，停车场空位查询的过程包括：服务器接收到用户通过客户端的空车位查询模块发送的查询请求，调用后台计算模块的车辆停放子模块查询周边预定范围内配有多路摄像头深度学习的停车场智能管理系统的停车场的停车状况，并将空车位信息向客户端推送。在本公开一些实施例中，所述的停车场智能管理方法，进一步包括：当车辆进入停车场时，服务器首先识别该车辆的车牌号，并与进入停车场内的车辆车牌号进行比对校验，同时通过直接测量车牌尺寸大小和/或通过通道及两旁标记物进行间接测量，获得车辆与各摄像头的相对距离从而判断车辆的实时位置，其中直接测量依据计算机视觉原理由车牌尺寸大小推算车辆与摄像头的距离，间接测量则预先测量通道及两旁标记物与摄像头距离，并由车辆与标记物的关系测算车辆与摄像头的距离，最后服务器将车辆的定位信息推送到用户的客户端，引导车辆行驶到相应的停车位。在本公开一些实施例中，车辆进入停车场后的处理步骤包括：当用户到达停车场入口时，服务器通过数据采集模块中的摄像头，提取请求进入停车场的车辆视频、图像信息，通过网络传输模块发送给后台计算模块，利用训练后生成的深度神经网络模型识别并比对该车辆是否符合进入该停车场的车辆类型标准；符合标准的车辆允许进入，并分配空车位；否则拒绝进入并给予信息提示，此时对该车辆进行人工识别，若人工识别结果为符合停放标准，则将人工识别结果及该车型视频和/或图像数据导入后台计算模块强化学习；若人工识别结果为不符合停放标准；若该车辆允许进入停车场，服务器将向客户端推送允许进入指令，并向客户端的车辆定位及道路导航模块推送空车位导航信息，引导该车辆驶向服务器分配的停车本文档来自技高网...

【技术保护点】
一种多路摄像头深度学习的停车场智能管理系统，包括：服务器端，所述服务器端包括：数据采集模块，通过采用多路摄像头采集停车场的车辆以及停车场停车位边界的各个方位的视频和/或图像数据；网络传输模块，用于将采集到的车辆视频和/或图像数据上传至后台计算模块；以及后台计算模块，用于停车车辆信息的处理，包括：深度学习模型训练子模块，通过所述多路摄像头预先对不同品牌、型号车辆各个方位的图像数据，停车场道路、停车位的区域的视频和/或图像数据，以及用于异常行为判断的视频和/或图像数据进行采集，将所得视频和/或图片数据进行编组进行深度学习训练，训练后生成深度神经网络模型；以及车辆行为判断子模块，根据训练后生成的神经网络模型对车辆行为进行监控和判断。

【技术特征摘要】
1.一种多路摄像头深度学习的停车场智能管理系统，包括：服务器端，所述服务器端包括：数据采集模块，通过采用多路摄像头采集停车场的车辆以及停车场停车位边界的各个方位的视频和/或图像数据；网络传输模块，用于将采集到的车辆视频和/或图像数据上传至后台计算模块；以及后台计算模块，用于停车车辆信息的处理，包括：深度学习模型训练子模块，通过所述多路摄像头预先对不同品牌、型号车辆各个方位的图像数据，停车场道路、停车位的区域的视频和/或图像数据，以及用于异常行为判断的视频和/或图像数据进行采集，将所得视频和/或图片数据进行编组进行深度学习训练，训练后生成深度神经网络模型；以及车辆行为判断子模块，根据训练后生成的神经网络模型对车辆行为进行监控和判断。2.根据权利要求1所述的停车场智能管理系统，其中，所述后台计算模块包括：车辆停放子模块，用于基于多路摄像头的深度神经网络实现停车场车位的自动识别和管理，包括根据用户请求查询停车场的停车状况，判断该车辆停车状态以及在确认停车后开始计时计费；车辆定位及导航子模块，以车牌识别和计算机视觉为核心，当车辆进入通道后，多摄像头实时捕捉视频信号，将实时视频信息传送到系统中进行处理，通过直接测量车牌尺寸大小和/或通过通道及两旁标记物进行间接测量，得到该车辆与不同摄像头的相对位置及距离，得到特定车牌号的车辆在停车场的位置，从而获得不同时刻停车场所有通道内车辆的位置信息并提供导航信息；以及异常行为分析子模块，对停车场内发生的异常情况进行预警。3.根据权利要求2所述的停车场智能管理系统，其中，所述后台计算模块的车辆停放子模块包括：数据模型训练子分模块，所述车辆停放子模块的训练部分采集数据样本中标记出的车辆整体及其特征，并通过多层CNN卷积神经网络，针对停车场全局以及局部车位训练得到包含各种品牌、型号车辆各个方位特征的深度神经网络模型；行为识别预测子分模块，所述车辆停放子模块的识别部分包含全局和局部两个组件，使用训练所得的基于多路摄像头的深度神经网络，获得全局车辆的位置信息与各车位的局部停车信息，若两者匹配程度超过一定阈值则认为结果可信并输出结果，识别部分的局部组件根据车辆与车位特征判断车辆是否正确停放于指定车位；所述后台计算模块的异常行为分析子模块包括：数据模型训练子分模块，通过多路摄像头从不同角度对目标区域内正常行为以及非正常行为进行图像数据采集，将采集到的多帧图像作为一个样本，并将数据样本作为训练数据输入，通过深度神经网络训练得到深度神经网络的模型；行为识别预测子分模块，将停车场多路摄像头采集的新数据输入训练所得深度神经网络模型内，并判断其行为模式；若判断为非正常的行为，则发送该数据图像及相关信息至管理员，以备用户查询。4.根据权利要求1所述的停车场智能管理系统，所述数据采集模块包括：硬件接口子模块，用于包括摄像头的调用；人机交互子模块，用于每处摄像头实时监控画面信息、每一个停车位内车辆停放状态记录信息、空车位信息及预警提示信息记录的调取及显示。5.根据权利要求1所述的停车场智能管理系统，还包括客户端，所述客户端包括：空车位查询模块，用于查询停车场空车位数量及位置；空车位定位及道路导航模块，用于获取空车位定位及道路导航信息；停车计时付费模块，用于查看该停放车辆的停车时长及停车费用，并实现自助在线缴费。6.根据权利要求1所述的停车场智能管理系统，所述后台计算模块包括超算集群服务器，所述超算集群服务器包括多核和众核并行服务器，用于提供：计算服务，包括：视频和/或图像数据的深度学习及车辆特征提取、比对；存储服务，包括：监控视频的实时存储，以及网络传输过程中出现丢包或者网络故障时，监控视频的临时存储；以及资源调控服务，包括：计算机集群的资源调配，避免出现进程堵...

【专利技术属性】
技术研发人员：张慧，王剑飞，
申请(专利权)人：张慧，王剑飞，
类型：发明
国别省市：甘肃,62