一种基于人工智能的地下停车库行人车辆监测方法技术

本发明专利技术公开了一种基于人工智能的地下停车库行人车辆监测方法，目前地下停车库还缺乏有效的人车检测和统一管理的平台系统，并且本方法除了可以对车主和车辆通过人脸识别模块和车辆属性识别模块收集车主和所驾驶车辆属性的信息并进行一一对应标记联系，并且如果在停车中的某一时刻内，识别人脸验证不一致则进行人体姿态的检测识别出人体骨骼关键点信息，并通过人体骨骼关节点信息进行异常行为的检测和识别，可以有效识别出例如跌倒、打开车门进入车内等异常行为动作，可以有效保障车主的车辆和人身安全。

A Pedestrian Vehicle Monitoring Method for Underground Parking Garage Based on Artificial Intelligence

【技术实现步骤摘要】
一种基于人工智能的地下停车库行人车辆监测方法
本专利技术涉及计算机视觉、模式识别、深度学习、数据库、安卓平台开发等
的管理系统，特别是一种基于人工智能的地下车库行人车辆监测方法。
技术介绍
随着智能视频监控逐渐成为智慧城市小区的一个新兴应用方向。其智能性在于不仅用摄像机代替人眼，而且用计算机来代替人、协助人，从而完成监视或控制任务并减轻人的负担。这样不但节省了大量的人力、物力和财力，更重要的是它能够及时发现监控场景中的异常状况来避免各类异常事件的发生。智慧城市小区中的停车库是行人异常行为发生的高频地带。但目前智慧城市停车库缺少对行人和车辆进行统一管理和监测的平台和系统。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习。深度学习是一种数据驱动型模型，能够模拟人脑视觉机理自动地学习到数据各个层次的抽象特征，从而更好地反映数据的本质特征，使得检测识别行人的异常行为和车辆信息变得更加准确和高效。
技术实现思路
本专利技术的目的是提供一种基于人工智能的地下车库行人车辆监测方法，实时检测发生在车辆周围行人的异常行为，使得可以更好的地对该区域进行车辆出入管理、车辆防盗管理、人车信息管理。本专利技术为达上述专利技术目的，具体技术方案如下：一种基于人工智能的地下停车库行人车辆监测方法，其特征在于，包括如下步骤：步骤一，监控摄像头实时采集停车库每个停车位的画面，如果有车辆停入编号为n的车位，则监控系统会将画面传输到服务器，由服务器上的车牌识别模型获得该车位的车牌号码信息Vn。当车主下车时，服务器上的人脸识别算法和行人重识别算法将分别提取车主人脸特征Fn和人体外部特征P1，并将车主人脸特征Fn、行人特征P1、车主所开车辆的车牌信息Vn做好标记In，记为记录在服务器中。步骤二，当车主停好车后，在移动设备上通过手机停车管理app使用“一键锁车”功能即可虚拟(即在app上)锁定车辆停放的位置，同时系统开启车辆移动检测模型来判定监控摄像头实时采集的画面中车辆是否发生了移动。若车辆在车主并未在手机app上解锁“一键定位”功能的情况下发生了移动，监控系统将会立即发送被盗警告信息到车主的手机停车管理系统app上，以通知该车辆的车主。步骤三，若车主停车后没有使用“一键锁车”功能，监控摄像头仍实时采集每个停车位的画面并传输到服务器上，通过行人重识别模型提取出一定范围内靠近停靠车辆行人的特征。如果该行人的特征不符合预留在服务器中该车辆对应的车主的外部特征，同时通过基于骨架的行为动作识别模型检测并识别出该行人做出了打开车门进入车辆的动作，则判定为异常动作。服务器发送被盗警告信息到车主的手机停车管理系统app上，以通知该车辆的车主。步骤四，在出入口闸机处，车主停好车后，将会在手机停车管理系统app中生成相应的二维码。车主取车后，解锁虚拟锁定车辆功能并驾驶车辆到达出入口闸机后可凭此二维码在扫描仪上扫一扫即可通过出入口闸机。进一步地，所述的基于人工智能的停车库行人车辆监测管理系统，其特征在于：所述步骤一中，包括：步骤一，在停车场安装覆盖全停车场的监控摄像头，监控摄像头实时传输每个停车位的图像传输到服务端。步骤二，首先通过车牌识别算法识别进入停车位的车辆的车牌，车辆停入车位的画面输入到卷积神经网络以提取图像特征，接着将这些特征输入到长短时记忆循环神经网络中，然后经过CTC损失层得到车牌信息。其中，从每个时间步获得长短时记忆循环神经网络输出并产生预测的字母符号的概率值，然后将连续的重复字符去掉，以及删除空格等特殊的字符，最后合并成一个字符串输出，也就是我们的预测结果Vn。步骤三，接着通过行人重识别算法识别行人特征，传输到服务器的车主下车画面通过ResNet-50作为卷积神经网络模型的网络产生1024个通道的特征图，生成的特征图利用512×3×3的卷积层来对行人特征进行转换，接着在特征图的每个位置利用9个目标框将原始图像像素转换成一个新的特征图和一个Soft-max分类器来预测每个目标框是否包含行人在内，同时还包括了一个线性回归器来调整目标框的位置。在非极大抑制过后仅保留128个调整后的边界框作为最终的区域，然后通过ResNet-50提取车主的行人特征P1。步骤四，车主下车画面同时也通过DeepID人脸识别算法，提取车主的人脸特征F1。步骤五，检测出车主在画面中的区域后，使用Openpose算法得到车主骨架关节点的特征信息Jn1。步骤六，将车牌预测结果V、车主的行人特征P1和车主骨架关节点的特征信息fn1，根据车位编号n做好一一对应的标记，记为In＝{Pn1，Fn1，Jn1,Vn}，并在服务器内进行保存，直到车辆驶出后清除。进一步地，所述的基于人工智能的停车库行人车辆监测管理系统，其特征在于：所述步骤三中，还包括：监控摄像头实时传输每个停车位的每帧图像到服务端。当在某一时刻，有第s个人靠近编号为n且有停放车辆的停车位场景的画面通过行人重识别算法提取出该行人的行人特征Pns，并与该车的车主的行人特征Pn1进行余弦相似度比较，若小于设定的阈值0.7，同时通过人脸识别算法图区该行人的人脸特征Fns，通过两者特征余弦相似度的比较，若小于设定的阈值0.7，则判定与车主不是同一个人并且通过Openpose算法检测到骨架信息fns，基于人体骨架的行为动作识别算法判断是否该行人是否有打开车门和跌倒等异常行为动作。进一步地，所述的基于人体骨架的行为动作识别算法网络，其特征在于：所述步骤三中，还包括：步骤一，数据准备：收集地下停车库环境下的行人跌倒视频数据，大致为100个每个视频为150帧左右的单人连续跌倒动作视频，视频视角为地下停车库监控摄像头视角。收集地下停车库环境下的行人打开车门进入车辆的视频数据集，大致为100个每个视频为150帧的单人连续该动作视频，视频视角为地下停车库监控摄像头视角。步骤二，数据预处理：将准备好的数据使用Openpose算法提取每个视频每一帧的人体骨架18个关节点(例如头部，颈部，肩部，手部等)的信息(x,y,z)，x为关节点在图像上的横坐标，y为关节点在图像上的纵坐标，轴心为图像左下角，z为关节点的置信值。对于一个batch的视频，用5维矩阵(N,C,T,V,M)来表示。N表示1个batch训练视频的数量，C代表关节的特征即(x,y,z)，T代表一个视频帧的数量，V代表关节的数量，这里是18个关节，M代表一帧中的人数，这里设置最高为2。最后对矩阵进行归一化处理。步骤三，网络结构：根据空间性和时域性，以GCN网络和TCN网络为组合，构建空间时域图卷积网络。GCN网络即是对单帧画面下，关节点之间链接的边A为权值分别对各个节点特征信息进行卷积操作，关节点i的卷积公式如下：N为相邻连接的关节点数量，I为单位矩阵，为关节点i的度，为关节点j的度。Xj为一帧画面下第j个关节点的特征信息(xj,yj,zj)，aggregate(Xi)为一帧画面下第i个关节点聚合信息特征。公式可以简化为：其中，这里的Λ＝∑(A+I)，邻接矩阵A和单位矩阵I为单帧骨骼的链接信息，则Λ是多帧骨骼链接信息模型，Jin是输入的人体骨骼的特征信息，Jout为关节点聚合边信息后的值。TCN的操作为传统卷积操作，对经过GCN网络聚合关节点信息后Jout的矩阵为(N本文档来自技高网...

【技术保护点】
1.一种基于人工智能的地下停车库行人车辆监测方法，包括如下步骤：步骤一，监控摄像头实时采集停车库每个停车位的画面，如果有车辆停入编号为n的车位，则监控系统会将画面传输到服务器，由服务器上的车牌识别模型获得该车位的车牌号码信息Vn；当车主下车时，服务器上的人脸识别算法和行人重识别算法将分别提取车主人脸特征Fn和人体外部特征P1，并将车主人脸特征Fn、行人特征P1、车主所开车辆的车牌信息Vn做好标记In，记为记录在服务器中；步骤二，当车主停好车后，在移动设备上通过手机停车管理app使用“一键锁车”功能即可虚拟锁定车辆停放的位置，同时系统开启车辆移动检测模型来判定监控摄像头实时采集的画面中车辆是否发生了移动；若车辆在车主并未在手机app上解锁“一键定位”功能的情况下发生了移动，监控系统将会立即发送被盗警告信息到车主的手机停车管理系统app上，以通知该车辆的车主；步骤三，若车主停车后没有使用“一键锁车”功能，监控摄像头仍实时采集每个停车位的画面并传输到服务器上，通过行人重识别模型提取出一定范围内靠近停靠车辆行人的特征；如果该行人的特征不符合预留在服务器中该车辆对应的车主的外部特征，同时通过基于骨架的行为动作识别模型检测并识别出该行人做出了打开车门进入车辆的动作，则判定为异常动作；服务器发送被盗警告信息到车主的手机停车管理系统app上，以通知该车辆的车主；步骤四，在出入口闸机处，车主停好车后，将会在手机停车管理系统app中生成相应的二维码；车主取车后，解锁虚拟锁定车辆功能并驾驶车辆到达出入口闸机后可凭此二维码在扫描仪上扫一扫即可通过出入口闸机。...

【技术特征摘要】
1.一种基于人工智能的地下停车库行人车辆监测方法，包括如下步骤：步骤一，监控摄像头实时采集停车库每个停车位的画面，如果有车辆停入编号为n的车位，则监控系统会将画面传输到服务器，由服务器上的车牌识别模型获得该车位的车牌号码信息Vn；当车主下车时，服务器上的人脸识别算法和行人重识别算法将分别提取车主人脸特征Fn和人体外部特征P1，并将车主人脸特征Fn、行人特征P1、车主所开车辆的车牌信息Vn做好标记In，记为记录在服务器中；步骤二，当车主停好车后，在移动设备上通过手机停车管理app使用“一键锁车”功能即可虚拟锁定车辆停放的位置，同时系统开启车辆移动检测模型来判定监控摄像头实时采集的画面中车辆是否发生了移动；若车辆在车主并未在手机app上解锁“一键定位”功能的情况下发生了移动，监控系统将会立即发送被盗警告信息到车主的手机停车管理系统app上，以通知该车辆的车主；步骤三，若车主停车后没有使用“一键锁车”功能，监控摄像头仍实时采集每个停车位的画面并传输到服务器上，通过行人重识别模型提取出一定范围内靠近停靠车辆行人的特征；如果该行人的特征不符合预留在服务器中该车辆对应的车主的外部特征，同时通过基于骨架的行为动作识别模型检测并识别出该行人做出了打开车门进入车辆的动作，则判定为异常动作；服务器发送被盗警告信息到车主的手机停车管理系统app上，以通知该车辆的车主；步骤四，在出入口闸机处，车主停好车后，将会在手机停车管理系统app中生成相应的二维码；车主取车后，解锁虚拟锁定车辆功能并驾驶车辆到达出入口闸机后可凭此二维码在扫描仪上扫一扫即可通过出入口闸机。2.根据权利要求1所述的基于人工智能的地下停车库行人车辆监测方法，其特征在于：所述步骤一中，包括：步骤1.1，在停车场安装覆盖全停车场的监控摄像头，监控摄像头实时传输每个停车位的图像传输到服务端；步骤1.2，首先通过车牌识别算法识别进入停车位的车辆的车牌，车辆停入车位的画面输入到卷积神经网络以提取图像特征，接着将这些特征输入到长短时记忆循环神经网络中，然后经过CTC损失层得到车牌信息；其中，从每个时间步获得长短时记忆循环神经网络输出并产生预测的字母符号的概率值，然后将连续的重复字符去掉，以及删除空格等特殊的字符，最后合并成一个字符串输出，也就是我们的预测结果Vn；步骤1.3，接着通过行人重识别算法识别行人特征，传输到服务器的车主下车画面通过ResNet-50作为卷积神经网络模型的网络产生1024个通道的特征图，生成的特征图利用512×3×3的卷积层来对行人特征进行转换，接着在特征图的每个位置利用9个目标框将原始图像像素转换成一个新的特征图和一个Soft-max分类器来预测每个目标框是否包含行人在内，同时还包括了一个线性回归器来调整目标框的位置；在非极大抑制过后仅保留128个调整后的边界框作为最终的区域，然后通过ResNet-50提取车主的行人特征P1；步骤1.4，车主下车画面同时也通过DeepID人脸识别算法，提取车主的人脸特征F1；步骤1.5，检测出车主在画面中的区域后，使用Openpose算法得到车主骨架关节点的特征信息Jn1；步骤1.6，将车牌预测结果V、车主的行人特征P1和车主骨架关节点的特征信息fn1，根据车位编号n做好一一对应的标记，记为In＝{Pn1，Fn1，Jn1,Vn}，并在服务器内进行保存，直到车辆驶出后清除。3.根据权利要求1所述的基于人...

【专利技术属性】
技术研发人员：章东平，郑寅，
申请(专利权)人：中国计量大学，
类型：发明
国别省市：浙江,33