一种基于AI的过街行人交通违章自动抓拍及分析方法技术

本发明专利技术公开一种基于AI的过街行人交通违章自动抓拍及分析方法，采用语义识别算法识别出视频帧图像中的斑马线区域；采用目标检测算法识别出视频帧中的行人、自行车和电动车；然后识别出识别出骑电动车的行人；判断骑行者是否佩戴头盔；如果没带头盔，则是识别出人脸和电动车的车牌；判断交通信号灯的状态，如果是红灯，则判断是否在闯红灯；如果不是红灯，则调用目标跟踪算法，统计一个绿灯阶段通过斑马线的行人、自行车和电动车的流量。本发明专利技术实现完全自动化和智能化的过街行人交通违章的判定与取证，全程无需人工干预，节省了交通执法的警力人力，而强大的取证功能使得本发明专利技术对交通违章者具有硬约束力。违章者具有硬约束力。违章者具有硬约束力。

【技术实现步骤摘要】
一种基于AI的过街行人交通违章自动抓拍及分析方法


[0001]本专利技术属于人工智能
，具体涉及一种基于AI的过街行人交通违章自动抓拍及分析方法。

技术介绍

[0002]随着国家鼓励绿色出行，路面上自行车和电动自行车也越来越多，自行车和电动车闯红灯、骑电动车不戴头盔的现象也越来越普遍。对于这类行人交通违章行为，传统的应对方法，一是宣传教育，二是交警到现场人工执法，三是在路口安装监控摄像头进行拍照录像。
[0003]但是这几种方法都存在很明显的局限性。第一种方法宣传教育力度再大，终究缺乏硬约束力，且短时间很难有显著效果。而第二种方法交警现场人工执法则受限于警力人力，不可能在每个路口长期普遍施行。第三种方法，通过监控摄像头对交通违法行为进行拍照录像，看似在自动化智能化的方法上前进了一大步，实际上对具体交通违法个体的追究查处，还是要依赖后期对图像视频的人工回放、肉眼识别、取证，依然需要耗费大量人力，效率并不高。综上，目前的对过街行人交通违章识别与取证过程中存在的约束力不强、自动化程度不高、严重依赖交警人力执法。

技术实现思路

[0004]本专利技术解决的技术问题：提供一种实现完全自动化和智能化的过街行人交通违章的判定与取证，全程无需人工干预的基于AI的过街行人交通违章自动抓拍及分析方法。
[0005]技术方案：为了解决上述技术问题，本专利技术采用的技术方案如下：
[0006]一种基于AI的过街行人交通违章自动抓拍及分析方法，包括一下步骤：
[0007]步骤1：首先采用语义识别算法识别出视频帧图像中的斑马线区域；
[0008]步骤2：采用目标检测算法识别出视频帧中的行人、自行车和电动车；
[0009]步骤3：然后识别出行人与自行车或电动车的骑行关系，进行关联绑定，识别出骑电动车的行人；
[0010]步骤4：采用目标检测算法判断出骑行者是否佩戴头盔；如果没带头盔，则是识别出人脸和电动车的车牌；
[0011]步骤5：判断交通信号灯的状态，如果是红灯，则将视频帧中的行人、自行车和电动车与斑马线区域进行对比，根据重叠比例判断是否在闯红灯；
[0012]步骤6：如果不是红灯，则调用目标跟踪算法，统计一个绿灯阶段通过斑马线的行人、自行车和电动车的流量。
[0013]进一步地，步骤1中，语义分割算法包括以下步骤：
[0014]步骤11：首先进行视频帧图像的语义分支的高维特征提取；
[0015]步骤12：将高维特征图下采样1/4尺寸的特征图经过池化层，并与下采样 1/16尺寸特征图经过上采样之后的结果合并为空间分支的输出特征图，进入特征融合模块；
[0016]步骤13：语义分支将ResNet的4个Bottleneck对应特征图分别经过卷积层，并在通道维度归一化为128维特征图，之后进行合并压缩到适合特征融合模块输入的通道维度特征图，在经过上采样模块之后进入特征融合模块；
[0017]步骤14：特征融合模块将空间分支和语义分支的输出特征进行特征融合。
[0018]进一步地，步骤14中，特征融合模块将空间分支和上下文语义的输出特征连接起来，然后利用批处理归一化来平衡特征的尺度。将连接的特征集合到一个特征向量中，并计算一个权值向量，该权重向量可以对特征进行重新加权，最终得到视频帧图像中的斑马线区域。
[0019]进一步地，采用目标检测算法识别出其中的行人、自行车和电动车的具体步骤包括：步骤21：准备与行人、电动车和自行车相关的数据集，将数据集划分测试集、验证集和训练集，进行模型预训练；
[0020]步骤22：输入视频帧图像，利用预训练好的模型进行初始多层次特征提取并对初始多层次进行特征编码。
[0021]步骤23：利用残差特征重构模块通过集成不同提取特征范围的卷积、空洞卷积操作以及特征重构操作从初始多层次特征中高效提取局部和全局上下文信息，聚合上下文信息优化初始多层次特征；
[0022]步骤24：通过残差短连接操作，交互包含不同信息的优化后的多层次特征，生成即包含准确显著性目标信息又具有丰富目标边缘细节信息的特征表示；
[0023]步骤25：将特征表示进行降维激活生成最原始的显著性图，然后使用多次监督策略利用真值标签对算法进行训练，生成损失最小的参数文件。
[0024]进一步地，步骤4中，如果确实没戴头盔，则调用人脸识别算法识别出该行人的人脸，及调用车牌识别算法识别出电动车的车牌；人脸识别时的具体方式如下：
[0025]步骤31：首先对视频帧图像进行预处理；
[0026]步骤32：然后基于预处理的结果，从人脸图像中提取左眼、右眼、鼻子、嘴巴四个区块，接着训练各区块的网络模型，并提取对应的特征，然后训练各区块的遮挡判别网络获取遮挡判别结果；
[0027]步骤33：最后根据各区块的遮挡判别结果融合其特征；
[0028]步骤34：在线识别阶段，采用与离线训练阶段相同的方法提取得到人脸图像特征，然后进行特征查询，从而得到识别的结果。
[0029]进一步地，步骤34中，特征查询采用索引的方式，将人脸图像特征与数据库中的人脸进行识别对比，数据库采用公安部门的数据库；基于K
‑
D树构建特征索引，每棵K
‑
D树的节点数在15万个以内；每张人脸图像提取出4部分特征，对于这四个特征，扩展出15个特征用于构造K
‑
D树。
[0030]进一步地，如果确实在闯红灯，则调用人脸识别算法识别出该行人的人脸，或者调用车牌识别算法识别出电动车的车牌。
[0031]有益效果：与现有技术相比，本专利技术具有以下优点：
[0032]本专利技术中的方法则是采用计算机视觉方法的人工智能新技术，对摄像头获取的图像和视频进行行人交通违章行为的判定与取证。全程无需人工现场干预，实现了最大程度的自动化和智能化。而且具备综合的判定与取证功能，可以识别出行人、自行车、电动车等
多种交通个体闯红灯和行人骑电动车不戴头盔的违法行为，条件允许的情况下可以识别人脸或者电动车车牌作为证据。自动化与智能化大大降低了对交通执法人员的人力需求，而强大的取证功能则使得本方法对行人具有硬约束力，也使得本专利技术具备较强的实用性。
[0033]本专利技术实现完全自动化和智能化的过街行人交通违章的判定与取证，全程无需人工干预，节省了交通执法的警力人力，而强大的取证功能使得本专利技术对交通违章者具有硬约束力。
附图说明
[0034]图1是基于AI的过街行人交通违章自动抓拍及分析方法流程图。
具体实施方式
[0035]下面结合具体实施例，进一步阐明本专利技术，实施例在以本专利技术技术方案为前提下进行实施，应理解这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围。
[0036]如图1所示，本申请的基于AI的过街行人交通违章自动抓拍及分析方法，包括以下步骤：
[0037]步骤1：首先调用语义分割算法识别出视频帧图像中的斑马线区域；具体实现本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于AI的过街行人交通违章自动抓拍及分析方法，其特征在于，包括一下步骤：步骤1：首先采用语义识别算法识别出视频帧图像中的斑马线区域；步骤2：采用目标检测算法识别出视频帧中的行人、自行车和电动车；步骤3：然后识别出行人与自行车或电动车的骑行关系，进行关联绑定，识别出骑电动车的行人；步骤4：采用目标检测算法判断出骑行者是否佩戴头盔；如果没带头盔，则是识别出人脸和电动车的车牌；步骤5：判断交通信号灯的状态，如果是红灯，则将视频帧中的行人、自行车和电动车与斑马线区域进行对比，根据重叠比例判断是否在闯红灯；步骤6：如果不是红灯，则调用目标跟踪算法，统计一个绿灯阶段通过斑马线的行人、自行车和电动车的流量。2.根据权利要求1所述的基于AI的过街行人交通违章自动抓拍及分析方法，其特征在于：步骤1中，语义分割算法包括以下步骤：步骤11：首先进行视频帧图像的语义分支的高维特征提取；步骤12：将高维特征图下采样1/4尺寸的特征图经过池化层，并与下采样1/16尺寸特征图经过上采样之后的结果合并为空间分支的输出特征图，进入特征融合模块；步骤13：语义分支将ResNet的4个Bottleneck对应特征图分别经过卷积层，并在通道维度归一化为128维特征图，之后进行合并压缩到适合特征融合模块输入的通道维度特征图，在经过上采样模块之后进入特征融合模块；步骤14：特征融合模块将空间分支和语义分支的输出特征进行特征融合。3.根据权利要求2所述的基于AI的过街行人交通违章自动抓拍及分析方法，其特征在于：步骤14中，特征融合模块将空间分支和上下文语义的输出特征连接起来，然后利用批处理归一化来平衡特征的尺度。将连接的特征集合到一个特征向量中，并计算一个权值向量，该权重向量可以对特征进行重新加权，最终得到视频帧图像中的斑马线区域。4.根据权利要求1所述的基于AI的过街行人交通违章自动抓拍及分析方法，其特征在于：采用目标检测算法识别出其中的行人、自行车和电动车的具体步骤包括：步骤21：准备与行人、电动车和自行车相关的数据集，将数据集划分测试集、验证集和训练...

【专利技术属性】
技术研发人员：杨朝友，李大为，刘刚，李鹏远，孙婧，谢维华，孔凡全，吴港书，詹孝芸，
申请(专利权)人：扬州市法马智能设备有限公司，
类型：发明
国别省市：