【技术实现步骤摘要】
本专利技术涉及智能交通领域，尤其涉及重点车辆管理领域，具体是指一种基于时空多特征协同和视图感知实现异常行为车辆分析处理的方法、装置、处理器及其计算机可读存储介质。
技术介绍
1、随着社会的不断发展，重点车辆管理成为了一个越来越重要的问题。重点车辆不仅包括政府机关、军队、警察等单位车辆，还包括危化品车、重型货车、公路客运车等。这些车辆的管理与监管，关系到公共安全和社会稳定。在重点车辆管理中，主要依靠加强监管措施，政府部门通过发布相关监管政策和法律法规，规范重点车辆管理的各个方面；交管部门通过加强对重点车辆的巡逻和抽查。但是这些工作都只能被动的对重点车辆进行监管或者发生事故和违法行为后进行回溯，无法主动地发现重点车辆在营运途中出现的异常行为，提前控制这些行为造成的风险。重型货车、装卸车等一些重点车辆司机为了躲避电子眼抓拍，安装了翻牌器、光盘或泥土等故意将车牌遮挡，在行驶过程中驾驶人无视道路交通法律法规，极易做出超速行驶、违法超车、闯红灯等诸多违法行为，会扰乱正常的交通秩序，存在极大的安全隐患。同时，发生交通肇事逃逸事故后，由于车牌被遮挡，目击证人、电子警察都无法记录肇事车辆的车牌号码，给事故处理带来极大难度。
2、近年来，伴随着深度学习和云计算技术的发展，固定监控视频的解析取得了长足的发展，包括卡口抓拍、电警图像、治安监控为主的视频资源，相当部分做了结构化描述，为公安各警种业务提供支撑。同时，利用监控视频和智能化技术结合违法行为的规律，形成一系列技战法，主动发现存在异常行为(如遮挡号牌、闯禁、肇事逃逸等重点交通违法行为)
技术实现思路
1、本专利技术的目的是克服了上述现有技术的缺点，提供了一种满足准确性高、操作简便、适用范围较为广泛的基于时空多特征协同和视图感知实现异常行为车辆分析处理的方法、装置、处理器及其计算机可读存储介质。
2、为了实现上述目的，本专利技术的基于时空多特征协同和视图感知实现异常行为车辆分析处理的方法、装置、处理器及其计算机可读存储介质如下：
3、该基于时空多特征协同和视图感知实现异常行为车辆分析处理的方法，其主要特点是，所述的方法包括以下步骤：
4、(1)使用训练后的目标检测和分类模型对道路安装的电警和卡口中抓拍的车辆图片提取视觉特征；使用预训练的多粒度特征提取模型提取512维的车辆前脸特征和512维的车辆尾部特征进行对目标车辆的相似度特征预估；
5、(2)利用步骤(1)输出的车辆目标，通过训练后的ocr算法模型对车辆的号牌进行检测识别，主动发现被遮挡号牌的车辆，并定义为目标车辆；
6、(3)设计多模态聚类算法，构建车辆重识别模块；
7、(4)以被判定为遮挡号牌车辆作为目标车辆，利用基于多模态特征结合目标出现的时间、地图上的经纬度和路网可视方向，设计的时空车辆轨迹模块恢复连续记录之间的最大概率轨迹，协同优化时空车辆轨迹模块，构建时空车辆轨迹模块，恢复最大后验轨迹；
8、(5)利用步骤(4)中的时空车辆轨迹模块，在历史数据中对目标车辆的轨迹进行复原，在历史数据中关联该故意遮挡号牌车辆的真实车牌号码，同时对该异常行为车辆进行布控，实现对异常行为车辆的主动发现和追踪。
9、较佳地，所述的步骤(1)中提取图片视觉特征采用多标签多任务分类模型，具体包括以下步骤：
10、(1.1)训练多标签多任务分类模型；
11、(1.2)设计车辆重识别模块的多粒度特征提取模型，将同一车辆的车辆正面和车前脸的局部部件输入到网络中提取一个特征，将车辆背面和车尾的局部部件输入到网络中提取一个特征，将这些特征以不同的尺度结合并进行预估；
12、(1.3)使用训练的目标分类和特征提取模型对通过道路上电警和卡口设备中的抓拍车辆图片提取视觉特征。
13、较佳地，所述的车辆前脸特征由车头的全局特征256维和多粒度车辆局部特征256维组成，所述的车尾特征由车尾的全局特征256维和多粒度车尾局部特征256维组成。
14、较佳地，所述的步骤(2)中主动发现被遮挡号牌的车辆，具体包括以下步骤：
15、(2.1)利用yolo检测模型对步骤(1)中检测到的过车图片的车牌区域进行定位。
16、(2.2)采用视觉注意力的文字识别算法，对步骤(2.1)中定位到的车牌区域内的文字进行识别；
17、(2.3)若检测到车牌类别标签为object-class为2，则该车牌号码有遮挡，输入车牌号码识别模型，输出结果中缺失的部分用*号代替。
18、较佳地，所述的步骤(3)中构建车辆重识别模块，具体包括以下步骤：
19、(3.1)设计多模态聚类算法，输入(1)和(2)中提取的车辆结构化特征fa、车辆的全局和多粒度局部特征fv、车牌特征fp和动态embedding特征fd，由两者的加权cosine相似度计算两条记录的相似度；
20、(3.2)利用所述的车辆结构化特征fa、车辆的全局和多粒度局部特征fv和车牌特征fp搜索每个车辆记录topn的车辆形成knn集合，遍历每条车辆记录，将包含每条记录对应的knn的类别作为该条记录的候选聚类类别，结合多模块相似度判别是否融入现有类别或新建一个类别。
21、较佳地，所述的步骤(3.1)中计算两条记录的相似度，具体为：
22、根据以下公式计算两条记录的相似度：
23、
24、其中，fa表示目标车辆的视觉特征、fv表示目标车辆的1024维多粒度深度特征、fp表示目标车辆的车牌特征、fd表示动态特征，wa、wv、wp、wd是超参，i和j分别表示两条记录。
25、较佳地，所述的步骤(4)中构建时空车辆轨迹模块，具体包括以下步骤：
26、(4.1)以被判定为遮挡号牌车辆作为目标车辆，获取该目标车辆出现的时间ts、相机点位在地图上的经纬度rs和行驶路网可视方向os作为时空车辆轨迹的初始记录；
27、(4.2)采用最佳优选搜索算法，对比邻点与目标点的距离最短来确定；
28、(4.3)将(3)中的多模态聚类结果作时空车辆轨迹模块的输入，恢复最大后验轨迹。
29、较佳地，所述的步骤(5)中在历史数据中关联该故意遮挡号牌车辆的真实车牌号码，具体包括以下步骤：
30、(5.1)对(2)中发现的遮挡号牌车辆作为目标车辆，通过(4)对该车辆的历史轨迹进行复原，关联出目标车辆在历史数据中未遮挡号牌图片中的真实车牌号码和对应驾驶员的身份信息；
31、(5.2)通过(4)的多模态聚类特征和时空轨迹模块，利用目标车辆的轨迹信息作为初始信息对该目标进行实时布控和追踪。
32、该用于实现基于时空多特征协同和视图感知的异常行为车辆分析处理的装置，其主要特点是，所述的装置包括：...
【技术保护点】
1.一种基于时空多特征协同和视图感知实现异常行为车辆分析处理的方法，其特征在于，所述的方法包括以下步骤：
2.根据权利要求1所述的基于时空多特征协同和视图感知实现异常行为车辆分析处理的方法，其特征在于，所述的步骤(1)中提取图片视觉特征采用多标签多任务分类模型，具体包括以下步骤：
3.根据权利要求1所述的基于时空多特征协同和视图感知实现异常行为车辆分析处理的方法，其特征在于，所述的车辆前脸特征由车头的全局特征256维和多粒度车辆局部特征256维组成，所述的车尾特征由车尾的全局特征256维和多粒度车尾局部特征256维组成。
4.根据权利要求1所述的基于时空多特征协同和视图感知实现异常行为车辆分析处理的方法，其特征在于，所述的步骤(2)中主动发现被遮挡号牌的车辆，具体包括以下步骤：
5.根据权利要求1所述的基于时空多特征协同和视图感知实现异常行为车辆分析处理的方法，其特征在于，所述的步骤(3)中构建车辆重识别模块，具体包括以下步骤：
6.根据权利要求5所述的基于时空多特征协同和视图感知实现异常行为车辆分析处理的方法，其特征在
7.根据权利要求1所述的实现基于时空多特征协同和视图感知实现异常行为车辆分析处理的方法，其特征在于，所述的步骤(4)中构建时空车辆轨迹模块，具体包括以下步骤：
8.根据权利要求1所述的基于时空多特征协同和视图感知实现异常行为车辆分析处理的方法，其特征在于，所述的步骤(5)中在历史数据中关联该故意遮挡号牌车辆的真实车牌号码，具体包括以下步骤：
9.一种用于实现基于时空多特征协同和视图感知的异常行为车辆分析处理的装置，其特征在于，所述的装置包括：
10.一种用于实现基于时空多特征协同和视图感知的异常行为车辆分析处理的处理器，其特征在于，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现权利要求1至8中任一项所述的基于时空多特征协同和视图感知实现异常行为车辆分析处理的方法的各个步骤。
11.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现权利要求1至8中任一项所述的基于时空多特征协同和视图感知实现异常行为车辆分析处理的方法的各个步骤。
...【技术特征摘要】
1.一种基于时空多特征协同和视图感知实现异常行为车辆分析处理的方法，其特征在于，所述的方法包括以下步骤：
2.根据权利要求1所述的基于时空多特征协同和视图感知实现异常行为车辆分析处理的方法，其特征在于，所述的步骤(1)中提取图片视觉特征采用多标签多任务分类模型，具体包括以下步骤：
3.根据权利要求1所述的基于时空多特征协同和视图感知实现异常行为车辆分析处理的方法，其特征在于，所述的车辆前脸特征由车头的全局特征256维和多粒度车辆局部特征256维组成，所述的车尾特征由车尾的全局特征256维和多粒度车尾局部特征256维组成。
4.根据权利要求1所述的基于时空多特征协同和视图感知实现异常行为车辆分析处理的方法，其特征在于，所述的步骤(2)中主动发现被遮挡号牌的车辆，具体包括以下步骤：
5.根据权利要求1所述的基于时空多特征协同和视图感知实现异常行为车辆分析处理的方法，其特征在于，所述的步骤(3)中构建车辆重识别模块，具体包括以下步骤：
6.根据权利要求5所述的基于时空多特征协同和视图感知实现异常行为车辆分析处理的方法，其特征在于，所述的步骤(3.1)中...
【专利技术属性】
技术研发人员：段娜，吴松洋，尚岩峰，刘娜，
申请(专利权)人：公安部第三研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。