基于视频结构化的警用行人轻生行为预警方法技术

一种基于视频结构化的警用行人轻生行为预警方法，在桥头堡、和或桥面、和或桥墩设置若干摄像头，摄像头的数量至少要全面覆盖桥头堡、和或桥面、和或桥墩视频监控区域，摄像头通过有线或无线网络接入网络；摄像头对行人面部特征、和或攀爬和或翻阅大桥护栏的行为图像、和或徘徊行为图像、和或落水水花图像、和或围观行为视频图像进行采集，边缘服务器对视频图像进行识别，识别出轻生行为，并生成预警信息发送给大桥值班民警。本发明专利技术用AI行人轻生行为识别模型预警，辅助有关部门对桥面、水面的治安态势感知。相较于群众报警和人工视频排查，预警时效性高、事件覆盖率高、信息全面精准、特殊天气下鲁棒性高。殊天气下鲁棒性高。

【技术实现步骤摘要】
基于视频结构化的警用行人轻生行为预警方法


[0001]本专利技术涉及AI行为识别预警领域，具体的说涉及一种基于视频结构化技术的警用行人轻生行为预警方法、AI行人轻生行为识别模型、AI行人轻生行为识别方法。

技术介绍

[0002]投水，是自杀人员经常选择的结束生命的方式，在有关部门对桥面水面的治安管理实务中，主要靠群众发现报警和人工排查监控视频两种方法和相关技术应对。因为行人轻生场景的特殊性，对跳桥人员管控、营救难度大，始终难以高精度、高效率的解决预警问题。场景的复杂性主要体现在：1、跳桥轻生人员通常翻过围栏没有犹豫，事发突然而且迅速，导致跳桥事件发生后，周边人群没有发现，导致不能及时报警。接到警情时，警方已经错过救援黄金时间。
[0003]2、报警的人，对跳桥人的落水位置描述不精确，导致出船后，难以快速定位人员落水位置，无法第一时间赶到落水点，错失营救时间。
[0004]3、群众对跳桥事件不敏感，并且有看热闹的心态。一些翻过围栏尚在犹豫的人员，大多数人仅是围观并不会报警，使得跳桥行为预警也不及时。同样深夜在桥面徘徊、驻留等异常行为，就更难发现和预警。
[0005]4、夜间、雾霾、大雨等条件下，肉眼能见度受限的情况时，造成跳桥事件和人员异常行为的发现、告警、营救等实战工作更加困难。
[0006]总的来说，传统管理方法中，依靠群众报警处理行人轻生行为预警覆盖率低、信息不准确；警力排查相关监控视频，辅助发现行人轻生行为，排查效率较低、漏报率高、无法应对特殊天气预警问题，没有很好的解决行人轻生行为的预警问题。

技术实现思路

[0007]为了解决上述技术问题，本专利技术提出一种基于视频结构化技术的警用行人轻生行为预警方法，在桥头堡、和或桥面、和或桥墩设置若干摄像头，摄像头的数量至少要全面覆盖桥头堡、和或桥面、和或桥墩视频监控区域，摄像头通过有线或无线网络接入网络；所述摄像头对行人面部特征、和或攀爬和或翻阅大桥护栏的行为图像、和或徘徊行为图像、和或落水水花图像、和或围观行为视频图像进行采集。
[0008]（1）摄像头对行人面部特征进行识别，识别出人脸特征码，将人脸特征码发送至边缘服务器，边缘服务器将人脸特征码与数据库中有关人员的人脸特征码进行比对，得到比对结果，对于比对成功的，边缘服务器将有关人员信息发送给行人轻生行为预警系统，轻生行为预警系统通知值班民警；(2)摄像头对攀爬和或翻阅大桥护栏的行为视频图像进行采集，将采集到的攀爬和或翻阅大桥护栏的视频图像发送给边缘服务器，边缘服务器对攀爬和或翻阅大桥护栏的视频图像进行设别，识别出攀爬和或翻阅大桥护栏行为视频片段关键帧，截取关键帧前后至少1秒的视频流，生成预警信息，边缘服务器将预警信息发送给行人轻生行为预警系统，
轻生行为预警系统将预警信息通知值班民警；(3)摄像头对徘徊行为视频图像进行采集，将采集到的徘徊行为视频图像发送给边缘服务器，边缘服务器对徘徊行为视频图像进行设别，识别出徘徊行为视频片段关键帧，截取关键帧前后至少1秒的视频流，生成预警信息，边缘服务器将预警信息发送给行人轻生行为预警系统，轻生行为预警系统将预警信息通知值班民警；(4)摄像头对对落水水花视频图像进行采集，将采集到的落水水花视频图像发送给边缘服务器，边缘服务器对落水水花视频图像进行识别，识别出轻生人员落水水花视频关键帧，截取关键帧前后至少1秒的视频流，生成预警信息，边缘服务器将预警信息发送给行人轻生行为预警系统，轻生行为预警系统将预警信息通知值班民警；(5)摄像头对对围观行为视频图像进行采集，将采集到的围观行为视频图像发送给边缘服务器，边缘服务器对围观行为视频图像进行识别，识别出围观行为视频关键帧，截取关键帧前后至少1秒的视频流，生成预警信息，边缘服务器将预警信息发送给行人轻生行为预警系统，轻生行为预警系统将预警信息通知值班民警。
[0009]进一步的，在桥头堡设置A组摄像头，摄像头A组包括若干摄像头，A组摄像头的数量至少全面覆盖桥头堡视频监控区域；A组摄像头为具有人脸识别功能的网络摄像头；在桥面设置B组摄像头，摄像头B组包括若干摄像头，B组摄像头的数量至少全面覆盖桥面视频监控区域；B组摄像头包括具有人脸识别功能的网络摄像头和具有视频采集功能的网络摄像头；在桥墩设置C组摄像头，摄像头C组包括若干摄像头，C组摄像头的数量至少全面覆盖桥墩视频监控区域；C组摄像头为具有视频采集功能的摄像头。
[0010]进一步的，所述预警信息还包括位置信息；摄像头在采集视频数据向边缘服务器发送数据的同时，还向边缘服务器发送摄像头的ID编号，所述边缘服务器上还包括各摄像头ID编号对照表，以及各摄像头ID编号所对应的位置地图，边缘服务器根据摄像头的ID编号生成位置信息，边缘服务器将识别出危险行为的摄像头位置信息同步发送给值班民警。
[0011]进一步的，所述基于视频结构化的警用行人轻生行为预警方法，还包括时序关系的判断；具有视频采集功能的网络摄像头在采集视频图像时，同时记录视频图像发生的时间，并将带有时间的视频图像发送给边缘服务器；具有人脸识别功能的网络摄像头在对行人面部特征进行识别，识别出人脸特征码的同时，记录行人面部特征进行识别的时间，并将带有时间的人脸特征码发送给边缘服务器；以X1代表边缘服务器将人脸特征码与数据库中有关人员的人脸特征码进行比对，比对成功；以X2代表边缘服务器对攀爬和或翻阅大桥护栏的视频图像进行设别，识别出攀爬和或翻阅大桥护栏行为视频片段关键帧；以X3代表边缘服务器对徘徊行为视频图像进行设别，识别出徘徊行为视频片段关键帧；以X4代表边缘服务器对落水水花视频图像进行识别，识别出轻生人员落水水花视频关键帧；
以X5代表边缘服务器对围观行为视频图像进行识别，识别出围观行为视频关键帧；X1、X2、X3、X4、X5为时序关系，当后序预警发生时，前推若干时间，若在指定的时间内发生任何前序预警，则预警级别为特别严重关注。
[0012]优选的，前推的时间至少为5分钟，较佳的为15分钟、20分钟、30分钟、40分钟、50分钟、60分钟、70分钟、80分钟。
[0013]优选的，X1、X2、X3、X4、X5为时序关系，当后序预警发生时，前推1小时，若在指定的时间内发生任何前序预警，则预警级别为特别严重关注。边缘服务器将特别严重关注信息推送给大桥值班民警。
[0014]进一步的，A组摄像头和或B组摄像头中具有人脸识别功能的网络摄像头中的任何一个摄像头对行人面部特征进行识别获得人脸特征码，并将人脸特征码发送至边缘服务器，边缘服务器将人脸特征码与数据库中的有关人员的人脸特征码进行比对，得到比对结果，所述比对结果包括比对成功的和未比对成功的，对于比对成功的，边缘服务器将有关人员信息发送给安装在公共安全主管部门网络中的行人轻生行为预警系统，行人轻生行为预警系统再将有关人员信息通过网络推送给值班民警。
[0015]进一步的，所述边缘服务器通过网络接入公共安全主管部门网络，并通过网络获取公共安全主管部门网络资源；所述数据库为公安掌握的有关人员信息数据库；所述数据库本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于视频结构化的警用行人轻生行为预警方法，其特征在于：在桥头堡、和或桥面、和或桥墩设置若干摄像头，摄像头的数量至少要全面覆盖桥头堡、和或桥面、和或桥墩视频监控区域，摄像头通过有线或无线网络接入网络；所述摄像头对行人面部特征、和或攀爬和或翻阅大桥护栏的行为图像、和或徘徊行为图像、和或落水水花图像、和或围观行为视频图像进行采集；（1）摄像头对行人面部特征进行识别，识别出人脸特征码，将人脸特征码发送至边缘服务器，边缘服务器将人脸特征码与数据库中有关人员的人脸特征码进行比对，得到比对结果，对于比对成功的，边缘服务器将有关人员信息发送给行人轻生行为预警系统，轻生行为预警系统通知值班民警；(2)摄像头对攀爬和或翻阅大桥护栏的行为视频图像进行采集，将采集到的攀爬和或翻阅大桥护栏的视频图像发送给边缘服务器，边缘服务器对攀爬和或翻阅大桥护栏的视频图像进行设别，识别出攀爬和或翻阅大桥护栏行为视频片段关键帧，截取关键帧前后至少1秒的视频流，生成预警信息，边缘服务器将预警信息发送给行人轻生行为预警系统，轻生行为预警系统将预警信息通知值班民警；(3)摄像头对徘徊行为视频图像进行采集，将采集到的徘徊行为视频图像发送给边缘服务器，边缘服务器对徘徊行为视频图像进行设别，识别出徘徊行为视频片段关键帧，截取关键帧前后至少1秒的视频流，生成预警信息，边缘服务器将预警信息发送给行人轻生行为预警系统，轻生行为预警系统将预警信息通知值班民警；(4)摄像头对对落水水花视频图像进行采集，将采集到的落水水花视频图像发送给边缘服务器，边缘服务器对落水水花视频图像进行识别，识别出轻生人员落水水花视频关键帧，截取关键帧前后至少1秒的视频流，生成预警信息，边缘服务器将预警信息发送给行人轻生行为预警系统，轻生行为预警系统将预警信息通知值班民警；(5)摄像头对对围观行为视频图像进行采集，将采集到的围观行为视频图像发送给边缘服务器，边缘服务器对围观行为视频图像进行识别，识别出围观行为视频关键帧，截取关键帧前后至少1秒的视频流，生成预警信息，边缘服务器将预警信息发送给行人轻生行为预警系统，轻生行为预警系统将预警信息通知值班民警。2.根据权利要求1所述的基于视频结构化的警用行人轻生行为预警方法，其特征在于：在桥头堡设置A组摄像头，摄像头A组包括若干摄像头，A组摄像头的数量至少全面覆盖桥头堡视频监控区域；A组摄像头为具有人脸识别功能的网络摄像头；在桥面设置B组摄像头，摄像头B组包括若干摄像头，B组摄像头的数量至少全面覆盖桥面视频监控区域；B组摄像头包括具有人脸识别功能的网络摄像头和具有视频采集功能的网络摄像头；在桥墩设置C组摄像头，摄像头C组包括若干摄像头，C组摄像头的数量至少全面覆盖桥墩视频监控区域；C组摄像头为具有视频采集功能的摄像头。3.根据权利要求1所述的基于视频结构化的警用行人轻生行为预警方法，其特征在于：所述预警信息还包括位置信息；摄像头在采集视频数据向边缘服务器发送数据的同时，还向边缘服务器发送摄像头的ID编号，所述边缘服务器上还包括各摄像头ID编号对照表，以及各摄像头ID编号所对应的位置地图，边缘服务器根据摄像头的ID编号生成位置信息，边缘服务器将识别出危险行为的摄像头位置信息同步发送给值班民警。
4.根据权利要求2所述的基于视频结构化的警用行人轻生行为预警方法，其特征在于：还包括时序关系的判断；具有视频采集功能的网络摄像头在采集视频图像时，同时记录视频图像发生的时间，并将带有时间的视频图像发送给边缘服务器；具有人脸识别功能的网络摄像头在对行人面部特征进行识别，识别出人脸特征码的同时，记录行人面部特征进行识别的时间，并将带有时间的人脸特征码发送给边缘服务器；以X1代表边缘服务器将人脸特征码与数据库中有关人员的人脸特征码进行比对，比对成功；以X2代表边缘服务器对攀爬和或翻阅大桥护栏的视频图像进行设别，识别出攀爬和或翻阅大桥护栏行为视频片段关键帧；以X3代表边缘服务器对徘徊行为视频图像进行设别，识别出徘徊行为视频片段关键帧；以X4代表边缘服务器对落水水花视频图像进行识别，识别出轻生人员落水水花视频关键帧；以X5代表边缘服务器对围观行为视频图像进行识别，识别出围观行为视频关键帧；X1、X2、X3、X4、X5为时序关系，当后序预警发生时，前推若干时间，若在指定的时间内发生任何前序预警，则预警级别为特别严重关注。5.根据权利要求2所述的基于视频结构化的警用行人轻生行为预警方法，其特征在于：A组摄像头和或B组摄像头中具有人脸识别功能的网络摄像头中的任何一个摄像头对行人面部特征进行识别获得人脸特征码，并将人脸特征码发送至边缘服务器，边缘服务器将人脸特征码与数据库中的有关人员的人脸特征码进行比对，得到比对结果，所述比对结果包括比对成功的和未比对成功的，对于比对成功的，边缘服务器将有关人员信息发送给安装在公共安全主管部门网络中的行人轻生行为预警系统，行人轻生行为预警系统再将有关人员信息通过网络推送给值班民警。6.根据权利要求3所述的基于视频结构化的警用行人轻生行为预警方法，其特征在于：所述边缘服务器通过网络接入公共安全主管部门网络，并通过网络获取公共安全主管部门网络资源；所述数据库为公安掌握的有关人员信息数据库；所述数据库安装在边缘服务器上，数据库与公共安全主管部门网络中的有关人员信息同步。7.根据权利要求1所述的基于视频结构化的警用行人轻生行为预警方法，其特征在于：在边缘服务器上设有基于AI技术的危险行为识别系统，所述基于AI技术的危险行为识别系统采用...

【专利技术属性】
技术研发人员：吴伟，张嵘，张勇，张鲁宁，李鑫，
申请(专利权)人：南京金盾公共安全技术研究院有限公司，
类型：发明
国别省市：