【技术实现步骤摘要】
本专利技术涉及校园安全，具体涉及一种基于视频和语音识别的校园防欺凌方法和系统。
技术介绍
1、校园安全问题关系着社会的稳定，更牵动着万千家庭；近年来，随着校园霸凌事件的频繁发生，校园霸凌受到了广大家长以及社会人员的关注，校园霸凌事件给青少年的成长带来了身心的不良影响，因此，亟需提高校园的安全防护。
2、目前，校园防欺凌的方法是通过视频监控数据确定可疑目标区域，然后获取可疑目标区域语音数据，通过将语音数据转换为识别文字，判定存在与欺凌词汇一致的识别文字，然后通过视频逐帧解析人物表情，来确定是否存在校园欺凌行为，判定存在欺凌行为后根据声纹数据识别对象，发送告警给该对象的班主任及家长。
3、而在视频监控方面，传统的防止欺凌的视频监控系统主要是基于在可见摄像头监控范围内发生的欺凌事件来进行预防和干预的；然而，大多数欺凌行为往往发生在隐蔽的地方，这些地方往往是摄像头无法覆盖或者故意被欺凌者避开的；因此，这种传统的防欺凌视频系统在实际的应用中效果并不理想；另外，视频信号中的情感判断受多种因素影响，虽然视频中的人脸表情是情感判断的重要依据，但人脸表情的识别和判断受到光照条件、面部朝向、遮挡等多种因素的影响；此外，背景、环境等因素也会对视频情感分析造成干扰。
4、而且传统的语音识别仅是基于关键词告警技术来识别预设欺凌语句，再由声纹数据分析欺凌参与者后自动联系其班主任，其严重依赖于音频提取的准确性，且仅可以识别预设的欺凌语句，因此相应的识别范围就会受到限制，然而校园欺凌并不一定涉及欺凌语句，在此情况下就不能有效
技术实现思路
1、针对上述问题，本专利技术的一个目的是提供一种基于视频和语音识别的校园防欺凌方法，该方法通过可俯视校园环境广角变焦摄像头，完成校园公共区域的检测，同时采用音频情绪分析完成对校园高分贝语音进行降噪后分析情绪，识别烦躁、愤怒等低情绪语音，避免了视频信号中的情感判断易受多种因素(光照条件、面部朝向、遮挡)的影响；同时解决了传统关键词报警中的覆盖面不够广的问题，并且能够在欺凌情况无人干预的情况下，触发人工智能干预。
2、本专利技术的第二个目的是提供一种基于视频和语音识别的校园防欺凌系统。
3、本专利技术所采用的第一个技术方案是：一种基于视频和语音识别的校园防欺凌方法，包括以下步骤：
4、s100：创建学生语音数据库、黑名单区域、白名单区域和特定人员人脸图片库；
5、s200：获取校园所有区域的视频数据，对所述视频数据进行抽帧处理以获得若干图片；基于人员聚集检测模型检测出每个图片中的人员聚集区域，以及判断所述人员聚集区域属于黑名单区域还是属于白名单区域，若属于白名单区域，则对该人员聚集区域不做处理，若属于黑名单区域，则获取该人员聚集区域放大图；
6、s300：检测所述人员聚集区域放大图中的人脸区域并截取，获得人脸图片；以及基于人脸比对模型将所述人脸图片与所述特定人员人脸图片库中的人脸图片进行匹配；若匹配到特定人员，则对该特定人员的轨迹进行跟踪；
7、s400：基于该特定人员的轨迹，实时采集该特定人员在黑名单区域的语音信号；并采用语音情绪识别模型对所述语音信号进行识别，获得语音情绪结果；
8、s500：判断所述语音情绪结果是否为低情绪语音，若为低情绪语音，则识别该低情绪语音所对应的学生，并实时通知相关人员。
9、优选地，所述步骤s100包括：
10、录入学生声纹数据，以创建学生语音数据库；
11、基于霸凌多发区域和可能发生霸凌的区域设置黑名单区域；
12、基于霸凌少发区域设置白名单区域；
13、获取疑似被霸凌人员及霸凌人员的人脸图片，创建特定人员人脸图片库。
14、优选地，所述步骤s200中的人员聚集检测模型为yolov5模型。
15、优选地，所述步骤s200包括：
16、将所述人员聚集区域分别与所述黑名单区域和白名单区域做交集处理，若所述人员聚集区域与所述黑名单区域的交集大于设定阈值，则判定该人员聚集区域属于黑名单区域；若所述人员聚集区域与所述白名单区域的交集大于设定阈值，则判定该人员聚集区域属于白名单区域；
17、若该人员聚集区域属于白名单区域，则不做处理，若该人员聚集区域属于黑名单区域，则调用校园区域全部广角变焦摄像头进行多角度拍摄识别，获取该人员聚集区域放大图。
18、优选地，所述步骤s300包括：
19、采用yolov5模型对所述人员聚集区域放大图进行检测，以检测出人脸区域并截取，获得人脸图片；以及基于facenet模型将人脸图片的人脸特征向量与特定人员人脸图片库中的人脸特征向量进行匹配；
20、若匹配到特定人员，则采用deepsort算法对该特定人员的轨迹进行跟踪，并在校园地图模型中标记位置，生成特定人员轨迹图。
21、优选地，所述步骤s400包括：
22、根据特定人员的轨迹，对在黑名单区域徘徊的特定人员，调用附近的拾音器采集特定人员的语音；对采集到的语音通过dpcrn网络进行降噪；再采用tim-net-ser网络模型对降噪后的语音进行识别，得到语音情绪结果。
23、优选地，所述步骤s500包括：
24、若判定所述语音情绪结果为低情绪语音时，则对所述低情绪语音前后一段时间的声音数据进行截取，提取声纹数据；将提取的声纹数据与所述学生语音数据库中的语音进行声纹比对，识别该低情绪语音所对应的学生，并且实时通知相关人员。
25、优选地，所述步骤s500还包括：
26、若判定所述语音情绪结果为情绪稳定，但特定人员处于危险区域，则采用语音交互系统播放语音，以提醒特定人员离开危险区域。
27、优选地，所述步骤s500还包括：
28、若在一段时间内检测到低情绪语音大于或等于设定阈值，则采用语音交互系统将所述低情绪语音转换为文字，识别文字的语义并结合预设的语义数据库，进行自动发声以安慰低情绪学生。
29、本专利技术所采用的第二个技术方案是：一种基于视频和语音识别的校园防欺凌系统，包括数据库创建模块、人员聚集区域检测模块、特定人员识别模块、语音情绪识别模块和预警模块；
30、所述数据库创建模块用于创建学生语音数据库、黑名单区域、白名单区域和特定人员人脸图片库；
31、所述人员聚集区域检测模块用于获取校园所有区域的视频数据，对所述视频数据进行抽帧处理以获得若干图片；基于人员聚集检测模型检测出每个图片中的人员聚集区域，以及判断所述人员聚集区域属于黑名单区域还是属于白名单区域，若属于白名单区域，则对该人员聚集区域不做处理，若属于黑名单区域，则获取该人员聚集区域放大图；
32、所述特定人员识别模块用于检测所述人员聚集区域放大图中的人脸区域并截取，获得人脸图片；以及基于人脸比对模型将所述人脸图片与所述特定人员人脸图片库中的人脸图片进行本文档来自技高网...
【技术保护点】
1.一种基于视频和语音识别的校园防欺凌方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的校园防欺凌方法，其特征在于，所述步骤S100包括：
3.根据权利要求1所述的校园防欺凌方法，其特征在于，所述步骤S200中的人员聚集检测模型为YOLOv5模型。
4.根据权利要求1所述的校园防欺凌方法，其特征在于，所述步骤S200包括：
5.根据权利要求1所述的校园防欺凌方法，其特征在于，所述步骤S300包括：
6.根据权利要求1所述的校园防欺凌方法，其特征在于，所述步骤S400包括：
7.根据权利要求1所述的校园防欺凌方法，其特征在于，所述步骤S500包括：
8.根据权利要求7所述的校园防欺凌方法，其特征在于，所述步骤S500还包括：
9.根据权利要求1所述的校园防欺凌方法，其特征在于，所述步骤S500还包括：
10.一种基于视频和语音识别的校园防欺凌系统，其特征在于，包括数据库创建模块、人员聚集区域检测模块、特定人员识别模块、语音情绪识别模块和预警模块；
【技术特征摘要】
1.一种基于视频和语音识别的校园防欺凌方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的校园防欺凌方法，其特征在于，所述步骤s100包括：
3.根据权利要求1所述的校园防欺凌方法，其特征在于，所述步骤s200中的人员聚集检测模型为yolov5模型。
4.根据权利要求1所述的校园防欺凌方法，其特征在于，所述步骤s200包括：
5.根据权利要求1所述的校园防欺凌方法，其特征在于，所述步骤s300包括：
6.根据权利要求...
【专利技术属性】
技术研发人员：金银，葛颖，王俊，陈俊锦，胡皓晖，刘杨杨，刘平，李志，高娱，胡奇，
申请(专利权)人：北京快鱼电子股份公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。