当前位置: 首页 > 专利查询>浙江大学专利>正文

一种基于深度学习的电梯内异常行为检测系统技术方案

技术编号:20045641 阅读:22 留言:0更新日期:2019-01-09 04:23
一种基于深度学习的电梯内异常行为检测系统,包括音视频管理模块、深度学习检测模块和数据分析模块;音视频管理模块包括数据获取模块、数据存储模块和API接口模块;深度学习检测模块与音视频管理模块连接,深度学习检测模块包括数据标注模块、模型训练模块和模型存储模块;数据分析模块与深度学习检测模块连接,数据分析模块包括数据滤波模块、结果分析模块和结果存储模块;数据滤波模块对检测数据进行滤波;结果分析模块对滤波后的检测数据进行分析;结果存储模块对滤波后的检测数据和/或分析结果进行存储。本发明专利技术用机器取代人力对电梯内异常行为进行检测,减少购买者雇佣人力成本并提高工作效率。

【技术实现步骤摘要】
一种基于深度学习的电梯内异常行为检测系统
本专利技术涉及一种电梯内异常行为检测系统,尤其涉及一种基于深度学习的电梯内异常行为检测系统。
技术介绍
现如今电梯在我们的生活中扮演着重要的角色,无论是商场、小区还是其他场所,电梯已成为方便人们的标配设施。与此同时,电梯购买者需要雇佣一定的人力对电梯视频进行监视,发现有异常行为(电梯故障、电梯内打斗、电梯内有人摔倒等)发生时及时进行处理,以保证电梯安全有效地运行。这种监控方式对于电梯购买者来说需要花费额外的人力、财力,对于使用者来说需要承担监控人员工作松懈、失误的代价,尤其是夜间有许多电梯购买者不会雇佣人力进行监控,造成一定时间段的监控盲区。针对传统电梯监控存在的上述现象,需要新的监控检测技术注入其中,用机器代替人不间断地对电梯内异常行为进行智能化检测。
技术实现思路
本专利技术的目的是提供一种基于深度学习的电梯内异常行为检测系统,用机器取代人力对电梯内异常行为进行检测,减少购买者雇佣人力成本并提高工作效率。本专利技术采用以下技术方案。一种基于深度学习的电梯内异常行为检测系统,所述系统包括音视频管理模块、深度学习检测模块和数据分析模块;所述音视频管理模块包括数据获取模块、数据存储模块和API接口模块;所述数据获取模块能够实时获取电梯部署的摄像头和麦克风的视频和音频数据,所述数据存储模块存储所述数据获取模块获取的视频和音频数据,所述API接口模块开放接口以供其他模块调用数据;所述深度学习检测模块与所述音视频管理模块连接,所述深度学习检测模块包括数据标注模块、模型训练模块和模型存储模块;所述深度学习检测模块包括视频异常行为检测模型和音频异常行为检测模型;所述深度学习检测模块通过API接口模块调用所述视频和音频数据;所述数据标注模块对数据中选定的音频和视频进行标注;所述模型训练模块使用标注的视频数据训练视频异常行为检测模型,使用标注的音频数据训练音频异常行为检测模型,对两者检测数据融合后进行统一分析,生成检测模型;所述模型存储模块存储所述检测模型;生成并存储所述检测模型后,所述检测模型对视频和音频数据进行检测并生成检测数据,并将所述检测数据发送到所述数据分析模块;所述数据分析模块与所述深度学习检测模块连接,所述数据分析模块包括数据预处理模块和结果分析模块;所述数据预处理模块对所述检测数据进行滤波,所述结果分析模块对滤波后的检测数据进行分析,并对滤波后的检测数据和/或分析结果进行存储;所述结果分析模块包括可视化模块和提醒模块,所述可视化模块对原始视频和检测分析结果进行可视化操作,所述提醒模块对不符合规定的操作进行提醒。优选的,所述模型训练模块采用卷积网络加上全连接网络对视频数据进行训练。优选的,所述模型训练模块采用8层3维卷积网络加上3层全连接网络对视频数据进行训练。优选的,所述模型训练模块采用Wavenet网络加上全连接网络对音频数据进行训练。优选的,所述模型训练模块采用Wavenet网络加上2层全连接网络对音频数据进行训练。优选的,所述数据标注模块包括标注工具模块和检测工具模块,所述标注工具模块对数据进行标注,所述检测工具模块对标注工具模块的标注结果进行检测。本专利技术的有益效果是:本专利技术用机器取代人力对电梯内异常行为进行检测,减少购买者雇佣人力成本并提高工作效率;本专利技术使用标注过的数据训练模型,提高了检测结果的正确率;标注的数据作为训练模块的训练数据,经训练后生成检测模型,并进行存储以在电脑断电重启后等情况下可以直接调用检测模型不需要再次进行训练,提高了系统的检测效率。附图说明图1是本专利技术的系统结构图。图2是本专利技术的标注工具示意图。图3是本专利技术的检测工具示意图。具体实施方式下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。如图1所示,一种基于深度学习的电梯内异常行为检测系统,包括音视频管理模块、深度学习检测模块和数据分析模块。音视频管理模块包括数据获取模块、数据存储模块和API接口模块。数据获取模块能够实时获取电梯部署的摄像头和麦克风的视频和音频数据,数据存储模块存储数据获取模块获取的视频和音频数据,API接口模块开放接口以供其他模块调用数据。对于每个电梯,在其内部上方一角部署麦克风、摄像头,保证摄像头视野能够覆盖到整个电梯内部空间,同时在外部的电梯等候区部署麦克风、摄像头。音视频管理系统能够实时获取所部署麦克风、摄像头采集的数据,按照不同场所分类存储。音视频管理系统开放API接口供外部调用采集的音频、视频数据。音视频管理模块获取所部署摄像头的视频数据和麦克风的音频数据,并通过API接口输出以供外部调用。深度学习检测模块与音视频管理模块连接,深度学习检测模块包括数据标注模块、模型训练模块和模型存储模块。深度学习检测模块包括视频异常行为检测模型和音频异常行为检测模型。深度学习检测模块通过API接口模块调用视频和音频数据;数据标注模块对数据中选定的音频和视频进行标注;模型训练模块使用标注的视频数据训练视频异常行为检测模型,使用标注的音频数据训练音频异常行为检测模型,对两者检测数据进行统一分析,可以采用跨媒体数据融合方法对两者检测数据进行统一分析,得到一个更准确的结果,生成检测模型。模型训练完成后进行存储,深度学习检测模块加载存储的模型后调用音视频API接口对音视频进行实时检测,并把结果通过API接口传出,供数据分析模块调用。模型存储模块存储检测模型,生成并存储检测模型后,检测模型对视频和音频数据进行检测并生成检测数据,并将检测数据发送到数据分析模块。使用专门的标注工具对音视频进行标注,标注数据为预先随机采集的电梯内异常行为音视频,标注内容为每种预定义异常类型(如电梯内部人员打斗、电梯故障发出异常声响等)的起止时间。使用检测工具人工复检对标注数据进行二次确认,保证数据的准确性。在PyTorch深度学习框架下编写异常行为检测深度学习模型和音频异常行为检测深度学习模型,使用前述得到的训练数据进行模型训练、模型验证,并进行存储。实际部署时深度学习检测系统加载预训练好的模型,通过音视频API接口调用音视频数据进行检测,并通过API接口把检测结果实时输出。标注工具,用户选定需要标注的视频后会在音视频显示区显示视频,音频、视频两类数据在时间上已同步,故只需对视频进行标注时间段,音频时间段与其相同),在下方有播放控制区,其内有播放/暂停按键(快捷键‘space’)、快速播放(快捷键‘v’)、慢速播放(快捷键‘c’)、后一帧(快捷键‘f’)、前一帧(快捷键‘d’),其功能能够实现标注精度到帧。下方的标注区有开始时间(快捷键‘[’,点击后即把视频当前播放的时间取出作为开始时间)、结束时间(快捷键‘]’,点击后即把视频当前播放的时间取出作为结束时间)、标注类型(快捷键‘o’,选定当前区间段的标注类型、写入文件(快捷键‘p’,把当前标注开始时间到结束时间区间段信息和标注类型信息写入标注文件中,标注文件类型为txt文件,每一行表示一个标注数据)。检测工具,将标注视频及其对应标注文件放入同一个本文档来自技高网...

【技术保护点】
1.一种基于深度学习的电梯内异常行为检测系统,其特征在于,所述系统包括音视频管理模块、深度学习检测模块和数据分析模块;所述音视频管理模块包括数据获取模块、数据存储模块和API接口模块;所述数据获取模块能够实时获取电梯部署的摄像头和麦克风的视频和音频数据,所述数据存储模块存储所述数据获取模块获取的视频和音频数据,所述API接口模块开放接口以供其他模块调用数据;所述深度学习检测模块与所述音视频管理模块连接,所述深度学习检测模块包括数据标注模块、模型训练模块和模型存储模块;所述深度学习检测模块包括视频异常行为检测模型和音频异常行为检测模型;所述深度学习检测模块通过API接口模块调用所述视频和音频数据;所述数据标注模块对数据中选定的音频和视频进行标注;所述模型训练模块使用标注的视频数据训练视频异常行为检测模型,使用标注的音频数据训练音频异常行为检测模型,对两者检测数据融合后进行统一分析,生成检测模型;所述模型存储模块存储所述检测模型;生成并存储所述检测模型后,所述检测模型对视频和音频数据进行检测并生成检测数据,并将所述检测数据发送到所述数据分析模块;所述数据分析模块与所述深度学习检测模块连接,所述数据分析模块包括数据预处理模块和结果分析模块;所述数据预处理模块对所述检测数据进行滤波,所述结果分析模块对滤波后的检测数据进行分析,并对滤波后的检测数据和/或分析结果进行存储;所述结果分析模块包括可视化模块和提醒模块,所述可视化模块对原始视频和检测分析结果进行可视化操作,所述提醒模块对不符合规定的操作进行提醒。...

【技术特征摘要】
1.一种基于深度学习的电梯内异常行为检测系统,其特征在于,所述系统包括音视频管理模块、深度学习检测模块和数据分析模块;所述音视频管理模块包括数据获取模块、数据存储模块和API接口模块;所述数据获取模块能够实时获取电梯部署的摄像头和麦克风的视频和音频数据,所述数据存储模块存储所述数据获取模块获取的视频和音频数据,所述API接口模块开放接口以供其他模块调用数据;所述深度学习检测模块与所述音视频管理模块连接,所述深度学习检测模块包括数据标注模块、模型训练模块和模型存储模块;所述深度学习检测模块包括视频异常行为检测模型和音频异常行为检测模型;所述深度学习检测模块通过API接口模块调用所述视频和音频数据;所述数据标注模块对数据中选定的音频和视频进行标注;所述模型训练模块使用标注的视频数据训练视频异常行为检测模型,使用标注的音频数据训练音频异常行为检测模型,对两者检测数据融合后进行统一分析,生成检测模型;所述模型存储模块存储所述检测模型;生成并存储所述检测模型后,所述检测模型对视频和音频数据进行检测并生成检测数据,并将所述检测数据发送到所述数据分析模块;所述数据分析模块与所述深度学习检测模块连接,所述数据分析模块包括数据预处理模块和结果分析模块;所述数据预...

【专利技术属性】
技术研发人员:刘勇张江宁
申请(专利权)人:浙江大学
类型:发明
国别省市:浙江,33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1