面向智能手机的摔倒行为视觉检测系统技术方案

本发明专利技术公开了面向智能手机的摔倒行为视觉检测系统，包括集成在智能手机终端上的室内场景视频数据采集模块，摔倒行为视觉检测模块，报警模块以及显示模块,所述模块之间通过以下步骤协同工作：步骤1，室内场景视频数据采集模块通过摄像功能采集室内场景图像数据；步骤2，摔倒行为视觉检测模块进行多特征融合摔倒行为视觉检测；步骤3，在显示模块的终端显示屏上显示经过步骤1和2后的效果图像，如果检测到有摔倒行为发生，即刻通过报警模块进行报警，报警信息是通过智能手机终端上的移动互联网通信模块2G/3G/4G或者互联网模块wifi传递给用户。本发明专利技术可以充分利用闲置智能手机来帮助用户及时可靠获取室内独处老人的摔倒信息，具有低成本高效率的优势。

Visual inspection system for fall behavior of smart phone

The invention discloses a fall behavior visual inspection system for intelligent mobile phone, including the integration of indoor scene video data acquisition module in the intelligent mobile phone terminal, fall behavior visual detection module, alarm module and display module, the module through the following steps: Step 1, cooperating with the indoor scene video data acquisition module through the camera function the indoor scene image data acquisition; step 2, fall behavior visual detection module of multi feature fusion fall behavior visual inspection; step 3, step 1 and 2 show the effect after the image in the terminal display module, if detected fall behavior occurs, immediately alarm by the alarm module, the alarm information is through intelligent the mobile phone terminal of mobile Internet or Internet communication module 2G/3G/4G module WiFi is passed to the user. The invention can make full use of the idle intelligent mobile phone to help the user obtain the fall information of the indoors and aged people in a timely and reliable manner, and has the advantages of low cost and high efficiency.

【技术实现步骤摘要】
面向智能手机的摔倒行为视觉检测系统
本专利技术属于计算机应用研究领域，涉及一种面向智能手机的摔倒行为视觉检测系统，尤其是在智能手机上实现原始视频图像数据采集，摔倒行为视觉检测算法，处理结果内容显示以及系统报警机制。
技术介绍
随着社会老龄化的加剧，空巢老人越来越多，无人照看。如果一旦家中发生老人意外摔倒的情况，将没法得到及时救助，后果将不堪设想。因此有必要实时检测老人在家中发生意外摔倒的情况，以便采取有效的预防措施。目前主要的摔倒行为检测采用的方法主要有穿戴式传感器检测和视频监控行为检测。穿戴式传感器检测摔倒行为是通过压力传感器、三轴加速传感器或重心传感器来记录人体具体部位受力情况和重心变化情况，进而判别出人体的摔倒行为。而具有特殊设计的穿戴式传感器，佩戴成本高，老人穿戴后行动不方便，摔倒检测误报率高，所以穿戴式传感器在老人摔倒检测应用领域受到比较大的限制。而采用视频监控行为检测的方法由于其方便走动，检测率高，误报率低等特点，在一些发达城市得到一定程度的普及。然而传统视频监控行为方法中，检测的安装和运行成本比较高，行为检测算法比较复杂，实时性差以及报警机制的可靠性与灵敏性难以平衡。但随着移动互联网的不断发展，手机系统如Android由于其开放性在智能手机、平板电脑以及互联网电视机得到了广泛发展前景的应用。由于智能终端的便捷性，移动性以及集成性，将运用OpenCV开发的摔倒行为检测系统移植到智能手机平台上，将改变传统的监控视频处理方式，使其更具灵活性，提高了检测系统的实时性，增加了报警机制的多样性，并降低了检测装置的成本。
技术实现思路
本专利技术要解决的技术问题是提供一种基于现有智能移动终端资源的低成本高效率的摔倒行为视觉检测系统，充分利用智能手机来帮助用户及时可靠地获取室内独处老人的摔倒信息。为了解决上述问题，本专利技术提出的技术方案是面向智能手机的摔倒行为视觉检测系统，包括集成在智能手机终端上的室内场景视频数据采集模块，摔倒行为视觉检测模块，报警模块以及显示模块,所述模块之间通过以下步骤协同工作：步骤1，室内场景视频数据采集模块通过摄像功能采集室内场景图像数据；步骤2，摔倒行为视觉检测模块进行多特征融合摔倒行为视觉检测；步骤3，在显示模块的终端显示屏上显示经过步骤1和2后的效果图像，如果检测到有摔倒行为发生，即刻通过报警模块进行报警，报警信息是通过智能手机终端上的移动互联网通信模块或者互联网模块wifi传递给用户。进一步，上述摔倒行为视觉检测模块包括：运动目标检测模块，用于将获取的室内场景图像进行背景分离，提取出前景运动目标；多特征融合摔倒检测模块，用于提取摔倒行为检测所需要的宽长比、有效面积比和重心变化率，并且联合这三个特征值预判有无摔倒行为发生；状态维持机制模块，用于对多特征融合摔倒检测模块预判结果进行状态维持检测，最终判定是否发生摔倒行为。又进一步，上述运动目标检测模块的功能包括背景差分法前景提取、连通区域法和获取运动目标面积占比，进而判断是否存在合理大小的运动目标。上述的多特征融合摔倒检测模块中，宽长比、有效面积比和重心变化率的联合判别是根据各自的可调阈值参数进行判别，三者都通过判别要求，则预判定有摔倒行为发生。上述的报警模块采用事件监听机制来监听摔倒行为的发生。上述的报警模块采用短信报警方式或图文报警方式。上述的图文报警方式所采用的通讯协议为HTTP协议。上述的图文报警方式中的联网可以择一选择以下方式：局域网本地服务器，用于通过局域网将报警信息和摔倒信息存储到本地服务器，以便用户通过配套的客户端进行查看；互联网本地服务器，用于通过互联网或者移动互联网将报警信息和摔倒信息存储到本地服务器，以便用户通过配套的客户端进行查看；互联网外部服务器，用于通过互联网或者移动互联网将报警信息和摔倒信息存储到外部服务器，以便用户通过配套的客户端进行查看。与现有的技术相比，本专利技术具有以下优点：1，本专利技术中采用视觉摔倒行为检测与传统的智能穿戴检测摔倒行为方法相比，提供了被检测者无穿戴的便捷性和舒适性。本专利技术的摔倒行为视觉检测系统比穿戴式三轴加速传感器检测系统的误检率更低，可靠性更高，成本更低，实时性更好；2，本专利技术中采用的多特征融合的视觉摔倒检测模块与近些年的机器学习、模式识别和深度学习等摔倒行为检测算法实现复杂程度低，效率高，具有较好的实时性；3，通过将传统的PC端视频监控摔倒行为检测算法移植到智能终端平台，增加了系统可移动，场景拍摄，便捷安装与携带等功能。提高了检测系统的可移动性，便捷性，降低了检测系统的安装和运行成本。同时提高了智能手机的利用率。4，引入状态维持机制，可以降低本专利技术对检测场景中一些偶然因素的误检率，提高系统的可靠性。5，本专利技术的报警信息通过移动互联网2G/3G/4G或者互联网wifi进行传输，其中采用SMS网络可以向不同手机操作系统的用户传递报警信息，同时减少了对第三方服务器的依赖性。本专利技术的报警方式也是具有多样性，包括文字信息和图文信息。6，本专利技术的图文报警方式提供多样性的联网和报警信息的存储方式，提高系统报警机制的可靠性同时提高了用户查看报警信息的便捷性，降低了系统对固定接入网的依赖性。附图说明图1是本专利技术面向智能手机的摔倒行为视觉检测系统框架图；图2是本专利技术中图文信息报警方式的网络连接图；图3是本专利技术中智能手机上实现联网和存储信息方式的自由切换图；图4是本专利技术摔倒行为视觉检测系统的实测场景图；图5是本专利技术运动目标检测摔倒过程的图像；图5(a)是本专利技术运动目标摔倒前检测图像；图5(b)是本专利技术运动目标正发生摔倒时检测图像；图5(c)是本专利技术运动目标倒地检测图像；图6是本专利技术在检测摔倒行为时的结果图；图7是本专利技术报警机制中短信报警示意图；图7(a)是本专利技术短信报警发送端示意图；图7(b)是本专利技术短信报警接收端示意图。具体实施方式现结合附图对本专利技术作进一步详细的说明。本专利技术将Opencv图像处理技术，移动智能手机开发技术与互联网技术相结合实现摔倒行为视觉检测系统，极大提高了摔倒行为检测的实时性，可靠性和移动性。而且本专利技术低成本高效率，可以充分利用智能手机来帮助用户及时可靠地获取室内独处老人的摔倒信息，并且通过报警模块提示用户家中发生意外摔倒的情况同时发送老人摔倒信息发送给本地服务器或者外部服务器进行存储，以便用户查看具体的摔倒的细节信息。其中摔倒行为视觉检测模块通过提取运动目标的最小外接矩形的宽长比，运动目标的有效面积比和重心变化率三个特征值进行预判，最后通过状态维持机制来判定有没有发生摔倒行为。本专利技术为报警模块中的通信和存储方式提供以下三种方式进行自由切换,以应对复杂不稳定网络环境，其通信网络示意如图2。(1)局域网本地服务器方式，本专利技术通过局域网将意外发生摔倒行为的具体信息存储到本地服务器，用户可以通过局域网访问本地服务器存储有关家中意外发生摔倒行为的具体信息。(2)互联网本地服务器方式，本专利技术通过互联网2G/3G/4G或者互联网wifi将意外发生摔倒行为的具体信息存储到本地服务器，用户可以通过移动互联网2G/3G/4G或者互联网wifi访问本地服务器存储有关家中意外发生摔倒行为的具体信息。(3)互联网外部服务器方式，本专利技术通过互联网2G/3G/4G或者互联网wifi将意外发生摔倒行为本文档来自技高网...

【技术保护点】
面向智能手机的摔倒行为视觉检测系统，包括集成在智能手机终端上的室内场景视频数据采集模块，摔倒行为视觉检测模块，报警模块以及显示模块,其特征在于，所述模块之间通过以下步骤协同工作：步骤1，室内场景视频数据采集模块通过摄像功能采集室内场景图像数据；步骤2，摔倒行为视觉检测模块进行多特征融合摔倒行为视觉检测；步骤3，在显示模块的终端显示屏上显示经过步骤1和2后的效果图像，如果检测到有摔倒行为发生，即刻通过报警模块进行报警，报警信息是通过智能手机终端上的移动互联网通信模块或者互联网模块wifi传递给用户。

【技术特征摘要】
1.面向智能手机的摔倒行为视觉检测系统，包括集成在智能手机终端上的室内场景视频数据采集模块，摔倒行为视觉检测模块，报警模块以及显示模块,其特征在于，所述模块之间通过以下步骤协同工作：步骤1，室内场景视频数据采集模块通过摄像功能采集室内场景图像数据；步骤2，摔倒行为视觉检测模块进行多特征融合摔倒行为视觉检测；步骤3，在显示模块的终端显示屏上显示经过步骤1和2后的效果图像，如果检测到有摔倒行为发生，即刻通过报警模块进行报警，报警信息是通过智能手机终端上的移动互联网通信模块或者互联网模块wifi传递给用户。2.根据权利要求1所述的面向智能手机的摔倒行为视觉检测系统，其特征在于，摔倒行为视觉检测模块包括：运动目标检测模块，用于将获取的室内场景图像进行背景分离，提取出前景运动目标；多特征融合摔倒检测模块，用于提取摔倒行为检测所需要的宽长比、有效面积比和重心变化率，并且联合这三个特征值预判有无摔倒行为发生；状态维持机制模块，用于对多特征融合摔倒检测模块预判结果进行状态维持检测，最终判定是否发生摔倒行为。3.根据权利要求2所述的面向智能手机的摔倒行为视觉检测系统，其特征在于，运动目标检测模块的功能包括背景差分法前景提取、连通区域法和获取运动目标面积占比，进而判断是否存...

【专利技术属性】
技术研发人员：宋建新，黄佳佳，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32