隐私保护跌倒检测方法和系统技术方案

公开了基于视觉的隐私保护嵌入式跌倒检测系统的多个实施例。该嵌入式跌倒检测系统包括一个或多个用于捕捉一个或多个人的视频图像的摄像头。此外，该嵌入式跌倒检测系统包括多个用于处理该已捕捉视频图像的跌倒检测模块，包括姿势估计模块、行为识别模块和的跌倒检测模块，所有这些模块可以在该嵌入式系统环境中实时执行期望的跌倒检测功能，从而检测一个或多个个人的跌倒。当检测到跌倒时，该嵌入式跌倒检测系统可将去特征化的视频图像发送至服务器，而无需发送该原始捕捉图像，其中每个被检测个人用骨骼图来代替真人图像，从而保护该被检测个人的隐私。该嵌入式跌倒检测系统可以作为安装在单一固定位置的嵌入式视觉传感器实现。

【技术实现步骤摘要】
隐私保护跌倒检测方法和系统优先权要求及相关专利申请本申请根据35U.S.C.119(e)，要求美国临时专利申请62/786,541的优先权，标题为“隐私保护跌倒检测方法和系统”，专利技术人为吴谦伟、王星、郑健楠、区峻康、陈智琮、林冠寰、张栋、埃里克·汉斯、陈鈞杰、欧继雷、马凯伦、吴建兵和卢晔，申请日为2018年12月30日(代理档案号为AVS010.PRV01)。上述申请以其整体并入本文并作为本文的一部分。
本申请一般涉及医疗和健康监测领域，具体地，涉及一种用于对人体进行高可靠性并且隐私保护的跌倒检测的系统、设备和技术。
技术介绍
随着全球范围的寿命持续延长，快速老龄化已经成为很多国家面临的严重社会问题。老年人群一般由65岁以上的人群构成。随着老年群体数量的快速增长，对高质量的医疗护理服务的日益增长的需求为医疗护理供应者及社会带来了严峻的挑战。在众多与老年群体相关的医疗和健康问题当中，跌倒是老年人面临的最为常见，同时也极为严重的问题之一。老年人具有非常高的跌倒风险，并且随着年龄的增长，这种风险也随之提高；而且，跌倒通常会导致严重并且不可挽回的医疗后果。然而，跌倒一旦发生，能够在跌倒后的第一时间立即发出警戒/报警信号，从而可以立即提供医疗救助是极其重要的。如今，可以通过多种跌倒检测设备生成这种跌倒报警，这些跌倒报警可以监测和检测具有高跌倒风险的人群是否跌倒。如今已经开发出多种类型的跌倒检测设备。例如，这些跌倒检测设备包括可穿戴跌倒检测设备，该可穿戴跌倒检测设备通常依赖加速度传感器和陀螺仪进行跌倒检测。然而，可穿戴跌倒检测设备需要在大部分时间由被监测的人佩带，并且需要经常充电，从而使用繁琐不便。此外，很多人容易忘记佩带，甚至有一些人拒绝佩带。一些现有的可穿戴跌倒检测设备基于声音/震动传感器。然而，这些跌倒检测设备具有较低的精确度，并且通常只能用来检测重度撞击。另一种类型的跌倒检测设备采用各种基于视觉的跌倒检测技术，例如基于获取的高风险个人的视频。例如，一现有技术采用深度摄像头检测跌倒。然而，该深度摄像头的精确度通常不足以监测大面积区域。在另一现有技术中，该获取视频的视场被划分为上区域和下区域，并且基于运动的幅度和区域检测对应于人体下区域的运动事件。在又一现有技术中，还通过获取视频中检测到的人的高度和纵横比进行跌倒检测。然而，在上述技术中，识别跌倒的决策规则较为简单朴素，并且这些系统的性能表现无法满足理想的精度要求。在另一基于视频的跌倒检测系统中，从视频图像中计算基于梯度的特征向量，并将该特征向量用于表征人体对象。这些特征向量之后被发送至一个简单的三层埃尔曼循环神经网络(RNN)，用于跌倒检测。然而，这些简单的RNN架构的普遍低复杂度也限制了相关跌倒检测输出的性能。最近，基于卷积神经网络(CNN)的技术已经应用到跌倒检测。这些基于CNN的技术通常更加精确并且比上述技术更具鲁棒性，该基于CNN的技术采用简单的规则或参数来作出跌倒预测。例如，其中一个该技术采用基于CNN架构识别图像中捕捉到的人体活动。然而，现有的基于CNN的跌倒检测技术需要非常大量的计算资源，因而不能适用于嵌入式系统实现。
技术实现思路
本申请公开了隐私保护嵌入式跌倒检测视觉系统(在本申请中也称之为“嵌入式跌倒检测系统”，或者简称为“嵌入式视觉系统”)的多个实施例，该系统包括用于实现各种基于视觉并且具有隐私保护的跌倒检测功能的多个软件和/或硬件模块。具体地，这些嵌入式跌倒检测系统为独立系统，该系统可以包括硬件模块和一个或多个处理器，该硬件模块例如为一个或多个用于捕捉一个或多个被监测的个人的视频图像，以服务于潜在的跌倒风险的摄像头；该处理器用于对捕捉到的视频图像进行处理。此外，该嵌入式跌倒检测系统可以包括多个用于处理该被捕捉到的视频图像，并在随后生成跌倒检测输出的软件模块，该跌倒检测输出包括基于捕捉到的视频图像的跌倒报警/通知。本申请公开的嵌入式跌倒检测系统可以作为单体嵌入式跌倒检测视觉传感器。该单体嵌入式跌倒检测视觉传感器在多个跌倒检测应用中可以安装在单个固定位置，用于监测具有高度跌倒风险的个人/个体，例如老年人、残疾人或者具有某种疾病的人。本申请还公开了分布式隐私保护跌倒检测系统的多个实施例，该系统包括：一个或多个基于本申请公开的嵌入式跌倒检测系统实现的独立嵌入式跌倒检测视觉传感器，服务器以及相关的移动应用程序(或者“移动APP”)，所有这些通过网络结合在一起。在一些实施例中，该分布式跌倒检测系统可以作为多视觉传感器跌倒检测系统实现，该系统由多个独立嵌入式跌倒检测视觉传感器构成。该多个独立嵌入式跌倒检测视觉传感器可以安装在互不相同的多个固定位置，其中该多个嵌入式跌倒检测视觉传感器中的每一个可以包括至少一个用于捕捉视频图像的摄像头以及多个软件和硬件模块，该多个软件和硬件模块用于处理该被捕捉到的视频图像，并生成对应的跌倒检测输出，该跌倒检测输出包括基于捕捉到的视频图像的跌倒报警/通知。在多个实施例中，本申请公开的跌倒检测系统中的服务器可用于收集并处理多个跌倒检测输出源，从该多个跌倒检测输出源中选择一个跌倒检测输出源，然后将已选择的跌倒检测输出源发送给安装在一个或多个移动设备上的相关跌倒检测移动APP，其中该跌倒检测输出源由该多个独立嵌入式跌倒检测视觉传感器生成。在多个实施例中，该服务器可以是基于云计算的服务器或者本地服务器。在多个实施例中，该服务器和该移动APP还可用于添加或删除该多个独立嵌入式跌倒检测视觉传感器内的档案，其中该档案涉及将要被该分布式跌倒检测系统监测或者正在被该分布式跌倒检测系统监测的人。在该实施例中，该服务器可用于将信息分发至多个独立嵌入式跌倒检测视觉传感器中。在一些实施例中，本申请公开的分布式跌倒检测系统由单个嵌入式跌倒检测视觉传感器(而非多个嵌入式跌倒检测视觉传感器)、服务器和该移动APP构成。在多个实施例中，为了保护被本申请公开的嵌入式跌倒检测系统或者本申请公开的分布式跌倒检测系统正在监测的个人的隐私或者捕捉到的个人的隐私，关于被捕捉到的视频图像中所有与跌倒检测相关的计算都是在嵌入式跌倒检测系统或者该分布式跌倒检测系统内的每个独立嵌入式跌倒检测视觉传感器内部现场执行。在一些实施例中，在现场处理完该被捕捉到的视频图像后，本申请公开的分布式跌倒检测系统的每个嵌入式跌倒检测视觉传感器仅将每个被检测到的个人的去特征化的视频图像和/或视频剪辑(例如仅发送每个被检测到的人的关键点/骨骼/人物线条图，而非该被检测到的人的真实图像)，连带跌倒报警/通知发送至该分布式跌倒检测系统的服务器。本申请公开的嵌入式跌倒检测系统的隐私保护特征可由最近开发的多种强大的人工智能(AI)集成电路(IC)芯片实现，该芯片可以容易地与本申请公开的嵌入式跌倒检测系统集成。一方面，公开了一种执行个人跌倒检测的过程。该过程一开始接收一序列视频图像，该视频图像包括正在被监测的个人。接下来，对于该序列视频图像中的每个图像，首先检测该图像内该个人的姿势，然后将图像中该被检测个人的姿势划分为一组预定义行为中的某一行为。接下来，本文档来自技高网...

【技术保护点】
1.一种执行个人跌倒检测的方法，其特征在于，所述方法包括：/n接收一序列视频图像，所述视频图像包括正在被监测的个人；/n对于所述序列视频图像中的每张图像：/n检测所述图像内所述个人的姿势；以及/n将图像中被检测个人的姿势划分为一组预定义行为中的某一行为；/n整合所述被检测个人的已划分行为的序列，所述序列对应于所述视频图像的序列；/n对被划分行为的整合序列进行处理，以确定是否发生跌倒。/n

【技术特征摘要】
20181230 US 62/786,541;20191102 US 16/672,4321.一种执行个人跌倒检测的方法，其特征在于，所述方法包括：
接收一序列视频图像，所述视频图像包括正在被监测的个人；
对于所述序列视频图像中的每张图像：
检测所述图像内所述个人的姿势；以及
将图像中被检测个人的姿势划分为一组预定义行为中的某一行为；
整合所述被检测个人的已划分行为的序列，所述序列对应于所述视频图像的序列；
对被划分行为的整合序列进行处理，以确定是否发生跌倒。


2.根据权利要求1所述的方法，其特征在于，所述检测所述图像内所述个人的姿势包括：
识别图像内对应于所述个人的一组人体关键点的一组位置；
将已识别的所述组位置内的相邻的点连接起来以形成所述个人的骨骼图，其中所述骨骼图代表所述被检测个人的去特征化图像。


3.根据权利要求2所述的方法，其特征在于，所述将图像中所述被检测个人的姿势划分为一组预定义行为中的某一行为包括：
基于所述被检测个人的骨骼图，从图像中截取出一张所述被检测个人的二维(2D)图像；
将所述被检测个人的截取图像提供给行为分类器，所述行为分类器用于预测所述被检测个人处于所述组预定义行为中每一种行为的概率；以及
基于对应于所述组预定义行为的该组概率，将所述被检测个人的姿势划分为所述行为。


4.根据权利要求1所述的方法，其特征在于，所述组预定义行为包括第一类行为和第二类行为；并且所述将图像中被检测个人的姿势划分为一组预定义行为中的某一行为包括：
将所述被检测个人的姿势划分为第一类行为或者第二类行为；
对于被划分的第一类行为或第二类行为，进一步将所述被检测个人的姿势划分为被划分行为中的某一预定义行为。


5.根据权利要求4所述的方法，其特征在于，所述第一类行为为所述组预定义行为中的危险行为的子集；以及
所述第二组行为是所述组预定义行为中正常行为的子集。


6.根据权利要求5所述的方法，其特征在于，所述危险行为的子集包括如下一种或多种：躺下行为及挣扎行为；
所述正常行为的子集包括如下一种或几种：站立行为、一种或多种类型的坐下行为、弯腰行为以及下蹲行为。


7.根据权利要求1所述的方法，其特征在于，所述整合所述被检测个人的已划分行为的序列包括：
识别危险区域，例如视频图像序列中的地板或地毯；
确定已识别行为序列和已识别危险区域之间的空间关系；以及
当所述已识别行为序列中的危险行为发生在所述已识别危险区域内时，证实所述被划分危险行为。


8.根据权利要求1所述的方法，其特征在于，所述整合所述被检测个人的已划分行为的序列包括：
识别正常区域，例如视频图像序列中的床或沙发；
确定已识别行为序列和已识别正常区域之间的空间关系；以及
当所述已识别行为序列中的危险行为发生在所述已识别正常区域内时，将被划分为危险的行为重新划分为正常行为。


9.根据权利要求1所述的方法，其特征在于，所述对所述被划分行为的整合序列进行处理，以确定是否发生跌倒包括：采用状态机检测与所述被划分行为的整合序列相关的跌倒，其中所述状态机至少包括表示正常行为的正常状态和表示跌倒的警告状态。


10.根据权利要求9所述的方法，其特征在于，采用状态机处理与所述被划分行为的整合序列以检测跌倒包括：
确定所述状态机中被检测个人的当前状态以及相关的状态分数；
依据下面的方式依次处理被划分行为的整合序列：
对于每个被划分为危险活动的被划分行为，增加所述状态机内的当前状态的分数，从而获得当前状态的更新状态分数；
如果当前状态的更新状态分数超出预定义上阈值，则使所述状态机从当前状态切换至警告状态；
对于被划分为正常活动的每个被划分行为，降低所述状态机内当前状态的分数，以获得所述当前状态的更新状态分数；
如果当前状态的更新状态分数低于预定义下阈值，则使所述状态机将所述当前状态从所述警告状态中移除。


11.根据权利要求2所述的方法，其特征在于，如果检测到所述个人跌倒，则所述方法进一步包括：
生成跌倒报警；
通过用被检测个人的骨骼图代替所述视频图像序列中的所述被检测个人实际图像，生成描述所述跌倒的去特征化视频剪辑；以及
将所述去特征化视频剪辑连同所述跌倒报警发送到所述服务器，从而保护被检测个人的隐私。


12.根据权利要求2所述的方法，其特征在于，如果检测到所述个人跌倒，则所述方法进一步包括：
生成去特征化视频剪辑，包括：
识别一序列视频图像中的共同背景；以及
将对应于所述视频图像序列的所述被检测个人的一组骨骼图叠...

【专利技术属性】
技术研发人员：吴谦伟，王星，郑健楠，区峻康，陈智琮，林冠寰，张栋，埃里克·汉斯，陈鈞杰，陈明华，高宇，欧继雷，马凯伦，埃德里安·费兹，吴建兵，卢晔，
申请(专利权)人：奥瞳系统科技有限公司，
类型：发明
国别省市：加拿大;CA