用于事件预防和预测的方法、处理器和计算机可读介质技术

用于事件预防和预测的方法、处理器和计算机可读介质。提供了一种计算机实现的方法，该方法包括以下步骤：基于位于环境中的物体上的对象的信息，生成数据流；对于该数据流，提取与对象相对于物体或环境的移动关联的特征，其中，该移动由从传感器提取的时空特征表示；基于所提取的特征来生成与移动的可能性关联的预测，并且基于多个跌倒风险因素生成移动的风险简档；以及将预测和风险简档应用于规则库以执行动作。

【技术实现步骤摘要】
用于事件预防和预测的方法、处理器和计算机可读介质
示例实现方式的各方面涉及与通过动作预测、电子健康记录和个体事件风险简档的组合来预防和预测事件关联的方法、系统和用户体验。
技术介绍
在现有技术中，人可能从床、椅子或其它物体上跌倒。这种跌倒是可能导致人受伤(例如，轻伤、残疾或死亡)的显著问题。在住院或医院环境中，跌倒和关联的伤害是患者在住院期间获得的一些主要状况。据估计在美国每年有超过1百万患者在医院跌倒，占医院获得性状况的85％。此外，29％至55％的患者跌倒导致受伤，与跌倒伤关联的费用超过300亿美元/年。跌倒检测的现有技术方法可给诸如医院的医疗设施以及其员工带来显著的财物、情感和法律压力。解决跌倒问题的现有技术方法聚集于事件检测方法，例如在床或地板上使用离床报警器或垫，以在患者从床上跌倒之后触发警报。现有技术方法分析传感器数据以在发生跌倒之后检测跌倒。然而，除了传感器数据之外，存在其它多方面的因素，例如人口统计信息、健康状况和可能促成跌倒的环境或周围状况。图1(a)至图1(c)示出各种现有技术方法。一些现有技术方法基于压力，使得响应于垫上不存在或存在压力，触发报警器。例如，图1(a)示出定位在睡在床上的患者下方的压敏垫101，使得当压力施加到压敏垫101时，可触发报警器。然而，该现有技术方法可能具有各种问题和缺点。例如，该现有技术方法是反应式的，无法在患者离开床之前足够快速地启用。例如但非限制，由于患者的体重差异和非跌倒移动以及如上所述启用的不适当定时的问题，基于压力的现有技术方法可能导致频繁的虚警。因此，压力垫检测患者离开床可能不准确。另选地，患者可在跌倒时或跌倒后手动地触发报警器。图1(b)示出定位在患者可睡在其上的床架上的离床报警器103。其它方法包括随患者使用保姆，或者完全防止患者移动的床上约束物，如图1(c)中示出为床上约束物105。另外，在现有技术中，护士必须将附加资源投入于跌倒风险更高的患者。跌倒风险的评估可基于现有技术风险评估工具，例如摩尔斯(Morse)跌倒量表或运动功能测试(motortest)。然而，该现有技术方法具有各种问题和缺点。例如但非限制，这些风险评估是不可靠的，因为实际上医院中的所有患者均将被评定为具有高跌倒风险；因此，它不是向具有较高跌倒风险的特定患者分配资源的有用工具。此外，跌倒风险可不仅与移动性有关，而且与现有技术风险评估测试中未覆盖的其它因素有关。那些其它因素可包括例如周围环境、医疗过程等。另外，即使采用现有技术方法的护士投入附加资源，患者也可能在需要干预时不记得或无法呼叫护士。此外，由于风险评估的难度给关于患者何时可能需要干预的规划带来挑战，所以现有技术方法使得难以确定患者护理的优先次序并且区分哪些患者可能需要帮助。此外，一些现有技术方法可使用运动历史图像序列作为视觉特征，并且在用于活动分类的马尔科夫(Markov)模型中，运动历史图像需要手动选择想要的运动，并且对照明或摄像头的轻微震动敏感，并且可能错过细微的人姿势改变。这些现有技术方法仅聚焦于床上活动，并且没有使用上下文特征来分析跌倒风险。现有技术方法还应用分段运动历史，而非这里所描述的密集轨迹或深度学习方法。
技术实现思路
非限制性示例实现方式的各方面涉及跌倒的预防，更具体地，涉及在跌倒发生之前预见跌倒以便潜在地预防跌倒，而非仅在检测到跌倒之后对跌倒做出反应。根据示例实现方式的一方面，提供了一种计算机实现的方法，用于：基于位于环境中的物体上的对象的信息，生成数据流；对于该数据流，提取与对象相对于物体或环境的移动关联的特征，其中，该移动由从传感器提取的时空特征表示；基于所提取的特征来生成与移动的可能性关联的预测，并且基于多个跌倒风险因素来生成移动的风险简档；以及将该预测和风险简档应用于规则库以执行动作。示例实现方式还可包括一种非暂时性计算机可读介质，其具有存储装置和处理器，该处理器能够执行用于通过动作预测、电子健康记录和个体事件风险简档来预防和预测事件的指令。附图说明本专利或申请文件包含至少一个彩色附图。带有彩色附图的本专利或专利申请公布的副本将由主管局根据请求并在支付必要费用后提供。图1(a)至图1(c)示出各种现有技术方法。图2示出根据示例实现方式的对象和房间的各种方面。图3示出根据一些示例实现方式的系统的各种方面。图4示出根据一些示例实现方式的与视觉系统或预测动作或事件关联的工作流程。图5示出根据一些示例实现方式的与视觉系统或预测动作或事件关联的工作流程的图示。图6(a)至图6(c)示出根据一些示例实现方式的局部特征的密集采样。图7示出根据一些示例实现方式的预测实例的提取。图8示出一些示例实现方式的示例处理。图9示出具有适用于一些示例实现方式的示例计算机装置的示例计算环境。图10示出适合于一些示例实现方式的示例环境。具体实施方式以下详细描述提供了本申请的附图和示例实现方式的进一步的细节。为了清晰，附图之间的冗余元件的标号和描述被省略。贯穿说明书使用的术语作为示例提供，并非旨在限制。示例实现方式的各方面涉及与在事件发生之前事件的预防关联的系统和方法。例如，事件可以是对象(例如，人)相对于物体(例如，环境)的移动，更具体地，人(例如，患者)从床或椅子跌倒，例如医院中的对象或养老院的住户随后称为对象。例如但非限制，上述示例实现方式可应用于非医院环境(例如，在对象的住所中)，以解决诸如梦游或睡眠中的其它异常移动的状况。此外，示例实现方式可与其它类型的传感器结合，其可预测和评估关于其它类型的状况(例如，睡眠呼吸暂停，婴儿猝死综合征(SIDS)或其它状况)的风险。以与上述类似的方式，关于医院病床的控制，示例实现方式可控制其它医疗装置(例如，静脉内营养、供氧、呼吸支持等)。提供一种基于视觉的方法以基于运动轨迹和深度递归神经网络(RNN)来预测对象是否正在尝试离开安全位置。此外，基于如下所述的内在因素和外部因素提供动态和对象特定跌倒风险剖析。此外，使用对象是否将要离开床上的位置的预测模型与风险剖析的组合来生成提供用于预防跌倒的信令策略，其基于在不同的风险情况下不同的跌倒严重性来定制。更具体地，示例实现方式包括用于跌倒预防的系统和方法，例如用于预防的跌倒预测分析和信号。从传感器(例如，视频摄像头)接收的信息可用于预测对象受伤的风险，并且可连续地估计对象从安全位置(例如，床或椅子上)移动的可能性。例如，传感器可以是对象周围的非侵入性基于视觉的传感器，其可监测对象的活动。可提供视频的颜色、灰度、深度和其它方面。此外，可提供传感器以捕获被动红外、微波、超声或其它介质以检测对象的运动。此外，要注意的是，传感器不仅感测对象本人在当前位置的活动，而且感测对象的整个环境，包括但不限于对象、对象的安全位置(例如，床或椅子上)以及对象所在的房间的周围环境。该可能性是动态的，可从对象到对象不同。此外，当对象处于安全位置(例如，本文档来自技高网...

【技术保护点】
1.一种计算机实现的方法，该方法包括以下步骤：/n基于位于环境中的物体上的对象的信息，生成数据流；/n对于所述数据流，提取与所述对象相对于所述物体或所述环境的移动关联的特征，其中，所述移动由从传感器提取的时空特征表示；/n基于所提取的特征来生成与所述移动的可能性关联的预测，并且基于多个跌倒风险因素生成所述移动的风险简档；以及/n将所述预测和所述风险简档应用于规则库以执行动作。/n

【技术特征摘要】
20191127 US 16/698,6161.一种计算机实现的方法，该方法包括以下步骤：
基于位于环境中的物体上的对象的信息，生成数据流；
对于所述数据流，提取与所述对象相对于所述物体或所述环境的移动关联的特征，其中，所述移动由从传感器提取的时空特征表示；
基于所提取的特征来生成与所述移动的可能性关联的预测，并且基于多个跌倒风险因素生成所述移动的风险简档；以及
将所述预测和所述风险简档应用于规则库以执行动作。


2.根据权利要求1所述的计算机实现的方法，其中，所述信息由摄像头传感器和运动传感器中的至少一个感测。


3.根据权利要求2所述的计算机实现的方法，其中，所述摄像头传感器包括深度传感器或热传感器。


4.根据权利要求1所述的计算机实现的方法，其中，提取所述特征的步骤包括以下步骤：应用密集轨迹以从所述数据流中的帧序列提取所述特征或者应用卷积神经网络CNN以从所述数据流中的帧序列学习所述时空特征，应用自动学习系统以学习所述特征，并且基于所学习的特征和所提取的特征来对特征向量序列进行编码。


5.根据权利要求1所述的计算机实现的方法，其中，生成所述预测的步骤包括以下步骤：在时间范围内将所提取的特征提供给递归神经网络或卷积神经网络以生成提供给密集层的输出，所述密集层的输出被馈送给软性最大层以生成所述预测。


6.根据权利要求1所述的计算机实现的方法，其中，通过接收所述多个跌倒风险因素来生成所述风险简档，所述多个跌倒风险因素包括所述对象所特定的因素、与所述对象关联的环境所特定的因素以及随时间与所述环境和所述对象所关联的行为习惯关联的因素。


7.根据权利要求1所述的计算机实现的方法，其中，所述规则库包括确定所述预测是否超过第一阈值以及所述风险简档是否超过第二阈值，并且基于该确定，执行所述动作。


8.根据权利要求1所述的计算机实现的方法，其中，所述动作包括以下项中的一个或更多个：为所述对象生成信号、控制所述物体的状态以及向外部资源提供命令以执行所述动作。


9.根据权利要求1所述的计算机实现的方法，其中，所述对象是人，所述物体是床或椅子，并且所述移动是所述人从所述床或所述椅子跌倒。


10.一种具有存储指令的存储装置的非暂时性计算机可读介质，所述指令由处理器执行，所述指令包括：
基于位于环境中的物体上的对象的信息，生成数据流；
对于所述数据流，提取与所述对象相对于所述物体或所述环境的移动关联的特征，其中，所述移动由时空视觉特征表示；
基于所提取的特征来生成与所述移动的可能性关联的预测，并且基于多个跌倒风险因素生成所述移动的风险简档；以及
将所述预测和所述风险简档应用于规则库以执行动作。


11.根据权利要求10所述的非暂时性计算机可读介质，其中，所述信息由摄像头传感器和/或运动传感器中的至少一个感测，并且所述摄像头传感器包括深度传感器或热传感器。

...

【专利技术属性】
技术研发人员：张艳霞，A·吉尔根松，刘琼，Y·贾亚迪，
申请(专利权)人：富士施乐株式会社，
类型：发明
国别省市：日本;JP