基于多视角深度图像的病患跌倒检测方法与系统技术方案

本发明专利技术公开了一种基于多视角深度图像的病患跌倒检测方法。包括：收集病患常驻位置的深度图像；将深度图像输入多视角深度图像转换模块，将深度图像转换为点云数据；将场景点云数据输入到伪彩色图像投影模块，通过人工设计的虚拟相机对点云数据进行投影，获取多个方位的伪彩色图像；将所述多方位的伪彩色图像输入到姿态识别模块，进行姿态识别操作，判断人体是否处于跌倒状态；将所述伪彩色图像以及相对应的深度图像输入到时空跌倒检测模块，根据时间和空间信息进行跌倒检测。本发明专利技术还公开了基于多视角深度图像的病患跌倒检测系统。本发明专利技术使用多视角的深度图像获取的点云数据，提高病患跌倒检测准确性；提出时空跌倒检测模块，能降低漏判可能。降低漏判可能。降低漏判可能。

【技术实现步骤摘要】
基于多视角深度图像的病患跌倒检测方法与系统


[0001]本专利技术涉及人体姿态识别技术，具体涉及一种基于多视角深度图像的病患跌倒检测方法与系统。

技术介绍

[0002]在医院就诊或住院的病患因各种原因跌倒是常见的不良现象之一，因跌倒引发的非致死性损伤甚至伤害死亡对患者影响巨大。因此，对于病房管理而言，需要及时发现病患出现跌倒的可能，并立即做出应对方案。但是，目前国内大多数无陪护病房分配的医护人手明显不足，且无法保证全天候的人工监控。于是，通过人工智能的技术，由机器自动从视频、图像等数据中实时监测病患的姿态，从而实现病患跌倒的自动识别、报警受到各界学者的广泛关注。
[0003]目前的现有技术之一，是公开号为CN114495280A的中国专利公开了一种基于视频监控的全天无陪护病房患者跌倒检测方法，该方法通过摄像头实时获取病房的视频数据并上传到云服务器，计算患者姿态的特征向量，利用随机森林算法，对患者姿态特征向量进行姿态识别和跌倒的检测。该方法缺点在于使用彩色摄像难以保障患者的隐私，将彩色图像上传到服务器存在信息泄露风险。
[0004]目前的现有技术之二，是公开号为CN113435236A的中国专利公开了居家老人姿态检测方法、系统、存储介质、设备及应用，该方法使用RealScene镜头采集居家老人的环境深度图像，并上传到云服务器，将其转换为伪彩色图像，输入到训练好的基于OpenPose的人体骨骼化识别网络，获取2D下的关键点坐标。使用相机参数将2D下的关键点坐标映射到深度图像中的点，获取关键点对应的深度，根据其坐标与深度构建3D下的人体骨架图，判断人体姿态。该方法的缺点在于深度图像中的信息较彩色图像单一，导致使用深度图像进行人体姿态检测时精准度降低。

技术实现思路

[0005]本专利技术的目的是克服现有方法的不足，提出了基于多视角深度图像的病患跌倒检测方法与系统。本专利技术解决的主要问题，一是使用彩色图像会泄露被监测人的隐私；二是现有的基于深度图像的跌倒检测方法难以应对复杂的实际情况，检测的准确度不高。
[0006]为了解决上述问题，本专利技术提出了一种基于多视角深度图像的病患跌倒检测方法，所述方法包括：
[0007]收集病患常驻位置的三张深度图像，分别为俯视图、正视图和侧视图，并上传至云服务器进行储存；
[0008]将所述三张深度图像输入多视角深度图像转换模块，将深度图像转换为点云数据；
[0009]将所述场景点云数据输入到伪彩色图像投影模块，通过人工设计的虚拟相机对点云数据进行投影，获取多个方位的伪彩色图像；
[0010]将所述多方位的伪彩色图像输入到姿态识别模块，进行姿态识别操作，判断人体是否处于跌倒状态；
[0011]将所述伪彩色图像以及相对应的深度图像输入到时空跌倒检测模块，根据时间和空间信息进行跌倒检测。
[0012]优选地，所述收集病患常驻位置的三张深度图像，分别为俯视图、正视图和侧视图，并上传至云服务器进行储存，具体为：
[0013]在规则的室内空间设置三台深度摄像头分别置于病患常驻位置的正上方、正前方和正侧方，分别拍摄病患常驻位置的俯视图、正视图和侧视图，深度摄像头每隔一定时间会向云服务器上传一张深度图像，由服务器将同一时间的三张深度图像存储在一起，便于后续处理。
[0014]优选地，所述将所述三张深度图像输入多视角深度图像转换模块，将深度图像转换为点云数据，具体为：
[0015]根据各个摄像头的内参将深度图像从二维图像坐标系转换到三维空间，三维空间以摄像头的位置为原点，根据摄像头的外参进行坐标系原点的转换和深度图像的旋转，将深度数据转换到世界坐标系，即三维坐标的点组成的集合，为点云数据；
[0016]使用同源点云配准技术对获取的三组点云数据进行配准，选取空间上方摄像头对应的点云数据为基准，对前方与侧方摄像头对应的点云数据使用ICP算法与基准进行配准，ICP算法为基于迭代的点匹配算法，在运行ICP算法时确定初始的刚性变换矩阵Rt，确定每次迭代对矩阵进行改变的超参数，待配准点云数据经过Rt变换后，计算与基准点云的匹配度，从而对Rt进行调整，并通过迭代的方式找到能够达到预期匹配度的变换矩阵，为保证系统的响应时延，配准算法选择每隔固定时间运行一次，非配准算法运行时间的配准使用最近时间获取的Rt矩阵运行，对三组点云数据进行配准后，拼接获取场景点云数据，拼接过程中，根据提前设置的距离阈值合并距离相近的点，取两个点坐标的均值作为合并点的坐标，形成场景点云数据。
[0017]优选地，所述将所述场景点云数据输入到伪彩色图像投影模块，通过人工设计的虚拟相机对点云数据进行投影，获取多个方位的伪彩色图像，具体为：
[0018]虚拟相机的设计采用半球虚拟相机分布设计，通过在点云数据内部作一个半径最大的球体，取上半球的极点和最大圆上均匀分布的四个点作为基础点，在半球面上，取基础点与极点中间位置的点作为额外点，在所述9个点上布置虚拟相机，进行投影，以获取到全面的场景写照；
[0019]根据所述布置虚拟相机的9个点位获取虚拟相机的外参，结合深度摄像机实际的内参，对点云数据投影到二维图像坐标系中，得到点云数据的二维坐标和深度数据，深度数据作为投影点的灰度通道的值，由于点云数据是不均匀分布的，需要通过插值的方式，根据已有的投影点获取每个像素点位置处的灰度值，得到灰度图像，由于数字图像调色板的限制，需要对获得的灰度图像的灰度值就近选取调色板已有的值，获取多方位的伪彩色图像。
[0020]优选地，所述将所述多方位的伪彩色图像输入到姿态识别模块，进行姿态识别操作，判断人体是否处于跌倒状态，具体为：
[0021]将伪彩色图像数据输入到OpenPose开源姿态估计网络模型中，获取每张伪彩色图像中人体的关键点信息，由于视角的不同，不同图像获取的关键点信息的数目存在不同，选
取一个关键点数目最多的伪彩色图像进行后续的跌倒分析，以达到较高的鲁棒性；
[0022]利用所述的人体关键点信息构建2D的人体骨架图，进行姿态分析，采用人工设计的特征进行姿态分析，人工设计的特征为人体各个部位之间的夹角，将所述人体各部位之间的夹角归一化后组成人体姿态的特征向量，输入到训练好的随机森林模型中，判断人体是否处于跌倒状态。
[0023]优选地，所述将所述伪彩色图像以及相对应的深度图像输入到时空跌倒检测模块，根据时间和空间信息进行跌倒检测，具体为：
[0024]时空跌倒检测模块中的记忆模块会记录最近一段时间内人体姿态情况，人体姿态分为跌倒和待定跌倒状态，对于随机森林算法无法直接断定是跌倒状态则会被判断为待定跌倒状态，如果待定跌倒状态持续时间超过了设定的阈值，会被判断为跌倒状态，跌倒状态会发出告警；
[0025]根据所述人体的关键点信息，使用伪彩色图像与其对应深度图像之间的关系，进行关键点的反投影，获取其三维坐标，构建3D人体骨架图，3D人体骨架图中的点的坐标处于世界坐标系，方便判断人体与地面之间的关系，当判断人体与地面之间存在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多视角深度图像的病患跌倒检测方法，其特征在于，所述方法包括：收集病患常驻位置的三张深度图像，分别为俯视图、正视图和侧视图，并上传至云服务器进行储存；将所述三张深度图像输入多视角深度图像转换模块，将深度图像转换为场景点云数据；将所述场景点云数据输入到伪彩色图像投影模块，通过人工设计的虚拟相机对点云数据进行投影，获取多个方位的伪彩色图像；将所述多个方位的伪彩色图像输入到姿态识别模块，进行姿态识别操作，判断人体是否处于跌倒状态；将所述伪彩色图像以及相对应的深度图像输入到时空跌倒检测模块，根据时间和空间信息进行跌倒检测。2.如权利要求1所述的基于多视角深度图像的病患跌倒检测方法，其特征在于，所述收集病患常驻位置的三张深度图像，分别为俯视图、正视图和侧视图，并上传至云服务器进行储存，具体为：在规则的室内空间设置三台深度摄像头分别置于病患常驻位置的正上方、正前方和正侧方，分别拍摄病患常驻位置的俯视图、正视图和侧视图，深度摄像头每隔一定时间会向云服务器上传一张深度图像，由服务器将同一时间的三张深度图像存储在一起，便于后续处理。3.如权利要求1所述的基于多视角深度图像的病患跌倒检测方法，其特征在于，所述将所述三张深度图像输入多视角深度图像转换模块，将深度图像转换为场景点云数据，具体为：根据各个摄像头的内参将深度图像从二维图像坐标系转换到三维空间，三维空间以摄像头的位置为原点，根据摄像头的外参进行坐标系原点的转换和深度图像的旋转，将深度数据转换到世界坐标系，即三维坐标的点组成的集合，为点云数据；使用同源点云配准技术对获取的三组点云数据进行配准，选取空间上方摄像头对应的点云数据为基准，对前方与侧方摄像头对应的点云数据使用ICP算法与基准进行配准，ICP算法为基于迭代的点匹配算法，在运行ICP算法时确定初始的刚性变换矩阵Rt，确定每次迭代对矩阵进行改变的超参数，待配准点云数据经过Rt变换后，计算与基准点云的匹配度，从而对Rt进行调整，并通过迭代的方式找到能够达到预期匹配度的变换矩阵，为保证系统的响应时延，配准算法选择每隔固定时间运行一次，非配准算法运行时间的配准使用最近时间获取的Rt矩阵运行，对三组点云数据进行配准后，拼接获取场景点云数据，拼接过程中，根据提前设置的距离阈值合并距离相近的点，取两个点坐标的均值作为合并点的坐标，形成场景点云数据。4.如权利要求1所述的基于多视角深度图像的病患跌倒检测方法，其特征在于，所述将所述场景点云数据输入到伪彩色图像投影模块，通过人工设计的虚拟相机对点云数据进行投影，获取多个方位的伪彩色图像，具体为：虚拟相机的设计采用半球虚拟相机分布设计，通过在点云数据内部作一个半径最大的球体，取上半球的极点和最大圆上均匀分布的四个点作为基础点，在半球面上，取基础点与极点中间位置的点作为额外点，在所述9个点上布置虚拟相机，进行投影，以获取到全面的
场景写照；根据所述布置虚拟相机的9个点位获取虚拟相机的外参，结合深度摄像机实际的内参，对点云数据投影到二维图像坐标系中，得到点云数据的二维坐标和深度数据，深度数据作为投影点的灰度通道的值，由于点云数据是不均匀分布的，需要通过插值的方式，根据已有的投影点获取每个像素点位置处的灰度值，得到灰度图像，由于数字图像调色板的限制，需要对获得的灰度图像的灰度值就近选取调色板已有的值，获取多方位的伪彩色图像。5.如权利要求1所述的基于多视角深度图像的病患跌倒检测方法，其特征在于，所述将所述多个方位的伪彩色图像输入到姿态识别模块，进行姿态识别操作，判断人体是否处于跌倒状态，具体为：将伪彩色图像数据输入到OpenPose开源姿态估计网络模型中，获取每张伪彩色图像中人体的关键点信息，由于视角的不同，不同图像获取的关键点信息的数目存在不同，选取一个关键点数目最多的伪彩色图像进行后续的跌倒分析，以达到较高的鲁棒性；利用所述的人体关键点信息构建2D的人体骨架图，进行姿态分析，采用人工设计的特征进行姿态分析，人工设计的特征为人体各个部位之间的夹角，将所述人体各部位之间的夹角归一化后组成人体姿态的特征向量，输入到训练好的随机森林模型中，判断人体是否处于跌倒状态。6.如权利要求1所述的基于多视角深度图像的病患跌倒检测方法，其特征在于，所述将所述伪彩色图像以及相对应的深度图像输入到时空跌倒检测模块，根据时间和空间信息进行跌倒检测，具体为：时空跌倒检测模块中的记忆模块会记录最近一段时间内人体姿态情况，人体姿态分为跌倒和待定跌倒状态，对于随机森林算法无法直接断定是跌倒状态则会被判断为待定跌倒状态，如果待定跌倒状态持续时间超过了设定的阈值，会被判断为跌倒状态，跌倒状态会发出告警；根据所述人体的...

【专利技术属性】
技术研发人员：韩冠亚，王立峰，薛凯军，
申请(专利权)人：广东中大讯通信息有限公司，
类型：发明
国别省市：