一种室内监护环境行为识别及定位方法技术

本发明专利技术涉及一种室内监护环境行为识别及定位方法，包括：获取多源视频，对每一源的视频进行预处理以获取样本集；将样本集输入训练好的行为识别模型以获得检测对象的行为识别信息，将样本集输入训练好的目标检测模型以获得检测对象的人头定位信息；通过极线约束的方式将多源视频相关联，通过每一源视频中得到的人头定位信息为每个检测对象分配唯一的ID号；根据行为识别信息、人头定位信息与ID号得到对应检测对象的行为分类信息。该方法通过多角度多源数据对检测对象进行行为识别以及人头定位，从而判断每个检测对象的准确的行为类别，以实现室内监护环境当中对于受照护者行为的有效智能化监护。智能化监护。智能化监护。

【技术实现步骤摘要】
一种室内监护环境行为识别及定位方法


[0001]本专利技术涉及基于图像的行为识别及定位
，具体涉及一种室内监护环境行为识别及定位方法。

技术介绍

[0002]由于老龄化和空心化社会的来临，独居老人、纯老人家庭、独居年轻人的数量也日益上升。而当前情势下，整个居家照护服务面临着社工短缺、人工监护成本过高及家人彼此之间照护困难等等问题。先看老年人所面对的困境：老人独自在家或者在养老机构日常活动时，容易发生意外，及时的监护与报警不可或缺。而在目前主流的以养老院、护工上门服务等养老模式下，老人在室内的日常活动能力和活动强度得不到有效的监护和评估，经常会导致健康情况监护的不细致、不准确，从而错失相关疾病的最佳检查、治疗周期。与此同时，近年来年轻人因工作压力大，睡眠不足等原因带来的健康隐患在独居环境下也有越演越烈的趋势。年轻人半夜猝死，晨发脑溢血等等新闻更是层出不穷。
[0003]有鉴于此，有必要研究用于满足监护要求的室内定位与行为识别的技术，对人们室内独居时可能存在的意外情况予以监护。

技术实现思路

[0004]本专利技术针对现有技术中存在的技术问题，提供一种室内监护环境行为识别及定位方法，通过多角度多源数据对检测对象进行行为识别以及人头定位，从而判断每个检测对象的准确的行为类别，以实现室内监护环境当中对于受照护者行为的有效智能化监护。
[0005]本专利技术解决上述技术问题的技术方案如下：本专利技术提供一种室内监护环境行为识别及定位方法，包括：获取多源视频，对每一源的视频进行预处理以获取样本集，将样本集输入训练好的行为识别模型以获得检测对象的行为识别信息，将样本集输入训练好的目标检测模型以获得检测对象的人头定位信息；通过极线约束的方式将多源视频相关联，通过每一源视频中得到的人头定位信息为每个检测对象分配唯一的ID号；根据行为识别信息、人头定位信息与ID号得到对应检测对象的行为分类信息。
[0006]在上述技术方案的基础上，本专利技术还可以做如下改进。
[0007]进一步，所述的对每一源的视频进行预处理以获取样本集，包括：将每一源的视频按照相同时间间隔分割成若干段视频片段，在每段视频片段中随机采样一帧图像，随机采样时间机制采用离散时间傅里叶变换，每次采样得到的全部帧图像组成一个样本集。
[0008]进一步，所述的将样本集输入训练好的行为识别模型以获得检测对象的行为识别信息，包括：将样本集输入训练好的第一2D卷积神经网络，以分别获取样本集中每帧图像的特
征图，将全部特征图进行堆叠，得到特征块；将所述特征块同时输入训练好的第二2D卷积神经网络以及3D卷积神经网络，在第二2D卷积神经网络中提取各帧的静态空间特征并进行堆叠，沿着帧维度对各帧的静态空间特征求平均值；在3D卷积神经网络中按照预设时间间隔跨帧提取特征块中的动态特征；将所述静态空间特征的平均值与所述动态特征进行拼接以得到行为识别信息，根据行为识别信息输出对应动作类别数目的一维向量。
[0009]进一步，所述的将样本集输入训练好的目标检测模型以获得检测对象的人头定位信息，包括：将样本集输入训练好的目标检测模型，依次提取样本集中的每帧图像的人头特征信息并记录每个人头对应的像素位置，根据人头特征信息为每个人头分配唯一的ID号，输出连续帧中对应ID号的人头的像素位置变化记录，所述像素位置变化记录即人头定位信息。
[0010]进一步，所述的将样本集输入训练好的目标检测模型以获得检测对象的人头定位信息，还包括：为每个ID号分别构建跟踪模块，所述跟踪模块用于追踪连续帧中对应ID号的人头定位信息，通过人头定位信息计算当前人头在视频中的消失时间；所述跟踪模块中设有消失时间阈值，当判定对应ID号人头的消失时间达到消失时间阈值，则从内存中清除该ID号对应人头的实例；当判定对应ID号人头的消失时间未达到消失时间阈值，则历史记录中保留该ID号对应人头的实例。
[0011]进一步，所述的将样本集输入训练好的目标检测模型以获得检测对象的人头定位信息，还包括：将相邻帧中各跟踪模块的人头定位信息进行交并比运算，将交并比值最大的人头定位信息进行同一ID迁移。
[0012]进一步，所述的将样本集输入训练好的目标检测模型以获得检测对象的人头定位信息，还包括：基于跟踪模块中同一ID号的人头定位信息，得到对应人头的高程信息，根据所述高程信息计算连续帧中对应人头的高程变化信息，所述高程变化信息用于行为识别辅助判别。
[0013]进一步，所述的通过极线约束的方式将多源视频相关联，通过每一源视频中得到的人头定位信息为每个检测对象分配唯一的ID号，包括：基于获取的多源视频的任意两个相机共视区域的位置关系构造对极线，求解两个相机图像的坐标归一化关系，通过坐标归一化关系获得相机之间点到极线一致性约束的基础矩阵；根据所述基础矩阵以及检测对象的人头定位信息，将一个相机图像中任一检测对象映射到另一个相机图像中同一检测对象上，并将该检测对象的ID号赋值给另一个相机图像中对应的同一检测对象。
[0014]进一步，该方法还包括：获取毫米波雷达成像图，对毫米波雷达成像图提取特征以获取检测对象的行为识别辅助信息；
当通过视频检测的行为识别结果置信度较低时，通过所述行为识别辅助信息判断对应检测对象的行为分类信息，并采用得到的行为分类信息对视频检测的行为识别结果进行修正，修正后得到的数据用于优化行为识别模型。
[0015]进一步，该方法还包括：当通过视频检测以及毫米波雷达检测得到的行为识别结果置信度均较低时，对行为识别结果进行人工校准标注，修正后得到的数据用于优化行为识别模型。
[0016]本专利技术的有益效果是：本专利技术提出了一种室内监护环境行为识别及定位方法，其融合了多源数据（例如多源视频、毫米雷达波）的行为识别及定位技术，构建了轻量化的行为检测网络，便于室内监护特别是养老场景的大范围部署实施。通过离散采样融合二三维卷积神经网络实现视频数据帧精简及信息提取融合的方式，可以提升行为识别算法的全局准确性，实现关联多跨度连续帧进行行为识别并提升识别效率；行为识别算法直接在特征图层面进行2D及3D的信息融合，具备算法高效性、可移植性，算法支持嵌入式端轻量级部署，以实现基于嵌入式端（Nvida
‑
nano）部署检测，节省数据传输及中心算力的成本；联合交并比（IOU）判定及目标关联机制，通过特定目标（例如人头）的检测与跟踪来产生行为识别事件，产生另一个维度的行为识别判据，进一步提高行为识别的准确度；通过极线约束的方式实现跨摄像头的目标重识别，可实现视觉全覆盖跟踪；基于毫米波雷达辅助行为检测，进一步提高系统的行为检测及定位精度；基于实际场景的多源信息对海量室内行为数据进行修正，实现行为检测数据集的生成及优化，同时基于最新数据以优化模型，实现行业数据、模型及算法的循环优化体系，从而提高识别精度，实现整个系统的高效性及稳定性。
附图说明
[0017]图1为本专利技术视频数据行为识别方法流程图；图2为本专利技术的行为识别模型网络结构图；图3为本专利技术的目标检测模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种室内监护环境行为识别及定位方法，其特征在于，包括：获取多源视频，对每一源的视频进行预处理以获取样本集，将样本集输入训练好的行为识别模型以获得检测对象的行为识别信息，将样本集输入训练好的目标检测模型以获得检测对象的人头定位信息；通过极线约束的方式将多源视频相关联，通过每一源视频中得到的人头定位信息为每个检测对象分配唯一的ID号；根据行为识别信息、人头定位信息与ID号得到对应检测对象的行为分类信息。2.根据权利要求1所述一种室内监护环境行为识别及定位方法，其特征在于，所述的对每一源的视频进行预处理以获取样本集，包括：将每一源的视频按照相同时间间隔分割成若干段视频片段，在每段视频片段中随机采样一帧图像，随机采样时间机制采用离散时间傅里叶变换，每次采样得到的全部帧图像组成一个样本集。3.根据权利要求2所述一种室内监护环境行为识别及定位方法，其特征在于，所述的将样本集输入训练好的行为识别模型以获得检测对象的行为识别信息，包括：将样本集输入训练好的第一2D卷积神经网络，以分别获取样本集中每帧图像的特征图，将全部特征图进行堆叠，得到特征块；将所述特征块同时输入训练好的第二2D卷积神经网络以及3D卷积神经网络，在第二2D卷积神经网络中提取各帧的静态空间特征并进行堆叠，沿着帧维度对各帧的静态空间特征求平均值；在3D卷积神经网络中按照预设时间间隔跨帧提取特征块中的动态特征；将所述静态空间特征的平均值与所述动态特征进行拼接以得到行为识别信息，根据行为识别信息输出对应动作类别数目的一维向量。4.根据权利要求1所述一种室内监护环境行为识别及定位方法，其特征在于，所述的将样本集输入训练好的目标检测模型以获得检测对象的人头定位信息，包括：将样本集输入训练好的目标检测模型，依次提取样本集中的每帧图像的人头特征信息并记录每个人头对应的像素位置，根据人头特征信息为每个人头分配唯一的ID号，输出连续帧中对应ID号的人头的像素位置变化记录，所述像素位置变化记录即人头定位信息。5.根据权利要求4所述一种室内监护环境行为识别及定位方法，其特征在于，所述的将样本集输入训练好的目标检测模型以获得检测对象的人头定位信息，还包括：为每个ID号分别构建跟踪模块，所述跟踪模块用于追踪连续帧中对应ID号的人头定位信息，通过人...

【专利技术属性】
技术研发人员：何泽仪，李珍，洪勇，闫科，罗书培，
申请(专利权)人：武汉视合远方科技有限公司，
类型：发明
国别省市：