基于目标检测网络与知识推理的人员行为意图识别方法技术

本发明专利技术公开了一种基于目标检测网络与知识推理的人员行为意图识别方法，将知识图谱和知识推理技术应用到人员行为意图识别中，通过知识推理挖掘场景图像中的隐含信息，进而获取人员的行为意图，利用人体关键点检测模型对人体特征信息参量进行分析计算，获得推理人员行为意图的条件。本发明专利技术可以对老人行为意图和需求做出判断，了解老人是否做到其想做的事，进一步还可以统计老人一天所做之事，便于对老人的行动或其他方面进行针对性关照。的行动或其他方面进行针对性关照。的行动或其他方面进行针对性关照。

【技术实现步骤摘要】
基于目标检测网络与知识推理的人员行为意图识别方法


[0001]本专利技术涉及图像识别与场景理解领域，具体涉及一种基于目标检测网络与知识推理的人员行为意图识别方法。

技术介绍

[0002]随着人口老龄化问题的日益严重，独居老人的监护问题受到越来越多的社会关注。在智慧养老研究领域，对独居老人的行为意图识别是目前独居老人监护问题的重点。
[0003]目前对独居老人的行为意图识别主要实现了对老人的行为识别，如行走、摔倒和坐等行为。主要有两种方法：一是通过穿戴式传感器实时采集人体活动的行为数据，将数据回传后再进行特征提取和分类识别，该方法存在穿戴式设备造成体感舒适度低、设备易损坏等问题；二是基于深度学习和视频监控，通过摄像头实时采集视频数据进行目标检测，该方法准确率高，且被监护人员不需要佩戴任何传感器设备。这些方法都实现了对独居老人的行为识别，但不能对老人行为意图和需求做出判断，也就无法了解老人是否做到其想做的事，也无法统计老人一天所做之事，难以对老人进行行动或其他方面的针对性关照。

技术实现思路

[0004]针对现有技术中的上述不足，本专利技术提供的基于目标检测网络与知识推理的人员行为意图识别方法可以对老人的行为进行识别，便于针对性关照。
[0005]为了达到上述专利技术目的，本专利技术采用的技术方案为：
[0006]提供一种基于目标检测网络与知识推理的人员行为意图识别方法，其包括以下步骤：
[0007]S1、以三元组的形式构建面向人员生活场景的知识图谱；
[0008]S2、采集视频数据并进行预处理，得到预处理后的数据；
[0009]S3、将预处理后的数据输入至目标检测模型，获取预处理后的数据中的各类实体；各类实体包括人体和物体；
[0010]S4、根据人体和物体的位置区域特征构建关系特征，根据关系特征采用高斯混合模型得出物体与人体的位置关系；其中位置关系包括“在手中”、“从属关系”和“距离小于阈值”；
[0011]S5、将物体、人体和对应的位置关系构成三元组，将三元组输入知识图谱，得到初步确定的场景；
[0012]S6、通过人体关键点检测模型获取预处理后的数据中人体关键点特征信息；
[0013]S7、基于人体关键点特征信息对初步确定的场景进行推理，输出符合人体关键点特征信息的场景，并将输出的场景作为人员行为意图。
[0014]进一步地，步骤S1的具体方法为：
[0015]以“人
‑
物
‑
行为”构建三元组，以三元组为核心进行本体建模，搭建面向人员的生活场景的图谱基础架构；定义面向人员生活场景的物体概念，选取物体的视觉属性概念，明
确物体间的相对位置关系，通过常识、场景图像和/或常用语义对图谱基础架构进行对象信息扩展，得到面向人员生活场景的知识图谱。
[0016]进一步地，步骤S2中预处理的具体方法为：
[0017]将视频数据处理成帧图像，并对帧图像进行去噪和压缩。
[0018]进一步地，步骤S3的具体方法为：
[0019]采用Mask R
‑
CNN模型作为目标检测模型，将预处理后的数据输入至Mask R
‑
CNN模型中，获取Mask R
‑
CNN模型输出的各类实体。
[0020]进一步地，步骤S4的具体方法包括以下子步骤：
[0021]S4
‑
1、获取实体λ
i
的区域坐标(x
i
,y
i
)、宽度w
i
和高度h
i
，采用公式：
[0022][0023]构建实体λ
i
与人手λ
j
的关系特征f(λ
i
,λ
j
)；其中area
i
表示实体λ
i
的面积；(x
j
,y
j
)、w
j
、h
j
和area
j
分别为人手λ
j
的区域坐标、宽度、高度和面积；实体包括水杯、书本、手机、烟、笔、筷子、菜刀、饭碗、扫帚、拖把、跳绳和牙刷；
[0024]S4
‑
2、将关系特征f(λ
i
,λ
j
)输入高斯混合模型，获取实体λ
i
与人手λ
j
之间条件概率值最大的位置关系，并将其作为物体与人体的位置关系。
[0025]进一步地，步骤S4
‑
2的具体方法包括以下子步骤：
[0026]S4
‑2‑
1、初始化高斯混合模型参数；
[0027]S4
‑2‑
2、基于当前参数，根据公式：
[0028][0029]计算观测数据n来自子模型k的概率γ
jk
；其中N表示观测数据的总数；K表示高斯混合模型中子模型的总数；α
k
为观测数据属于子模型k的概率；φ(x
n
|θ
k
)为子模型k的高斯分布密度函数，μ
k
为子模型的数据期望，σ
k
为子模型的数据方差；x
n
表示观测数据n；
[0030]S4
‑2‑
3、根据公式：
[0031][0032][0033][0034]更新参数μ
k
、α
k
和∑
k
；其中(
·
)
T
表示转置；
[0035]S4
‑2‑
4、判断当前参数μ
k
、α
k
和∑
k
是否均收敛，若是则进入步骤S4
‑2‑
5；否则返回步骤S4
‑2‑
2；
[0036]S4
‑2‑
5、根据公式：
[0037][0038]获取实体λ
i
与实体λ
j
的关系特征f(λ
i
,λ
j
)的概率分布，并得到概率值最大的位置关系。
[0039]进一步地，步骤S6中人体关键点特征信息包括：
[0040]人体关键点及其对应的坐标数据，人体关键点包括：鼻子、脖子、右肩、右肘、右腕、左肩、左肘、左腕、右腰、右膝、右脚踝、左腰、左膝、左脚踝、右眼、左眼、右耳和左耳。
[0041]进一步地，步骤S7的具体方法包括以下子步骤：
[0042]S7
‑
1、通过人体关键点的坐标数据和实体的位置获取实体处于人体的左侧或右侧，若处于人体左侧，则采用鼻子、左肩、左肘、左腕、左腰和左耳进行步骤S7
‑
2和步骤S7
‑
3的操作；若处于人体右侧，则采用鼻子、右肩、右肘、右本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标检测网络与知识推理的人员行为意图识别方法，其特征在于，包括以下步骤：S1、以三元组的形式构建面向人员生活场景的知识图谱；S2、采集视频数据并进行预处理，得到预处理后的数据；S3、将预处理后的数据输入至目标检测模型，获取预处理后的数据中的各类实体；各类实体包括人体和物体；S4、根据人体和物体的位置区域特征构建关系特征，根据关系特征采用高斯混合模型得出物体与人体的位置关系；其中位置关系包括“在手中”、“从属关系”和“距离小于阈值”；S5、将物体、人体和对应的位置关系构成三元组，将三元组输入知识图谱，得到初步确定的场景；S6、通过人体关键点检测模型获取预处理后的数据中人体关键点特征信息；S7、基于人体关键点特征信息对初步确定的场景进行推理，输出符合人体关键点特征信息的场景，并将输出的场景作为人员行为意图。2.根据权利要求1所述的基于目标检测网络与知识推理的人员行为意图识别方法，其特征在于，步骤S1的具体方法为：以“人
‑
物
‑
行为”构建三元组，以三元组为核心进行本体建模，搭建面向人员的生活场景的图谱基础架构；定义面向人员生活场景的物体概念，选取物体的视觉属性概念，明确物体间的相对位置关系，通过常识、场景图像和/或常用语义对图谱基础架构进行对象信息扩展，得到面向人员生活场景的知识图谱。3.根据权利要求1所述的基于目标检测网络与知识推理的人员行为意图识别方法，其特征在于，步骤S2中预处理的具体方法为：将视频数据处理成帧图像，并对帧图像进行去噪和压缩。4.根据权利要求1所述的基于目标检测网络与知识推理的人员行为意图识别方法，其特征在于，步骤S3的具体方法为：采用Mask R
‑
CNN模型作为目标检测模型，将预处理后的数据输入至Mask R
‑
CNN模型中，获取Mask R
‑
CNN模型输出的各类实体。5.根据权利要求1所述的基于目标检测网络与知识推理的人员行为意图识别方法，其特征在于，步骤S4的具体方法包括以下子步骤：S4
‑
1、获取实体λ
i
的区域坐标(x
i
,y
i
)、宽度w
i
和高度h
i
，采用公式：构建实体λ
i
与人手λ
j
的关系特征f(λ
i
,λ
j
)；其中area
i
表示实体λ
i
的面积；(x
j
,y
j
)、w
j
、h
j
和area
j
分别为人手λ
j
的区域坐标、宽度、高度和面积；实体包括水杯、书本、手机、烟、笔、筷子、菜刀、饭碗、扫帚、拖把、跳绳和牙刷；S4
‑
2、将关系特征f(λ
i
,λ
j
)输入高斯混合模型，获取实体λ
i
与人手λ
j
之间条件概率值最大的位置关系，并将其作为物体与人体的位置关系。6.根据权利要求5所述的基于目标检测网络与知识推理的人员行为意图识别方法，其特征在于，步骤S4
‑
2的具体方法包括以下子步骤：
S4
‑2‑
1、初始化高斯混合模型参数；S4
‑2‑
2、基于当前参数，根据公式：计算观测数据n来自子模型k的概率γ
jk
；其中N表示观测数据的总数；K表示高斯混合模型中子模型的总数；α
k
为观测数据属于子模型k的概率；φ(x
n
|θ
k
)为子模型k的高斯分布密度函数，μ
k
为子模型的数据期望，σ
k
为子模型的数据方差；x
n
表示观测数据n；S4
‑2‑
3、根据公式：3、根据公式：3、根据公式：更新参数μ
k
、α

【专利技术属性】
技术研发人员：苟先太，程丽红，蒋晓凤，曾开心，魏峰，顾凡，周晨晨，苟瀚文，姚一可，
申请(专利权)人：四川八维九章科技有限公司，
类型：发明
国别省市：