基于人体关键点检测和Transformer模型的老人吃药检测方法和系统技术方案

本发明专利技术涉及机器学习领域和智慧养老服务领域，为基于人体关键点检测和Transformer模型的老人吃药检测方法和系统，该方法包括：通过视频设备分别采集空间数据整体数据和人体面部区域数据，得到视频集合检测提取得到人体关键点特征、面部关键点特征、药品特征；根据人体关键点特征、面部关键点特征、药品特征做逻辑判断，得到是否完成正确服药的第一结果R1；通过Transformer时序模型对人体关键点特征进行逐帧建模，将包含视频每一帧动作全局信息特征集合的输入动作分类器进行分类，得到是否为服药动作的第二结果R2；根据结果R1和结果R2判断并输出是否完成正确服药的结果。本发明专利技术可以提高对吃药、喝水等相似动作的区分度，准确检测老年人是否按量正确地完成吃药。测老年人是否按量正确地完成吃药。测老年人是否按量正确地完成吃药。

【技术实现步骤摘要】
基于人体关键点检测和Transformer模型的老人吃药检测方法和系统


[0001]本专利技术涉及机器学习领域和智慧养老服务领域，具体涉及基于人体关键点检测和Transformer模型的老人吃药检测方法和系统。

技术介绍

[0002]随着人口出生率逐渐降低，我国逐渐进入老年社会，按照第七次全国人口普查统计，我国65岁及以上人口比例超过13.50％，人口老龄化程度已超过全球平均水平，我国人口老龄化问题日益严峻，如何让所有人“老有所养”成了我们必须要面对的问题。很多老人身患多种慢性病，这需要他们按时按量的正确吃药，但是老年人记忆差，有的甚至患有健忘症，对服用药物的时间和次数以及服用药物的种类和数量常混淆不清，而老人的子女也不能长期在身边进行提醒，很难保证老人能够定量正确吃药。这样不仅对病情不利，如果没有正确吃药甚至可能对老人的身体有药物毒副作用，因此让他们按量的正确吃药十分重要。现在的相关产品只能保证药物被正确取出，不能保证健忘的老人能够按量正确服用药物，且无法完成实时的全景检测。

技术实现思路

[0003]为解决现有技术所存在的技术问题，本专利技术提供基于人体关键点检测和Transformer模型的老人吃药检测方法和系统，通过人体各部位关键点来检测老人是否吃药，通过Transformer时序模型可以提高对吃药、喝水等相似动作的区分度，准确检测老年人是否按量正确地完成吃药。
[0004]本专利技术的第一个目的在于提供基于人体关键点检测和Transformer模型的老人吃药检测方法。
[0005]本专利技术的第二个目的在于提供基于人体关键点检测和Transformer模型的老人吃药检测系统。
[0006]本专利技术的第一个目的可以通过采取如下技术方案达到：
[0007]基于人体关键点检测和Transformer模型的老人吃药检测方法，所述方法包括：包括以下步骤：
[0008]通过视频设备分别采集空间数据整体数据和人体面部区域数据，得到视频集合；
[0009]将视频集合分别通过不同的神经网络模型检测提取得到人体关键点集合、嘴部关键点集合和药品信息集合，将人体关键点集合作为人体关键点特征，将嘴部关键点集合作为面部关键点特征，将药品信息集合作为药品特征；
[0010]根据人体关键点特征中的各关键点的相对位置、面部关键点特征中的各关键点的相对位置、药品特征中药品的种类和数量做逻辑判断，得到是否完成正确服药的第一结果R1；
[0011]通过Transformer时序模型对人体关键点特征进行逐帧建模，得到包含视频每一
帧动作全局信息的特征集合，将包含视频每一帧动作全局信息的特征集合输入动作分类器进行分类，得到是否为服药动作的第二结果R2；
[0012]根据第一结果R1和第二结果R2判断并输出是否完成正确服药的结果。
[0013]优选地，所述根据人体关键点特征中的各关键点的相对位置、面部关键点特征中的各关键点的相对位置、药品特征中药品的种类和数量做逻辑判断，得到是否完成正确服药的第一结果R1，包括：
[0014]当肘部关键点与对应体侧的肩部连线与身体中轴线所成的锐角大于三十度且腕部关键点高于肩部且低于鼻部时，视为手臂抬起，设定结果R
11
为真。
[0015]当嘴部轮廓点所围成的区域面积先增大再降低时，视为进行服药动作，设定结果R
12
为真。
[0016]当所药品特征中药品的种类和数量与数据库中的预设数据一致时，则视为正确服药，设定结果R
13
为真，否则视为不准确正确服药，设定结果R
13
为否；
[0017]将结果R
11
、结果R
12
和结果R
13
进行逻辑判断，当结果R
11
、结果R
12
和结果R
13
皆为真时，则结果R1为真，视为完成正确服药。
[0018]优选地，所述Transformer时序模型包括Transformer子模块，所述Transformer子模块通过self
‑
attention机制对得到的人体关键点特征进行逐帧建模：
[0019][0020][0021][0022][0023]其中，Q、K、V分别代表注意力机制中的Query矩阵、Key矩阵、Value矩阵；W
q
，W
k
，W
v
均为用来抽象特征以形成上述Query矩阵、Key矩阵、Value矩阵的向量，代表人体关键点特征J1中的每一个元素，为视频每一帧动作全局信息的特征，*表示矩阵乘法；
[0024][0025]其中，x
i
为矩阵运算Q*K
T
产生的结果矩阵中的每一个元素，N为结果矩阵所含的全部元素个数，是以自然对数e为底，x
i
为指数的幂运算。
[0026]本专利技术的第二个目的可以通过采取如下技术方案达到：
[0027]基于人体关键点检测和Transformer模型的老人吃药检测系统，所述系统包括：
[0028]视频采集模块，用于通过视频设备分别采集空间数据整体数据和人体面部区域数据，得到视频集合。
[0029]特征提取与检测模块，用于将视频集合分别通过不同的神经网络模型检测提取得到人体关键点集合、嘴部关键点集合和药品信息集合，将人体关键点集合作为人体关键点特征，将嘴部关键点集合作为面部关键点特征，将药品信息集合作为药品特征。
[0030]逻辑判断模块，用于根据人体关键点特征中的各关键点的相对位置、面部关键点特征中的各关键点的相对位置、药品特征中药品的种类和数量做逻辑判断，得到是否完成正确服药的第一结果R1；通过Transformer时序模型对人体关键点特征进行逐帧建模，得到
包含视频每一帧动作全局信息的特征集合，将包含视频每一帧动作全局信息的特征集合输入动作分类器进行分类，得到是否为服药动作的第二结果R2；根据结果R1和结果R2判断并输出是否完成正确服药的结果。
[0031]交互展示模块，将是否完成正确服药的结果信息通过文字显示或者通过语音播报。
[0032]本专利技术与现有技术相比，具有如下优点和有益效果：
[0033]本专利技术提供基于人体关键点检测和Transformer模型的老人吃药检测方法和系统，通过运用了人体关键点检测技术，通过嘴部关键点判断老人是否将药物正常吞下，使用YOLO分类算法判断药物的种类和数量，可以检测判断老人是否正确吃药；由人体关键点所建构的时序动作特征中，通过时序建模中的transformer框架，可以有效地利用由人体关键点建模产生的动作所隐含的时序信息，区分吃药、喝水等相类似的动作，能够准确检测老年人是否按量正确地完成吃药。
附图说明
[0034]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于人体关键点检测和Transformer模型的老人吃药检测方法，其特征在于，包括以下步骤：通过视频设备分别采集空间数据整体数据和人体面部区域数据，得到视频集合；将视频集合分别通过不同的神经网络模型检测提取得到人体关键点集合、嘴部关键点集合和药品信息集合，将人体关键点集合作为人体关键点特征，将嘴部关键点集合作为面部关键点特征，将药品信息集合作为药品特征；根据人体关键点特征中的各关键点的相对位置、面部关键点特征中的各关键点的相对位置、药品特征中药品的种类和数量做逻辑判断，得到是否完成正确服药的第一结果R1；通过Transformer时序模型对人体关键点特征进行逐帧建模，得到包含视频每一帧动作全局信息的特征集合，将包含视频每一帧动作全局信息的特征集合输入动作分类器进行分类，得到是否为服药动作的第二结果R2；根据第一结果R1和第二结果R2判断并输出是否完成正确服药的结果。2.根据权利要求1所述的基于人体关键点检测和Transformer模型的老人吃药检测方法，其特征在于，所述视频设备为两个RGB
‑
D摄像头。3.根据权利要求1所述的基于人体关键点检测和Transformer模型的老人吃药检测方法，其特征在于，所述将视频集合分别通过不同的神经网络模型检测提取得到人体关键点集合、嘴部关键点集合和药品信息集合，包括步骤：将视频集合复制三份，得到三个相同的视频集合视频集合视频集合根据视频集合通过由开源的PP
‑
TinyPose算法训练的神经网络模型检测提取得到人体关键点集合；根据视频集合使用由开源的Face_Landmark算法训练的神经网络模型检测提取得到面部关键点中的嘴部关键点集合；根据视频集合使用由开源的YOLOv7算法训练的神经网络模型检测提取得到由药品的数量和种类构成的药品信息集合。4.根据权利要求3所述的基于人体关键点检测和Transformer模型的老人吃药检测方法，其特征在于，所述根据人体关键点特征中的各关键点的相对位置、面部关键点特征中的各关键点的相对位置、药品特征中药品的种类和数量做逻辑判断，得到是否完成正确服药的第一结果R1，包括：当肘部关键点与对应体侧的肩部连线与身体中轴线所成的锐角大于三十度且腕部关键点高于肩部且低于鼻部时，视为手臂抬起，设定结果R
11
为真；当嘴部轮廓点所围成的区域面积先增大再降低时，视为进行服药动作，设定结果R
12
为真；当所药品特征中药品的种类和数量与数据库中的预设数据一致时，则视为正确服药，设定结果R
13
为真，否则视为不准确正确服药，设定结果R
13
为否；将结果R
11
、结果R
12
和结果R
13
进行逻辑判断，当结果R
11
、结果R
12
和结果R
13
皆为真时，则结果R1为真，视为完成正确服药。5.根据权利要求4所述的基于人体关键点检测和Transformer模型的老人吃药检测方法，其特征在于，所述Transformer时序模型包括Transformer子模块，所述Transformer子模块通过self
‑
attention机制对得到的人体关键点特征进行逐帧建模：
其中，Q、K、V分别代表注意力机制中的Query矩阵、Key矩阵、Value矩阵；W
q
，W
k
，W
v
均为用来抽象特征以形成上述Query矩阵、Key矩阵、Value矩阵的向量，代表人体关键点特征J1中的每一...

【专利技术属性】
技术研发人员：邱宣瑞，冼允廷，张潇予，颜钰臻，袁小清，马梓扬，
申请(专利权)人：广东优算科技有限公司，
类型：发明
国别省市：