一种智能用药监测方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种智能用药监测方法、装置、设备及存储介质，通过获取用户用药过程的视频图像；采用预设的神经网络模型对所述视频图像进行人体姿态估计，确定所述用户的身体关键点；根据预设的动作特征规则对获取的身体关键点的动作进行判断，确定所述用户的动作行为；根据预先训练的目标检测模型检测所述视频图像中用药标签，确定所述用户的用药行为；根据所述动作行为和所述用药行为确定用户用药的监测结果。通过对用户具体的用药行为进行监测，监测用户具体的用药情况。监测用户具体的用药情况。监测用户具体的用药情况。

【技术实现步骤摘要】
一种智能用药监测方法、装置、设备及存储介质


[0001]本专利技术涉及计算机视觉
，尤其涉及一种智能用药监测方法、装置、设备及存储介质。

技术介绍

[0002]一些慢性病通常为终身疾病，患者需要长期居家服药以控制病情。由于用药种类繁杂，服药自律性差，健康意识不够，存在认知障碍或者缺乏护理人员等因素。传统的人工医嘱的药物监护模式无法满足临床需求患者极易出现忘服药物、错服药物、漏服药物、延迟服药、擅自停药、随意增减药物剂量等事件导致耽误治疗，造成严重后果的用药安全问题。为了医疗服务的延续，按时、遵医嘱地安全用药称为重中之重。
[0003]智能用药监测领域的现有技术大多是药物辅助系统，通过智能药盒、服药应用程序APP等按照预先设定的时间、用量提醒用户服药，但是无法具体监测用户的用药情况。

技术实现思路

[0004]为解决上述技术问题，本专利技术提供一种智能用药监测方法、装置、设备及存储介质，通过对用户具体的用药行为进行监测，监测用户具体的用药情况。
[0005]本专利技术实施例提供一种智能用药监测方法，所述方法包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能用药监测方法，其特征在于，所述方法包括：获取用户用药过程的视频图像；采用预设的神经网络模型对所述视频图像进行人体姿态估计，确定所述用户的身体关键点；根据预设的动作特征规则对获取的身体关键点的动作进行判断，确定所述用户的动作行为；根据预先训练的目标检测模型检测所述视频图像中用药标签，确定所述用户的用药行为；根据所述动作行为和所述用药行为确定用户用药的监测结果。2.如权利要求1所述的智能用药监测方法，其特征在于，所述采用预设的神经网络模型对所述视频图像进行人体姿态估计，确定所述用户的身体关键点，具体包括；采用BlazePose卷积神经网络从所述视频图像中提取出上半身骨架姿态；检测出上半身骨架姿态中预设的关键点，并将检出的关键点进行二维平面的投影，得到身体关键点的位置、方向以及尺度信息。3.如权利要求1所述的智能用药监测方法，其特征在于，所述身体关键点包括：嘴巴、脖子、左肩、右肩、左手肘、右手肘、左手腕和右手腕；所述根据预设的动作特征规则对获取的身体关键点的动作进行判断，确定所述用户的动作行为，具体包括：实时计算预设的第一关键点对之间的第一欧式距离，预设的第二关键点对之间的第二欧式距离，以及预设的第三关键点对之间的第三欧式距离；当依次识别到第一欧式距离在预设的第一范围、第二欧式距离在预设的第二范围以及第三欧式距离在预设的第三范围时，判定依次发生拿药、取药和吃药过程，判定动作行为正常；否则，判定动作行为异常。4.如权利要求1所述的智能用药监测方法，其特征在于，所述目标检测模型的训练过程具体包括：获取训练图像，并采用Labelimg数据标注工具框出训练图像中所有药瓶样本和药片样本，并标记药瓶名称和药片名称获取预先进行标定的训练图像，将标记后的训练图像作为数据集；将所述数据集中的所有数据输入到基于YOLO V5的目标检测模型中，将所有训练图像等比例缩放到预设大小；根据所述目标检测模型预设的初始锚框输出所述数据集中每一训练图像的预测框，将输出预测框的检测结果与该图像的标定进行对比，计算两者的差距，反向更新所述目标检测模型的锚框参数；根据所述目标检测模型对所述数据集采用预设的单次训练抓取数量、预设的迭代次数和预设的训练轮次进行迭代训练，得到训练后的目标检测模型。5.如权利要求1所述的智能用药监测方法，其特征在于，所述根据预先训练的目标检测模型检测所述视频图像中用药标签，确定所述...

【专利技术属性】
技术研发人员：谢雪梅，谈小鹏，甘礼福，刘艺，
申请(专利权)人：西安电子科技大学广州研究院，
类型：发明
国别省市：