【技术实现步骤摘要】
本专利技术涉及人工智能，更具体的说是涉及一种智能服药视频审核方法及系统。
技术介绍
1、在疾病预防和控制过程中，虽然基层医疗机构的基本公共卫生服务人力资源体系的确在不断优化，但仍处于人力资源不充足、人力资源流失和存在一定的职业倦怠现象，80％的县(区)级结防机构人员配置达不到要求，这直接影响患者健康管理工作的质量，医务人员直接面视下短程化疗(directly observed treatment,short-course，dots)实际执行率极低，患者自服药、不规则服药渐成普遍现象，忘服漏服频发、药物不良反应发现不及时，导致治愈率低、复发甚至耐药。近年来，远程视频督导服药(video-observed therapy,vot)逐渐成为患者创新管理方式的主流。vot依托于通信终端(电脑、手机等)通过远程视频使医生直接观察患者服药行为。我国在vot的广泛应用下，肺结核发病率在五年间下降了36.81％。
2、虽然vot管理模式一定程度上降低了基层医疗机构医护的工作负担，但在一些偏远地区结核病报告发病率仍较高且各级医疗机构结防专业人员严重短缺，现行vot管理模式的实施依旧难以实现患者的高质量健康管理。同时，vot管理方式普遍存在医护人员审核服药视频不及时、质量控制不稳定的现象。
3、因此，提供一种智能服药视频审核方法及系统，降低基层医护人员工作负担、改善病患者服药管理的质量控制、提高服药管理的及时性，是本领域技术人员亟需解决的问题。
技术实现思路
1、有鉴于此，本专
2、为了实现上述目的，本专利技术采用如下技术方案：
3、一方面，本专利技术提供了一种智能服药视频审核方法，包括以下步骤：
4、获取患者的服药视频；
5、基于所述服药视频进行药品检测，得到药品识别结果；
6、基于所述服药视频进行服药动作识别，得到服药动作识别结果；
7、基于所述药品识别结果和所述服药动作识别结果，得到服药审核结果。
8、优选的，基于所述服药视频进行药品检测，得到药品识别结果，包括：
9、基于目标检测网络yolov8对所述服药视频进行逐帧检测，得到每一帧的检测结果；
10、基于所述检测结果确定所述服药视频的有效帧；
11、基于所述有效帧判断是否包含药品，得到所述药品识别结果。
12、优选的，基于所述有效帧判断是否包含药品，得到所述药品识别结果，包括：
13、判断所述有效帧的帧数是否大于等于预设阈值；
14、若所述有效帧的帧数大于预设阈值，则判断所述有效帧是否存在至少两帧为连续帧，若存在，则药品识别结果为检测到药品；若不存在，则药品识别结果为未检测到药品；
15、若所述有效帧的帧数小于预设阈值，则药品识别结果为未检测到药品。
16、优选的，基于所述服药视频进行服药动作识别，得到所述服药动作识别结果，包括：
17、将所述服药视频均匀分成若干组视频段，在每组视频段中随机采样一帧图像作为动作识别图像；
18、对所述动作识别图像进行图像特征提取，获取所述动作识别图像的图像特征；
19、对所述动作识别图像进行人体关键点检测，获得人体骨架序列；
20、基于所述人体骨架序列进行骨架特征提取，获取骨架特征；
21、将所述图像特征和所述骨架特征进行融合，得到融合特征；
22、根据所述融合特征得到所述服药动作识别结果。
23、优选的，采用3d卷积神经网络模型对所述图像特征和所述骨架特征进行提取。
24、优选的，对所述动作识别图像进行人体关键点检测，获得人体骨架序列，包括：采用hrnet网络模型获取人体的17个关键点坐标，组成所述人体骨架序列。
25、优选的，基于所述人体骨架序列进行骨架特征提取，获取骨架特征，包括：
26、将所述人体骨架序列转换成3d热图：根据所述关键点坐标，使用高斯核生成维度为k×h×w的热图，计算公式为：
27、jkij＝exp(-[(i-xk)2+(j-yk)2]/(2*σ2))*ck
28、其中，(xk，yk)为第k个关键点的坐标，ck为第k个关键点的置信度，σ为控制高斯图的方差，jkij表示所述3d热图，(i，j)为热图的点坐标；
29、将t帧的热图进行堆叠得到整个服药视频的3d热图，所述3d热图的维度为k×t×h×w，其中k为骨骼点的数量，t为帧数，h和w分别为高和宽。
30、优选的，将所述图像特征和所述骨架特征进行融合，得到融合特征，包括：
31、所述图像特征和所述骨架特征分别经过一个全连接层和非线性激活的组合，得到维度均为256的特征f'image和f'pose：
32、f′image＝relu(fimagewimage+bimage)
33、f′pose＝relu(fposewpose+bpose)
34、其中，fimage为图像特征，fpose为骨架特征，relu为非线性激活函数，wpose和wimage分别为线性层的权重，bpose和bimage分别为线性层的偏差；
35、f'image和f'pose经过加权相加得到融合特征ffuse：
36、ffuse＝αposef′pose+αimagef′image
37、其中，αpose和αimage分别为加权融合的权重系数，αpose和αimage计算公式为：
38、αimage＝softmax(f'posew+b)
39、αpose＝softmax(f′imagew+b)
40、其中，w为线性层权重，b为线性层的偏差。
41、另一方面，本专利技术提供了一种智能服药视频审核系统，包括：
42、输入模块，用于获取患者的服药视频；
43、药品识别模块，用于基于所述服药视频进行药品检测，得到药品识别结果；
44、动作识别模块，用于基于所述服药视频进行服药动作识别，得到服药动作识别结果；
45、审核模块，用于基于所述药品识别结果和所述服药动作识别结果，得到服药审核结果。
46、优选的，所述药品识别模块包括：
47、药品识别单元，用于基于目标检测网络yolov8对所述服药视频进行逐帧检测，得到每一帧的检测结果；
48、分类结果处理单元，用于基于所述检测结果确定所述服药视频的有效帧，并基于所述有效帧判断是否包含药品，得到所述药品识别结果；<本文档来自技高网...
【技术保护点】
1.一种智能服药视频审核方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种智能服药视频审核方法，其特征在于，基于所述服药视频进行药品检测，得到药品识别结果，包括：
3.根据权利要求2所述的一种智能服药视频审核方法，其特征在于，基于所述有效帧判断是否包含药品，得到所述药品识别结果，包括：
4.根据权利要求1所述的一种智能服药视频审核方法，其特征在于，基于所述服药视频进行服药动作识别，得到所述服药动作识别结果，包括：
5.根据权利要求4所述的一种智能服药视频审核方法，其特征在于，采用3D卷积神经网络模型对所述图像特征和所述骨架特征进行提取。
6.根据权利要求4所述的一种智能服药视频审核方法，其特征在于，对所述动作识别图像进行人体关键点检测，获得人体骨架序列，包括：采用hrnet网络模型获取人体的17个关键点坐标，组成所述人体骨架序列。
7.根据权利要求6所述的一种智能服药视频审核方法，其特征在于，基于所述人体骨架序列进行骨架特征提取，获取骨架特征，包括：
8.根据权利要求4所述的一种智能服
9.一种智能服药视频审核系统，其特征在于，包括：
10.根据权利要求9所述的一种智能服药视频审核系统，其特征在于，所述药品识别模块包括：
...【技术特征摘要】
1.一种智能服药视频审核方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种智能服药视频审核方法，其特征在于，基于所述服药视频进行药品检测，得到药品识别结果，包括：
3.根据权利要求2所述的一种智能服药视频审核方法，其特征在于，基于所述有效帧判断是否包含药品，得到所述药品识别结果，包括：
4.根据权利要求1所述的一种智能服药视频审核方法，其特征在于，基于所述服药视频进行服药动作识别，得到所述服药动作识别结果，包括：
5.根据权利要求4所述的一种智能服药视频审核方法，其特征在于，采用3d卷积神经网络模型对所述图像特征和所述骨架特征进行提取。
6.根...
【专利技术属性】
技术研发人员：郭旭君，刘盛元，万翔，杨亚蕊，李灏峰，王健，白俊博，王昌淼，杨南森，李盛斌，钟涛，刘守江，朱利清，
申请(专利权)人：深圳市南山区慢性病防治院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。