一种基于级联深度神经网络的穴位精准定位方法技术

本发明专利技术公开了一种基于级联深度神经网络的穴位精准定位方法。现有深度学习技术对于小目标检测，会出现识别精度低、识别速度慢、识别出现频闪等问题。本发明专利技术步骤：对获取的手部图像利用手部位置检测和手部关键点检测结合的级联神经网络，输出手部区域及手部21个关键点信息；最后根据手部21个关键点与“寸”之间的几何关系，计算得到穴位点坐标并映射到手部区域中。本发明专利技术在保证检测过程实时性与检测速度要求的前提下，使检测手部穴位的准确率与鲁棒性均有所提升。均有所提升。均有所提升。

【技术实现步骤摘要】
一种基于级联深度神经网络的穴位精准定位方法


[0001]本专利技术属于医疗图像处理领域，具体涉及一种级联深度神经网络的穴位精准定位方法。

技术介绍

[0002]在传统医学中，手部穴位是中医的重要组成部分，通过针灸、艾灸、推拿刺激穴位能起到活血化瘀、美容养颜、治疗疾病的功效。由于手部上穴位分布密集以及存在相邻穴位距离较近的情况，“无经验”或“无专业设备”人员往往会造成无法精准定位穴位的问题，降低按摩穴位的效果。随着人工智能的发展，利用深度学习技术迸行医疗辅助成为近几年热门研究方向，尤其是在医学图像上的检测和分类任务。但是对于手部穴位这类小目标检测，会出现识别精度低、识别速度慢、识别出现频闪等问题。

技术实现思路

[0003]针对上述问题，本专利技术提供一种级联深度神经网络的穴位精准定位方法，其目的在于保证检测过程的实时性与检测速度要求的前提下，搭建深度学习算法框架使检测手部穴位的准确率与鲁棒性均有所提升。
[0004]本专利技术一种基于级联深度神经网络的穴位精准定位方法，包括以下步骤：
[0005]S1：采集不同光照程度以及不同肤色下的手部数据，得到I类样本；
[0006]S2：采集不同手势下的手部数据，得到Ⅱ类样本；
[0007]S3：对I类样本进行数据前处理，并按比例进行训练集和验证集的划分；
[0008]S4：对Ⅱ类样本进行数据前处理，并按比例进行训练集和验证集的划分；
[0009]S5：采取目标检测算法构建I类模型，采用基于I类样本得到的训练集和验证集对I类模型进行训练和验证，得到I类优化模型；
[0010]S6：采取关键点检测算法构建Ⅱ类模型，采用基于Ⅱ类样本得到的训练集和验证集对Ⅱ类模型进行训练和验证，得到Ⅱ类优化模型；
[0011]S7：通过摄像头获取手部实时画面，将检测到的画面通过I类优化模型定位到手部区域，然后将手部区域输入Ⅱ类优化模型获取手部21个关键点的信息；根据获取的手部21个关键点的信息，确定手心或手背；
[0012]S8：根据获取的手部21个关键点的信息，结合中指同身寸法定位手部穴位，然后将穴位信息映射至手部区域中。
[0013]优选的，在步骤S1和S2中，采取Ha
‑
GRID开源手部数据集和11k Hands开源手掌数据集作为初始样本，其包含不同手势、不同光照程度以及不同肤色的手部数据，但不包含生理缺陷类型的手部数据。
[0014]优选的，对I类样本的数据前处理为：使用标注软件将I类样本中含手部的位置进行标注，其中左手标签设为“L
‑
Hand”，右手标签设为“R
‑
Hand”；
[0015]优选的，对Ⅱ类样本的数据前处理为：使用标注软件将Ⅱ类样本中的手部21个关
键点坐标进行标注，其中21个关键点及其标签设置分别为手腕“0.WRIST”、第一腕掌“1.THUMB_CMC”、拇指掌指“2.THUMB_MCP”、拇指指间关节“3.THUMB_IP”、拇指指尖“4.THUMB_TIP”、食指掌指“5.INDEX_FINGER_MCP”、食指近端指间关节“6.INDEX_FINGER_PIP”、食指远端指间关节“7.INDEX_FINGER_DIP”、食指指尖“8.INDEX_FINGER_TIP”、中指掌指“9.MIDDLE_FINGER_MCP”、中指近端指间关节“10.MIDDLE_FINGER_PIP”、中指远端指间关节“11.MIDDLE_FINGER_DIP”、中指指尖“12.MIDDLE_FINGER_TIP”、无名指掌指“13.RING_FINGER_MCP”、无名指近端指间关节“14.RING_FINGER_PIP”、无名指远端指间关节“15.RING_FINGER_DIP”、无名指指尖“16.RING_FINGER_TIP”、小指掌指“17.PINKY_MCP”、小指近端指间关节“18.PINKY_PIP”、小指远端指间关节“19.PINKY_DIP”、小指指尖“20.PINKY_TIP”。
[0016]优选的，步骤S3和S4中进行数据前处理后，进行格式转换，具体为将数据前处理后的XML格式转为YOLO格式。
[0017]优选的，训练集和验证集按8：2比例划分。
[0018]优选的，在步骤S5中，采取改进YOLOv5目标检测算法构建I类模型，训练权重(weights)选取官方权重(yolov5s6)，迭代次数(epochs)为300。改进YOLOv5目标检测算法在YOLOv5目标检测算法的原有检测头(head)框架中添加160x160的检测特征图，用于检测4x4以上的目标，在原有主干网络(backbone)框架中添加注意力机制，将原先的部分C3模块替换成C3SE模块，Anchors参数利用K
‑
means聚类算法重新计算。
[0019]优选的，在步骤S6中，采取热图回归法(heatmap)构建Ⅱ类模型，热图回归法利用HRNet作为主干网络(backbone)，其中设置的超参数为：迭代次数为300，优化器为Adam，激活函数为ReLU。
[0020]优选的，在步骤S8中，中指同身寸法中的“寸”利用欧氏距离计算得到：
[0021]X
c
＝X
11
‑
X
10
[0022]Y
c
＝Y
11
‑
Y
10
[0023][0024]其中X
c
为中指远端指间关节的横坐标X
11
与中指近端指间关节的横坐标X
10
之间的距离，Y
c
为中指远端指间关节的纵坐标Y
11
与中指近端指间关节的纵坐标Y
10
之间的距离，L
c
为“寸”的距离。
[0025]本专利技术的有益效果如下：
[0026]本专利技术通过摄像头实时采集手部信息，利用深度学习框架(pytorch)将I类优化模型和Ⅱ类优化模型级联，并结合几何原理，对手部穴位进行精确定位，并将其映射至手部位置中。其中，由于摄像头实时采集手部信息时会存在干扰信息，若直接利用关键点算法进行手部关键点识别，当出现干扰信息与手部数据样本接近时，会发生误检及关键点漂移现象，因此本专利技术通过级联深度学习算法，先通过分类模型(I类优化模型)定位到手部位置并区分左右手，随后采取回归模型(Ⅱ类优化模型)进行手部关键点识别获取手部21个关键点，对于手心及手背的区分，是利用分类模型确定的左右手信息以及手部21个关键点其各自的几何关系信息进行确定；而手部穴位精确定位采用中医理论中的中指同身寸法，利用“寸”与手部关键点之间的关系确定手部穴位信息。本专利技术在保证检测过程实时性与检测速度要
求的前提下，使检测手部穴位的准确率与鲁棒性均有所提升。
附图说明
[0027]图1为本专利技术的流程图。
[0028]图2为本专利技术的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于级联深度神经网络的穴位精准定位方法，其特征在于：包括以下步骤：S1：采集不同光照程度以及不同肤色下的手部数据，得到I类样本；S2：采集不同手势下的手部数据，得到Ⅱ类样本；S3：对I类样本进行数据前处理，并按比例进行训练集和验证集的划分；S4：对Ⅱ类样本进行数据前处理，并按比例进行训练集和验证集的划分；S5：采取目标检测算法构建I类模型，采用基于I类样本得到的训练集和验证集对I类模型进行训练和验证，得到I类优化模型；S6：采取关键点检测算法构建Ⅱ类模型，采用基于Ⅱ类样本得到的训练集和验证集对Ⅱ类模型进行训练和验证，得到Ⅱ类优化模型；S7：通过摄像头获取手部实时画面，将检测到的画面通过I类优化模型定位到手部区域，然后将手部区域输入Ⅱ类优化模型获取手部21个关键点的信息；根据获取的手部21个关键点的信息，确定手心或手背；S8：根据获取的手部21个关键点的信息，结合中指同身寸法定位手部穴位，然后将穴位信息映射至手部区域中。2.根据权利要求1所述一种基于级联深度神经网络的穴位精准定位方法，其特征在于：在步骤S1和S2中，采取Ha
‑
GRID开源手部数据集和11k Hands开源手掌数据集作为初始样本，其包含不同手势、不同光照程度以及不同肤色的手部数据，但不包含生理缺陷类型的手部数据。3.根据权利要求1所述一种基于级联深度神经网络的穴位精准定位方法，其特征在于：对I类样本的数据前处理为：使用标注软件将I类样本中含手部的位置进行标注，其中左手标签设为“L
‑
Hand”，右手标签设为“R
‑
Hand”。4.根据权利要求1所述一种基于级联深度神经网络的穴位精准定位方法，其特征在于：对Ⅱ类样本的数据前处理为：使用标注软件将Ⅱ类样本中的手部21个关键点坐标进行标注，其中21个关键点及其标签设置分别为手腕“0.WRIST”、第一腕掌“1.THUMB_CMC”、拇指掌指“2.THUMB_MCP”、拇指指间关节“3.THUMB_IP”、拇指指尖“4.THUMB_TIP”、食指掌指“5.INDEX_FINGER_MCP”、食指近端指间关节“6.INDEX_FINGER_PIP”、食指远端指间关节“7.INDEX_FINGER_DIP”、食指指尖“8.INDEX_FINGER_TIP”、中指掌指“9.MIDDLE_FINGER_MCP”、中指近端指间关节“10.MIDDLE_FINGER_PIP”、中指远端指间关节“11.MIDDLE_FINGER_DIP”、中指指尖“12.MIDDLE...

【专利技术属性】
技术研发人员：王浩，柳丽，王英，杜森浩，
申请(专利权)人：宁波大学，
类型：发明
国别省市：