【技术实现步骤摘要】
本专利技术涉及图像处理深度学习和中医针灸定位理论领域，尤其涉及一种基于图像融合和注意力机制的手部穴位检测方法的设计。
技术介绍
1、针灸学是运用经络、腧穴理论和针刺方法以预防疾病的一门科学。针灸是阵法和灸法的总称，针法就是在中医理论指导下把针按照一定角度刺入患者体内，并通过不同针刺手法对人体特定部位进行刺激以治疗疾病，在入针之前必须对穴位做出准确判断，确定好穴位后才能进行针灸操作，针灸穴位判断的准确性对疾病治疗起决定性作用。针灸疗法历史悠久，是古人在医疗实践中积累而成的，传统的针灸疗法作为一种重要的中医疗法，已经在世界范围内得到广泛应用。具体而言，人体共有361个正经穴位，其中手部零零总总约上百个穴位，包括大椎、合谷、内关等十多个重要穴位。
2、而在目前现有技术中，根据传统医学理论进行人工确定穴位完全由针灸医师根据相关医学知识和临床经验决定，而针灸医师需要长年的学习和实习经验积累才能正确识别每个穴位，诊断效率较低，人力和时间成本较高，且存在一定程度的定穴和施针位置不准确的问题。
3、深度图像在目标检测上应用广泛，获取的深度图像通常为普通的彩色图像加上深度图，在3d计算机图形在，深度图是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。通过深度图像进行的目标检测，能够获得更准确的检测结果。但目前深度学习的目标检测算法大多建立在二维检测上，且大多将彩色图像作为输入，在深度图与彩色图结合进行检测领域发展较少，同时还缺少对深度图像的处理和对深度噪声的滤除。而在深度学习与传统医学结合的领域，通过深度学习算
4、由此，需寻找一种能充分利用图像信息，并将其与传统针灸理论相结合的高效高精度检测手部穴位的方法。
技术实现思路
1、为了解决上述技术问题，本专利技术实例提供一种基于图像融合和注意力机制的手部穴位检测方法的技术方案。该方案包含输入图像处理、深度图噪声滤除、传统中医理论的骨度分寸法与指度分寸法融合、分寸定位理论、彩色图像与深度图像的融合、用于进行手部穴位检测的基于注意力机制的图神经网络模型以及该模型的设计和训练，其中本专利技术设计的注意力机制是基于几何和外观信息的。
2、该系统的技术方案为：一种基于图像融合和注意力机制的手部穴位检测方法，该方法包括：
3、步骤1：数据集获取并校正；
4、步骤1.1：通过带有彩色相机和深度传感器的深度相机kinect获得多位性别、年龄、身高、体重都不同的病人手部及手臂的完整图像：
5、步骤1.2：摄像机矫正；
6、为了精确定位穴位，需要对kinect深度相机进行校准，以确定它们之间的几何关系和参数，确保其能够准确地捕捉和测量手部结构关键点和手部穴位，通过估算kinect的分辨率来快速准确地校准kinect投影参数，同时也矫正彩色相机和深度相机之间的相对姿态，将kinect视差单位转换为公制深度的功能；
7、步骤1.3：校准设置包括11个水平正方形和8个25毫米正方形大小的垂直正方形的棋盘图片，用于校准彩色图像摄像头和深度传感器；如图1所示，在三个不同的方向上，距离1到1.5m的平均距离上捕获多个彩色图像和深度图像，连续图像之间的旋转角度设置为20度，并且为了校正相机畸变，捕获了一个平面拍摄校准图像，具体如图2所示；通过上述操作获得了一系列矫正参数；
8、步骤2：对齐彩色图像与深度图像：将获取到的数据集图片根据下方的重投影矩阵将彩色图像的坐标与深度图像坐标对齐：
9、
10、x＝a1x+a2y+a3-a7xx-a8yx
11、y＝a4x+a5y+a6-a7xy-a8yy
12、其中，表示彩色图像中将相机坐标系下的深度值归一化时的彩色图像像素，x、y分别表示横坐标、纵坐标的深度值，表示深度图像中将相机坐标系下的深度值归一化时的深度图像像素，其中x、y表示深度图像的横坐标、纵坐标值，表示彩色图像像素到深度图像像素值的变换矩阵。
13、步骤3：去除深度图信息中的噪声信息：本专利技术实例中采用自适应方向滤波器来去除噪声并填充深度图像中的空洞；
14、步骤3.1：计算图像的梯度：考虑8个方向，对深度图像应用sobel算子或其他梯度算子，计算每个像素点的梯度幅度和方向，公式如下：
15、gk(i,j)＝|i(i,j)-i(i+dk,j+ek)|
16、其中，(i,j)表示像素的位置，gk(i,j)表示像素点(i,j)在方向k上的梯度，i(i,j)表示深度图像中位置(i,j)处的像素值，dk和ek分别表示在方向k上的梯度算子的水平和垂直分量；
17、步骤3.2：确定每个像素点的局部方向：对于每个像素，基于其梯度计算其局部方向；通过使用梯度的角度(或x和y分量之间的比率)来实现找到梯度幅值最大的方向，称为梯度方向，公式如下：
18、d(i,j)＝argmax(gk(i,j))
19、步骤3.3：分组相似方向的像素；将图像中相似方向的像素分为一组，形成不同的方向组；这有助于区分可能是噪声的随机深度值和实际连续的结构；
20、步骤3.4：对每个方向进行滤波；根据优势方向,对每个像素进行方向滤波；即只考虑与优势方向相似的领域像素,抑制与优势方向不同的方向，每个像素p的权重计算公式如下:
21、
22、滤波像素值计算：
23、d(i,j)＝(1/k)*σp∈n(i,j)w(i,j,p)*i(p)
24、k＝σp∈n(i,j)w(i,j,p)
25、其中，w(i,j,p)表示位置为(i,j)的p的权重，g(i,j)表示位置为(i,j)处的像素值，g(p)表示中心像素的梯度幅值，d(p)表示中心像素的方向，t表示方向差值的阈值，n(i,j)表示以(i,j)为中心的领域内像素的总数，i(p)表示输入原图像中中心像素p的值，k表示归一化系数；
26、步骤3.5：对于空洞处的像素,参考附近有效像素的灰度值进行插值填充，具体公式如下：
27、d(i,j)＝(1/m)*σq∈v(i,j)d(q)
28、其中，v(i,j)表示以(i,j)为中心的空洞内有效像素集合,m为有效像素数目；
29、步骤4：数据集制作；患者的rgb深度图像是通过将手臂及手部放在平面白色背景表面来捕获的，患者双手与背景表面平行，自由伸展双手，手指分开；在此条件下，构建了200名健康患者双手约2000张(彩色图像和深度图像)图像的数据集，图像分辨率为640×480；
30、步骤4.1：根据骨度分寸法确定“寸1”：骨度分寸法是按照比例进行穴位定位本文档来自技高网...
【技术保护点】
1.一种基于图像融合和注意力机制的手部穴位检测方法，该方法包括：
2.如权利要求1所述的一种基于图像融合和注意力机制的手部穴位检测方法，其特征在于，所述3的具体方法为：
3.如权利要求1所述的一种基于图像融合和注意力机制的手部穴位检测方法，其特征在于，所述步骤4.3中将彩色图像标记为0lcolor.png，0l表示0号患者的左手，0rcolor.png，0r表示0号患者的右手，深度图像标记为0ldepth，最终制作为PascalVOC格式的数据集；并按照8：2进行分割为训练集和测试集，对每张图片利用LabelImg工具对手部穴位进行人工标注。
4.如权利要求1所述的一种基于图像融合和注意力机制的手部穴位检测方法，其特征在于，所述步骤5的具体方法为：
5.如权利要求1所述的一种基于图像融合和注意力机制的手部穴位检测方法，其特征在于，所述步骤6中的手部结构关键点包含5个指尖、10个指节、5个手指根部关键点以及一个手掌根结点，总共21个手部关键点。
6.如权利要求2所述的一种基于图像融合和注意力机制的手部穴位检测方法，其特征在
7.如权利要求4所述的一种基于图像融合和注意力机制的手部穴位检测方法，其特征在于，其中，ρ＝0.01，k＝2.3。
...【技术特征摘要】
1.一种基于图像融合和注意力机制的手部穴位检测方法，该方法包括：
2.如权利要求1所述的一种基于图像融合和注意力机制的手部穴位检测方法，其特征在于，所述3的具体方法为：
3.如权利要求1所述的一种基于图像融合和注意力机制的手部穴位检测方法，其特征在于，所述步骤4.3中将彩色图像标记为0lcolor.png，0l表示0号患者的左手，0rcolor.png，0r表示0号患者的右手，深度图像标记为0ldepth，最终制作为pascalvoc格式的数据集；并按照8：2进行分割为训练集和测试集，对每张图片利用labelimg工具对手部穴位进行人工标注。
4.如权利...
【专利技术属性】
技术研发人员：吴思佳，杨雯丹，窦梓豪，王金祥，陆岩，杨欣，王原，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。