【技术实现步骤摘要】
本专利技术涉及理疗机器人，具体是涉及一种基于聚合式窗口自注意力机制的穴位定位方法及机器人。
技术介绍
1、穴位是医学的重要组成部分，通过按摩穴位可以防病治病，改善身体健康。医师通常以自身长时间的按摩经验进行取穴按穴，但这种方法需要医师有着长时间的取穴经验，而且中医按摩的临床医生存在着学习人数少，医术不精等问题。近些年，随着计算机视觉技术与机器人的发展，一些科研工作者提出基于机器视觉与图像处理的方法对穴位进行定位，并应用在机器人上，实现取穴按穴智能化。
2、然而，当今大多数基于视觉定位的按摩机器人往往对工作环境要求很高，要求按摩背景单一，对复杂背景不具有普遍性且定位精度低，在智能程度上与专业按摩师还相差甚远。
技术实现思路
1、专利技术目的：针对以上缺点，本专利技术提供一种定位精度高的基于聚合式窗口自注意力机制的穴位定位方法及机器人。
2、技术方案：为解决上述问题，本专利技术采用一种基于聚合式窗口自注意力机制的穴位定位方法，包括以下步骤：
3、（1）获取人体背部图像，并进行预处理，获得预处理后的背部图像；
4、（2）将预处理后的背部图像输入多尺度特征提取网络，得到背部特征图；所述多尺度特征提取网络包括若干特征图提取模块，预处理后的背部图像依次经过若干特征图提取模块的处理，每个特征图提取模块均包括聚合式窗口自注意力学习层，聚合式窗口自注意力学习层用于强化提取的特征图中包含特征关键点像素的特征学习；
5、（3）将背部特征图输入背
6、（4）根据背部特征关键点，通过背部穴位定位公式得到背部穴位具体坐标，实现背部穴位定位。
7、进一步的，对人体背部图像进行预处理包括：
8、获取人体背部图像的深度信息；
9、将深度信息通过深度信息融合公式与人体背部图像融合，得到可视深度信息图；
10、以人体背部图像的二值化图像作为掩膜，补偿可视深度信息图的缺失，得到预处理后的背部图像。
11、进一步的，所述获取人体背部图像的深度信息具体包括：获取人体背部图像的视差图，将视差图通过深度转换公式转换为深度图从而获取深度信息，深度信息计算公式为：
12、；
13、其中，为深度信息，为视差，为基线长度，为焦距，、分别为深度双目相机的左右相机所对应视差图中相同位置的横坐标。
14、进一步的，所述深度信息融合公式为：
15、；
16、其中，为人体背部图像中第i个像素的深度信息，为人体背部图像中第i个像素的横坐标，为人体背部图像中第i个像素的纵坐标，为相机光轴与成像平面交点的横坐标，为相机光轴与成像平面交点的纵坐标，、、为可视深度信息图中第i个像素的融合点坐标，、分别为轴方向和轴方向上单个像素对应的长度。
17、进一步的，所述预处理后的背部图像由人体背部图像的二值化图像和可视深度信息图用二值程度数随机化融合得到，融合公式为：
18、；
19、其中，为回归奖励模型，为一个无限不循环小数，其值约等于，为奖励程度。
20、进一步的，所述多尺度特征提取网络包括一级特征图提取模块、二级特征图提取模块、三级特征图提取模块、四级特征图提取模块；预处理后的背部图像输入一级特征图提取模块，输出一级特征图；所述一级特征图提取模块包括补丁分区变换层和第一个聚合式窗口自注意力学习层；所述补丁分区变换层包括对预处理后的背部图像进行补丁裁剪和深度压缩；
21、一级特征图输入二级特征图提取模块，输出二级特征图，所述二级特征图提取模块包括第一个补丁合并层和第二个聚合式窗口自注意力学习层；
22、二级特征图输入三级特征图提取模块，输出三级特征图，所述三级特征图提取模块包括第二个补丁合并层和第三个聚合式窗口自注意力学习层；
23、三级特征图输入四级特征图提取模块，输出四级特征图，即背部特征图，所述四级特征图提取模块包括第三个补丁合并层和第四个聚合式窗口自注意力学习层；所述第一个补丁合并层、第二个补丁合并层、第三个补丁合并层用于对特征图进行非卷积式下采样。
24、进一步的，所述第一个聚合式窗口自注意力学习层、第二个聚合式窗口自注意力学习层、第三个聚合式窗口自注意力学习层、第四个聚合式窗口自注意力学习层均包括以下步骤：
25、将输入的特征图进行窗口划分，得到若干个窗口；
26、单独对每个窗口内部进行自注意力学习；
27、将自注意力学习后的各个窗口向四个顶角偏移，形成各个窗口顶角上的聚合窗口；
28、对聚合窗口内部进行聚合自注意力学习，输出强化后的特征图。
29、进一步的，所述自注意力学习为将单通道特征图中的每个像素的信息所对应的向量作为输入向量，通过权重矩阵生成对应的信息矩阵，并将信息矩阵输入自注意力学习函数；
30、所述聚合自注意力学习过程公式为：
31、；
32、其中，为聚合窗口左上角第行、第列聚合窗口像素的特征矩阵；与为向窗口内部聚合的像素的特征矩阵；为特征矩阵中的背部特征量，为特征矩阵中的背部特征量；
33、当出现时，则该聚合窗口只存在背部区域特征，不存在背景区域特征，则筛除该聚合窗口；
34、当满足特征矩阵的背部特征量由增长为且为四个聚合窗口特征量中的唯一最大值时，则确定该聚合窗口是四个聚合窗口中最有可能存在背部特征关键点的区域。
35、进一步的，所述背部特征关键点检测网络包括全局池化层和分类器；全局池化层将背部特征图进行全局平均池化，背部特征图被压缩成固定长度的特征向量，分类器将特征向量输入到全连接层，得到背部特征关键点的预测标签及坐标。
36、本专利技术还采用一种应用上述穴位定位方法的机器人，包括图像采集模块、处理模块、控制模块、末端执行器；
37、所述图像采集模块，用于获取人体背部图像；
38、所述处理模块，用于对获取人体背部图像进行预处理，获得预处理后的背部图像；将预处理后的背部图像输入多尺度特征提取网络，得到背部特征图；将背部特征图输入背部特征关键点检测网络进行背部特征关键点检测，得到背部特征关键点；根据背部特征关键点，通过背部穴位定位公式得到背部穴位具体坐标，实现背部穴位定位；
39、所述控制模块，用于控制末端执行器对定位的背部穴位进行按揉式按摩。
40、有益效果：本专利技术相对于现有技术，其显著优点是在获取人体背部特征关键点特征中，针对关键点所处背部的位置，采用聚合式窗口自注意力学习方法，可以更加精准、快速的确定不同体型的人体背部的关键点位置。背部穴位定位公式实现自动找穴，以解决现有的大多数背部穴位定位方法对于不同体型的人体需要重新进行找穴，未对穴位进行自动定位，且穴位定位精度低、工作量大等问题。在检测人体背部特征关键点中，以原始rgb图像的二值化图像作为本文档来自技高网...
【技术保护点】
1.一种基于聚合式窗口自注意力机制的穴位定位方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的穴位定位方法，其特征在于，对人体背部图像进行预处理包括：
3.根据权利要求2所述的穴位定位方法，其特征在于，所述获取人体背部图像的深度信息具体包括：获取人体背部图像的视差图，将视差图通过深度转换公式转换为深度图从而获取深度信息，深度信息计算公式为：
4.根据权利要求3所述的穴位定位方法，其特征在于，所述深度信息融合公式为：
5.根据权利要求2所述的穴位定位方法，其特征在于，所述预处理后的背部图像由人体背部图像的二值化图像和可视深度信息图用二值程度数随机化融合得到，融合公式为：
6.根据权利要求1所述的穴位定位方法，其特征在于，所述多尺度特征提取网络包括一级特征图提取模块、二级特征图提取模块、三级特征图提取模块、四级特征图提取模块；预处理后的背部图像输入一级特征图提取模块，输出一级特征图；所述一级特征图提取模块包括补丁分区变换层和第一个聚合式窗口自注意力学习层；所述补丁分区变换层包括对预处理后的背部图像进行补丁裁剪和深度压
7.根据权利要求6所述的穴位定位方法，其特征在于，所述第一个聚合式窗口自注意力学习层、第二个聚合式窗口自注意力学习层、第三个聚合式窗口自注意力学习层、第四个聚合式窗口自注意力学习层均包括以下步骤：
8.根据权利要求7所述的穴位定位方法，其特征在于，所述自注意力学习为将单通道特征图中的每个像素的信息所对应的向量作为输入向量，通过权重矩阵生成对应的信息矩阵，并将信息矩阵输入自注意力学习函数；
9.根据权利要求8所述的穴位定位方法，其特征在于，所述背部特征关键点检测网络包括全局池化层和分类器；全局池化层将背部特征图进行全局平均池化，背部特征图被压缩成固定长度的特征向量，分类器将特征向量输入到全连接层，得到背部特征关键点的预测标签及坐标。
10.一种应用权利要求1所述穴位定位方法的机器人，其特征在于，包括图像采集模块、处理模块、控制模块、末端执行器；
...【技术特征摘要】
1.一种基于聚合式窗口自注意力机制的穴位定位方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的穴位定位方法，其特征在于，对人体背部图像进行预处理包括：
3.根据权利要求2所述的穴位定位方法，其特征在于，所述获取人体背部图像的深度信息具体包括：获取人体背部图像的视差图，将视差图通过深度转换公式转换为深度图从而获取深度信息，深度信息计算公式为：
4.根据权利要求3所述的穴位定位方法，其特征在于，所述深度信息融合公式为：
5.根据权利要求2所述的穴位定位方法，其特征在于，所述预处理后的背部图像由人体背部图像的二值化图像和可视深度信息图用二值程度数随机化融合得到，融合公式为：
6.根据权利要求1所述的穴位定位方法，其特征在于，所述多尺度特征提取网络包括一级特征图提取模块、二级特征图提取模块、三级特征图提取模块、四级特征图提取模块；预处理后的背部图像输入一级特征图提取模块，输出一级特征图；所述一级特征图提取模块包括补丁分区变换层和...
【专利技术属性】
技术研发人员：侯家睿，谢非，王军，李艺钧，张弘毅，马磊，周正亚，许嘉炜，王凯琳，马宝萍，
申请(专利权)人：南京师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。