一种面向全局手型与局部手指运动的针刺手法识别方法技术

本发明专利技术涉及一种面向全局手型与局部手指运动的针刺手法识别方法，包括：将针刺手法视频的图像序列转换成可视化光流序列，经特征提取得到全局运动特征信息；从针刺手法视频中得到手指的骨架图像和关键点坐标，对基于关键点坐标解算得到的运动表征参数和骨架图像进行特征提取和融合得到局部运动特征信息；对全局运动特征信息和局部运动特征信息进行多尺度特征交互融合，再将得到的两组交互融合的特征信息进行随机权值融合输出识别结果

【技术实现步骤摘要】
一种面向全局手型与局部手指运动的针刺手法识别方法


[0001]本专利技术涉及手势识别
，尤其涉及一种面向全局手型与局部手指运动的针刺手法识别方法
。

技术介绍

[0002]针刺手法是中医体系中关键的一种治疗途径，是指医师按照一定的角度
、
深度以及频率将针体刺入患者特定的穴位，通过提插和捻转的方式对穴位进行刺激，从而达到治疗的目的，不同的操作手法与手型，也决定着最终的治疗效果，因此手法的传承与学习非常重要
。
[0003]基于针刺手法的的识别研究，许多学者也进行了一系列研究工作，具体如下所示：
[0004](1)
统计学分析方法：在传统的的手法识别研究中，通常是采集设备得到的手法运动参数和波形，对不同手法参数进行统计学分析，得到总体的变化规律
。
在现有技术中设计了针刺量表，在行针过程中设置得分环节，将操作过程进行分步量化评分，最后基于量表进行描述性统计分析，可以实现对不同手法的评估，来判断手法操是否规范以及实际治疗效果是否符合要求
。
但基于统计学规律的手法识别方法，缺乏科学性，无法客观评估复杂多变的手法过程
。
[0005](2)
浅层数据驱动建模方法：随着技术的发展，一些学者从数据挖掘角度出发，利用数据挖掘的方法来探索针刺过程中的参数信息的变化，总结得出不同手法的规律信息
。
现有技术则是利用数据挖掘技术，从采集得到的大量针灸手法参数中挖掘规律信息，探索手法参数之间的关联规则，实现对不同的手法进行评估和分析
。
但同时基于数据挖掘方法往往只能根据原始数据，总结得出概括性的规律特征，缺乏精细化的定量描述
。
[0006](3)
浅层机器学习方法：随机计算机技术发展，一些学者开始采用先进的数据处理技术，对原始数据进行一系列预处理操作，再使用机器学习方法对手法识别进行研究
。
一现有方案从基于机器学习的聚类方法出发，探索针刺手法的内部规律，基于不同参数下的针刺疗效进行模糊聚类分析；另一现有方案则总结了当前基于数据挖掘方法在针灸手法识别上的研究，实现了对四种常见手法的分类
。
然而目前基于机器学习的识别方法，大多试图捕获一些手工特征，在应对一些复杂动作识别问题上缺乏有效的特征提取方法
。
[0007](4)
深度学习方法：随着深度学习的兴起，基于深度学习的动作识别方法得到了广泛应用
。
一些学者常常利用滑动窗方法，来提取手部压电波形的变化特征，得到“有效峰值”、“独立窗口”、“动作窗口”等定义的特征信息，基于特征信息建模针灸运动变化过程，随后将特征输入至所提出的集成学习分类器，实现对四种手法的准确识别
。
此外，一些学者利用深度网络，如
ResNet、MobileNet、InceptionNet、DenseNet
等网络来检测和识别手势
。
但是目前基于深度学习的方法，往往是针对单一尺度的图像特征进行描述，应对针刺手法这一种复杂的运动变化过程，其难以准确无误地描述针刺手法的全局的轮廓信息和局部的细微变化，而这些都是手法识别的关键参数
。
[0008]由此，需要探索出一种更为全面
、
科学的针刺手法特征提取与识别方法
。

技术实现思路

[0009](
一
)
要解决的技术问题
[0010]鉴于现有技术的上述缺点
、
不足，本专利技术提供一种面向全局手型与局部手指运动的针刺手法识别方法，其解决了针对复杂多变的针刺手法并未提供一个准确有效且关注全面
、
细节信息的识别和量化解决方案的技术问题
。
[0011](
二
)
技术方案
[0012]为了达到上述目的，本专利技术采用的主要技术方案包括：
[0013]第一方面，本专利技术实施例提供一种面向全局手型与局部手指运动的针刺手法识别方法，包括：
[0014]利用不同帧之间的像素变化，将获取的针刺手法视频的
RGB
图像序列结合颜色系统转换成可视化光流序列，之后通过对可视化光流序列进行特征提取得到手部的全局运动特征信息；
[0015]从获取的针刺手法视频中得到手指的骨架图像和对应的关键点坐标，基于关键点坐标进行解算得到包括特征角
、
特征距离和空间特征信息的运动表征参数，之后通过对运动表征参数和骨架图像进行特征提取和特征融合得到手部的局部运动特征信息；
[0016]对全局运动特征信息和局部运动特征信息分别进行线性化操作，基于得到的两组查询向量
、
键向量以及值向量进行交互注意力运算
、
归一化处理以及权值计算，得到两组交互融合后的特征信息；
[0017]引入随机参数对两组交互融合后的特征信息进行随机权值融合，最终得到针刺手法识别结果
。
[0018]可选地，利用不同帧之间的像素变化，将获取的针刺手法视频的
RGB
图像序列结合颜色系统转换成可视化光流序列，之后通过对可视化光流序列进行特征提取得到手部的全局运动特征信息包括：
[0019]利用不同帧之间的像素变化，将获取的针刺手法视频的
RGB
图像序列通过光流计算得到光流序列；
[0020]引用
Munsell
颜色系统将光流序列在
u、v
方向的速度矢量转化横纵方向上的颜色变化量，进而得到可视化光流序列；
[0021]将可视化光流序列输入至预先设置的特征提取网络中进行特征提取，得到手部的全局运动特征信息
。
[0022]可选地，从获取的针刺手法视频中得到手指的骨架图像和对应的关键点坐标，基于关键点坐标进行解算得到包括特征角
、
特征距离和空间特征信息的运动表征参数，之后通过对运动表征参数和骨架图像进行特征提取和特征融合得到手部的局部运动特征信息包括：
[0023]利用预先调用的人体骨骼姿势检测库对获取的针刺手法视频中的手部进行关键点标记，获取骨架图像和关键点坐标信息；其中，关键点包括食指与拇指的关节点；
[0024]基于关键点坐标计算得出每一帧图像的特征角度和特征距离，再基于关键点坐标逐帧之间进行差值运算，得到相邻帧图像之间的空间变化值，最后对所有帧之间的运动变化量进行累加得到空间特征信息；
[0025]将得到的包括特征角
、
特征距离和空间特征信息的运动特征参数输入预先设置的
LSTM
网络中进行特征提取，得到针刺手法的运动学参数特征向量；
[0026]将得到的骨架图像数据输入至预先设置的特征提取网络进行特征提取，得到手部骨架的图像特征向量；
[0027]将针刺手法的运动学参数特征向量和手部骨架的图像特征向量进行特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种面向全局手型与局部手指运动的针刺手法识别方法，其特征在于，包括：利用不同帧之间的像素变化，将获取的针刺手法视频的
RGB
图像序列结合颜色系统转换成可视化光流序列，之后通过对可视化光流序列进行特征提取得到手部的全局运动特征信息；从获取的针刺手法视频中得到手指的骨架图像和对应的关键点坐标，基于关键点坐标进行解算得到包括特征角
、
特征距离和空间特征信息的运动表征参数，之后通过对运动表征参数和骨架图像进行特征提取和特征融合得到手部的局部运动特征信息；对全局运动特征信息和局部运动特征信息分别进行线性化操作，基于得到的两组查询向量
、
键向量以及值向量进行交互注意力运算
、
归一化处理以及权值计算，得到两组交互融合后的特征信息；引入随机参数对两组交互融合后的特征信息进行随机权值融合，最终得到针刺手法识别结果
。2.
如权利要求1所述的面向全局手型与局部手指运动的针刺手法识别方法，其特征在于，利用不同帧之间的像素变化，将获取的针刺手法视频的
RGB
图像序列结合颜色系统转换成可视化光流序列，之后通过对可视化光流序列进行特征提取得到手部的全局运动特征信息包括：利用不同帧之间的像素变化，将获取的针刺手法视频的
RGB
图像序列通过光流计算得到光流序列；引用
Munsell
颜色系统将光流序列在
u、v
方向的速度矢量转化横纵方向上的颜色变化量，进而得到可视化光流序列；将可视化光流序列输入至预先设置的特征提取网络中进行特征提取，得到手部的全局运动特征信息
。3.
如权利要求1所述的面向全局手型与局部手指运动的针刺手法识别方法，其特征在于，从获取的针刺手法视频中得到手指的骨架图像和对应的关键点坐标，基于关键点坐标进行解算得到包括特征角
、
特征距离和空间特征信息的运动表征参数，之后通过对运动表征参数和骨架图像进行特征提取和特征融合得到手部的局部运动特征信息包括：利用预先调用的人体骨骼姿势检测库对获取的针刺手法视频中的手部进行关键点标记，获取骨架图像和关键点坐标信息；其中，关键点包括食指与拇指的关节点；基于关键点坐标计算得出每一帧图像的特征角度和特征距离，再基于关键点坐标逐帧之间进行差值运算，得到相邻帧图像之间的空间变化值，最后对所有帧之间的运动变化量进行累加得到空间特征信息；将得到的包括特征角
、
特征距离和空间特征信息的运动特征参数输入预先设置的
LSTM
网络中进行特征提取，得到针刺手法的运动学参数特征向量；将得到的骨架图像数据输入至预先设置的特征提取网络进行特征提取，得到手部骨架的图像特征向量；将针刺手法的运动学参数特征向量和手部骨架的图像特征向量进行特征融合，得到手部的局部运动特征信息
。4.
如权利要求3所述的面向全局手型与局部手指运动的针刺手法识别方法，其特征在于，基于关键点坐标计算得出每一帧图像的特征角度和特征距离，再基于关键点坐标逐帧
之间进行差值运算，得到相邻帧图像之间的空间变化值，最后对所有帧之间的运动变化量进行累加得到空间特征信息包括：基于关键点坐标结合几何关系进行解算得到每一帧图像的特征角，之后对相邻帧图像之间的特征角进行差值计算，得到逐帧之间的变化角度，将所有的变化角度进行累加，得到总的特征角；基于关键点坐标结合空间位置关系解算得到每一帧图像的特征距离，之后对相邻帧图像之间的特征距离进行差值计算，得到逐帧之间的变化距离，将所有的变化距离进行累加，得到总的特征距离；基于关键点坐标计算相邻帧的横纵坐标的变化差值，将所有的横纵坐标的变化差值进行累加，得到总的空间特征信息
。5.
如权利要求4所述的面向全局手型与局部手指运动的针刺手法识别方法，其特征在于，基于关键点坐标结合几何关系进行解算得到每一帧图像的特征角，之后对相邻帧图像之间的特征角进行差值计算，得到逐帧之间的变化角度，将所有的变化角度进行累加，得到总的特征角通过如下角度公式和角度累加公式实施：式中，
n
为图像帧数，
θ
i
为第
i
帧图像的特征角，
i
＝
1,2
，
……
n
，
x
j
和
y
j
分别为第
i
帧图像的第
j
关键点坐标，
j
为正整数，
θ
为一组动作序列的总特征角；基于关键点坐标结合空间位置关系解算得到每一帧图像的特征距离，之后对相邻帧图像之间的特征距离进行差值计算，得到逐帧之间的变化距离，将所有的变化距离进行累加，得到总的特征距离通过如下距离公式和距离累加实施：
d
＝<...

【专利技术属性】
技术研发人员：宿翀，何继宇，刘存志，杨静雯，
申请(专利权)人：北京中医药大学，
类型：发明
国别省市：