基于可穿戴计算的手语识别方法技术

本发明专利技术属于手语识别领域，提供了一种基于可穿戴计算的手语识别方法，提供一种基于可穿戴计算的手语识别系统，包括一副惯性数据手套、路由装置、人机交互平台。每只惯性数据手套包括十六颗惯性传感器和一个无线传输模块，其中惯性传感器包括三轴加速度计、三轴陀螺仪、三轴磁力计，无线传输模块通过传输控制协议以路由装置为中枢与人机交互平台完成交互。人机交互模块可以对手语识别系统进行操作，并集成有训练好的Bi

【技术实现步骤摘要】
基于可穿戴计算的手语识别方法


[0001]本专利技术涉及手语识别领域，具体涉及一种基于可穿戴计算的手语识别方法。

技术介绍

[0002]手语作为聋哑人用来表达信息的语言，对聋哑人的生活具有重要的意义。手语主要包括手指语或手势语，其中手指语是以手指的形态和动作代表字母，手势语是使用手部动作、面部表情、身体姿态表达含义。除了从事相关行业的人，其他人几乎不理解也不会使用手语，这造成了聋哑人与正常人之间的沟通障碍。聋哑人手语翻译人员为聋哑人和正常人之间的沟通搭建了桥梁，但由于聋哑人手语翻译人员匮乏，聘用价格高昂，很难满足当前社会的需求。因此，搭建一个聋哑人与聋哑人之间、聋哑人与正常人之间的无障碍交流平台至关重要。手语识别交流平台的建立可以使聋哑人拥有一个与健全人沟通交流的渠道，从而享受到更加完善的公共服务。该平台不仅可以让我们走进聋哑人的生活，也可以让他们能够更加自然和谐舒适地融入社会生活。
[0003]目前主流的手语识别方法一般都基于视觉或者传感器捕捉手部的相关信息，再结合机器学习或者深度学习模型来确定其手语对应的含义。其中基于计算机视觉的方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可穿戴计算的手语识别方法，其特征在于，基于可穿戴计算的手语识别系统实现手语识别；该基于可穿戴计算的手语识别系统包括两只惯性数据手套、路由装置、人机交互平台；每只惯性数据手套包括十六颗惯性传感器和一个无线传输模块；惯性传感器包括三轴加速度计、三轴陀螺仪、三轴磁力计，用于捕捉单手手掌和手指的运动信息、位置信息；无线传输模块通过传输控制协议以路由装置为中枢与人机交互平台完成交互；人机交互平台将惯性数据手套采集的数据进行误差校正、姿态解算、手语样本分割后输入到神经网络手语识别模型中，对识别到的手势最终显示在屏幕上；基于可穿戴计算的手语识别方法具体包括步骤如下：步骤1：制作手语数据集；步骤1.1：采集待识别手语的原始惯性数据，使用惯性数据手套采集20种动态手语的原始惯性数据；步骤1.2：将采集到的手语原始惯性数据进行预处理，预处理包括对采集的原始惯性数据进行误差校正、姿态解算、手语样本分割、数据归一化；步骤1.2.1：采用最小二乘法求解椭球拟合问题来标定三轴磁力计；其中，表示三轴磁力计的测量值，表示三轴磁力计不存在误差的理论值，表示三轴磁力计零偏误差，k
x
,k
y
,k
z
表示三轴磁力计各轴灵敏度误差系数；k
xy
、k
yx
、k
zx
、k
zy
、k
xz
、k
yz
表示三轴磁力计各轴的耦合系数；通过最小二乘法拟合得到椭球方程，求解误差系数K和零偏误差B0，其中，表示椭球形状矩阵；a,b,c,d,e,f,p,q,r表示需要求解的椭球面参数；H表示某地的磁场强度；步骤1.2.2：姿态解算将惯性数据手套采集的原始惯性数据采用梯度下降数据融合算法提取手部四元数信息，采用以下公式进行迭代：
其中，q表示旋转四元数，β表示三轴陀螺仪的测量误差，通过标定算法测量得到；t
s
表示采样周期；F
f,m
(q,f,m)表示目标函数；三轴加速度计产生的误差用误差函数F
f
(q,f)表示为：其中，[f
xb f
yb f
zb
]
T
为三轴加速度计的测量值；F
fx
为加速度计X轴误差；F
fy
为加速度计Y轴误差；F
fz
为加速度计Z轴误差；q0,q1,q2,q3为旋转四元数；三轴磁力计产生的误差用误差函数F
m
(q,m)表示为：其中，为三轴磁力计的测量值；q0,q1,q2,q3为旋转四元数；F
mx
为三轴磁力计X轴误差；F
my
为三轴磁力计Y轴误差；F
mz
为三轴磁力计Z轴误差；将目标函数求偏导数，得到雅可比矩阵使用高斯牛顿法求解最小化误差，表示计算过程中的目标姿态，
其中，μ为步长；表示微分算子，表示
q
的变化率，其与误差矢量即F
f,m
(q,f,m)的关系如下：最后求解出一个表示姿态的四元数，共包含两部分；一部分是利用三轴陀螺仪输出值求解微分方程解得；另一部分是通过目标函数求解得到的修正四元数；两者均描述同一时刻手部的姿态；设求解四元数微分方程得到的姿态四元数为q
ω,t
，用α表示修正四元数所占的权重，将这两部分四元数结合，则最终的姿态四元数q
t
表示为；β表示三轴陀螺仪的测量误差，通过标定算法测量得到；t
s
表示采样周期；则权重α与步长
μ
有如下关系：最终姿态四元数表示为：步骤1.2.2.1：利用步骤1.2.1中经校正的三轴磁力计信号确定地理北极方向，并根据手部自然下垂时的三维加速度信号和步骤1.2.1中经校正的三维磁力计信号，获得手部的初始姿态，并进行校正；通过求解传感器坐标系与载体坐标系相对的欧拉角，利用三维加速度信号得到俯仰角θ与横滚角γ，公式如下：θ与横滚角γ，公式如下：其中，分别为三轴加速度计的三个轴的输出；结合校正后的三维磁力计信号得到航向角结合校正后的三维磁力计信号得到航向角其中，是三维磁力计信号的X轴和Y轴修正到当地平面的投影，X轴指向地球磁场北极；步骤1.2...

【专利技术属性】
技术研发人员：仇森，苗鑫，王哲龙，赵红宇，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：