一种基于智能手表的握笔姿势检测和汉字笔顺识别方法技术

本发明专利技术公开了一种基于智能手表的握笔姿势检测和汉字笔顺识别的方法，首先进行数据收集和数据预处理；接着进行信号检测；最后基于有监督学习的方法构建握笔姿势检测模型和笔顺识别模型，分别用于握笔姿势检测和笔顺识别。本发明专利技术通过大量的实验证明了两种识别模型的有效性和鲁棒性。即笔顺识别和握笔姿势识别的平均精度分别达到76％和94％以上。

【技术实现步骤摘要】
一种基于智能手表的握笔姿势检测和汉字笔顺识别方法
本专利技术属于移动感知
，涉及一种握笔姿势检测和汉字笔顺识别方法，具体涉及一种基于智能手表的握笔姿势检测和汉字笔顺识别方法，尤其可以识别具有很多重复笔画的汉字的笔顺。
技术介绍
不同于英文，汉字是由笔画构成的象形文字，共有32种笔画，如图1所示，笔画的构成包括笔画类型和笔画顺序，笔画顺序的错误会影响汉字书写效率，破坏汉字的平衡结构。扭曲的握笔姿势会降低书写速度，甚至导致近视。这在教学中却很难直接观察到。以往汉字笔顺识别大多基于图像的方法，容易受光照条件限制，并需要昂贵的设备。因而基于现有智能手表，在不知道所书写汉字的前提下，提出自动识别在书写汉字时的握笔姿势和笔画顺序的算法。考虑不同的笔画书写导致手腕肌腱产生不同的震动方式，从而使智能手表内置的加速度和陀螺仪传感器输出不同的信号模式。因而可以基于智能手表实现汉字笔顺识别和握笔姿势的识别。
技术实现思路
本专利技术的目的是实现基于商用智能手表辅助汉字书写矫正，本专利技术提供了一种基于智能手表的握笔姿势检测和汉字笔顺识别方法。本专利技术所采用的技术方案是：一种基于智能手表的握笔姿势检测和汉字笔顺识别方法，其特征在于，包括以下步骤：步骤1：构建握笔姿势检测模型和笔顺识别模型；所述握笔姿势检测模型，用于检测九种不同的握笔姿势，包括一种正确的握笔姿势和8种错误的握笔姿势；所述8种错误的握笔姿势包括横搭型、埋头型、扭曲型、扭转型、直线型、错位型、睡觉型和拳头型；所述笔顺识别模型，用于识别用户书写的笔顺，并判断笔顺是否正确；其中握笔姿势检测和笔顺识别的数据收集、数据预处理、信号检测使用通用方法。步骤2：数据收集；从智能手表内置的加速度和陀螺仪传感器收集数据，包括线性加速度和陀螺仪角速度；采集频率设为100HZ。其中，加速度通过坐标系转换和重力消除得到地球坐标系下的线性加速度；步骤3：数据预处理；基于小波去噪的方法减少收集数据的信号噪声，基于窗函数检测书写信号；步骤4：基于窗函数检测书写信号，包括陀螺仪角速度三个轴和线性加速度三个轴的信号；步骤5：握笔姿势检测或笔顺识别；基于有监督学习方法，提取检测的笔画信号的特征，通过构建的笔顺识别模型和握笔姿势检测模型，最终实现对握笔姿势的检测和笔顺的识别。相对于现有技术，本专利技术的有益效果是：提出了一种新的交互方式，即基于手腕手表传感器识别汉字笔顺和握笔姿势的方法。基于有监督学习方法，提取检测的笔画信号的特征，通过我们构建的笔顺识别模型和握笔姿势检测模型，最终实现对握笔姿势的检测和笔顺的识别。本方案相对于图像识别，传感器不受光线明亮的限制。方便在没有手机或平板时对自己的书写方式进行矫正。附图说明附图1是现有技术中的32种笔画；附图2是本专利技术实施实例中的用于检测的九种常见握笔姿势；附图3是本专利技术实施实例中的流程图；附图4是本专利技术实施实例中的以本为例的方向示意图和方向索引矩阵；附图5是本专利技术实施实例中的握笔姿势分类混淆概率矩阵；附图6是本专利技术实施实例中的笔顺识别结果和汉字识别结果；附图7是本专利技术实施实例中的不同笔画数的平均差异分和最小差异分曲线。具体实施方式为了便于本领域普通技术人员理解和实施本专利技术，下面结合附图及实施例对本专利技术作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本专利技术，并不用于限定本专利技术。请见图3，本专利技术提供的一种基于智能手表的握笔姿势检测和汉字笔顺识别方法，包括以下步骤：步骤1：构建握笔姿势检测模型和笔顺识别模型；对于握笔姿势，90％以上的汉字都同时包含横笔画和竖笔画，因此只需要提取这两个基本笔画就可以实现书写任何汉字时的握笔姿势检测。对于笔顺识别，检测汉字所有笔画去识别笔顺，然而有的汉字有很多重复笔画，仅仅基于笔画类型很难确定这些相同笔画之间的顺序，如自等。因而本专利技术提出一个算法通过检测笔画和相邻笔画间的手势移动方向进一步确定笔画顺序。请见图2，本实施例的握笔姿势检测模型，用于检测九种不同的握笔姿势，包括一种正确的握笔姿势和8种错误的握笔姿势；8种错误的握笔姿势包括横搭型、埋头型、扭曲型、扭转型、直线型、错位型、睡觉型和拳头型；本实施例建握笔姿势检测模型，是通过提取汉字中任意一个横笔画和任意一个竖笔画这两个基本笔画，实现书写任何汉字时的握笔姿势检测；首先通过智能手表收集写字数据，然后进行信号检测，并通过汉字笔顺模型中构建的笔画分类器识别并提取该汉字中的任意一个横笔画和任意一个竖笔画，将信号进行合并后，提取该信号特征，然后通过机器学习的方法进行分类建模，构建握笔姿势检测模型。本实施例的笔顺识别模型，用于识别用户书写的笔顺，并判断笔顺是否正确；本实施例构建笔顺识别模型，是通过检测笔画和笔画间的方向确定笔画顺序；具体实现包括以下子步骤：步骤1.1：检测汉字所有笔画；基于检测到的汉字笔画，搜索所有具有相同笔画的候选汉字，记为C＝{c1,c2,…,ci,…,cn}；其中，汉字所有笔画和方向分别通过汉字笔画分类器和汉字方向分类器进行识别，汉字笔画分类器是基于采集的汉字笔画通过有监督学习的方法构建笔画分类模型。汉字方向分类器是基于采集的相邻笔画间的方向通过有监督学习的方法构建方向分类模型。步骤1.2：对于每个候选汉字，构建方向索引矩阵，并基于笔画组成，找出该汉字所有的笔顺排列；其中，构建方向索引矩阵，是对于检测的汉字笔画和方向分别进行编码，检测的汉字笔画作为索引，方向作为矩阵元素；在方向索引矩阵中依据笔画索引搜索方向。本实施例对于检测的汉字笔画和方向分别进行编码，汉字笔画的编码为八位二进制，前三位代表同一笔画出现的次数，后五位表示笔画类型，笔画类型如图1所示；方向笔画的编码为三位，从上开始按顺时针方式分别编码上、右上、右、右下、下、左下、左、左上为000、001、010、011、100、101、110、111。步骤1.3：基于检测到的汉字相邻笔画间的方向序列D与方向索引矩阵T计算差异匹配度dif；其中，si表示模板中对应检测的两个相邻笔画之间的标准方向，di表示检测的两个相邻笔画的方向。步骤1.4：比较确定相似度最小的候选汉字笔顺序列，同时确定所属的汉字；其中，scorei表示第i个汉字的得分，m表示该汉字基于检测的笔画进行排列组合，有m种笔顺排列方式。i表示所属汉字，j表示所属笔顺，difi，j就是第i个汉字的第j类笔顺的差异匹配度。步骤2：数据收集；从智能手表内置的加速度和陀螺仪传感器收集数据，包括线性加速度和陀螺仪角速度；采集频率设为100HZ。其中，加速度通过坐标系转换和重力消除得到地球坐标系下的线性加速度；步骤3：数据预处理；基于小波去噪的方法减少收集数据的信号噪声，基于窗函数检测书写信号；具体实现过程是：将获取的线性加速度和陀螺仪角速度通过小波去噪的方式减少噪声，即用小波变换将信号分解成小波。在小波域中，信号的系数非常大，噪声信号的系数很小。因此，通过去除具有小于指定阈值的系数的小波来抑制噪声。最后，通过小波重构得到去噪信号。然后将去噪后的信号通过设定的汉明窗函数判断。窗大小是0.08秒，窗移动步长为0.04秒。选取比噪声阈值大的信号为书写手势信号。若检测窗相邻，则进行合并，直到窗口内信号小于噪声阈值。将合并后的窗信号作为检测到的笔画或方向手势信号。步本文档来自技高网...

【技术保护点】
1.一种基于智能手表的握笔姿势检测和汉字笔顺识别方法，其特征在于，包括以下步骤：步骤1：构建握笔姿势检测模型和笔顺识别模型；所述握笔姿势检测模型，用于检测九种不同的握笔姿势，包括一种正确的握笔姿势和8种错误的握笔姿势；所述8种错误的握笔姿势包括横搭型、埋头型、扭曲型、扭转型、直线型、错位型、睡觉型和拳头型；所述笔顺识别模型，用于识别用户书写的笔顺，并判断笔顺是否正确；步骤2：数据收集；从智能手表内置的加速度和陀螺仪传感器收集数据，包括线性加速度和陀螺仪角速度；其中，加速度通过坐标系转换和重力消除得到地球坐标系下的线性加速度；步骤3：数据预处理；基于小波去噪的方法减少收集数据的信号噪声，基于窗函数检测书写信号；步骤4：基于窗函数检测书写信号，包括陀螺仪角速度三个轴和线性加速度三个轴的信号；步骤5：握笔姿势检测或笔顺识别；基于有监督学习方法，提取检测的笔画信号的特征，通过构建的笔顺识别模型和握笔姿势检测模型，最终实现对握笔姿势的检测和笔顺的识别。

【技术特征摘要】
1.一种基于智能手表的握笔姿势检测和汉字笔顺识别方法，其特征在于，包括以下步骤：步骤1：构建握笔姿势检测模型和笔顺识别模型；所述握笔姿势检测模型，用于检测九种不同的握笔姿势，包括一种正确的握笔姿势和8种错误的握笔姿势；所述8种错误的握笔姿势包括横搭型、埋头型、扭曲型、扭转型、直线型、错位型、睡觉型和拳头型；所述笔顺识别模型，用于识别用户书写的笔顺，并判断笔顺是否正确；步骤2：数据收集；从智能手表内置的加速度和陀螺仪传感器收集数据，包括线性加速度和陀螺仪角速度；其中，加速度通过坐标系转换和重力消除得到地球坐标系下的线性加速度；步骤3：数据预处理；基于小波去噪的方法减少收集数据的信号噪声，基于窗函数检测书写信号；步骤4：基于窗函数检测书写信号，包括陀螺仪角速度三个轴和线性加速度三个轴的信号；步骤5：握笔姿势检测或笔顺识别；基于有监督学习方法，提取检测的笔画信号的特征，通过构建的笔顺识别模型和握笔姿势检测模型，最终实现对握笔姿势的检测和笔顺的识别。2.根据权利要求1所述的基于智能手表的握笔姿势检测和汉字笔顺识别方法，其特征在于：步骤1中所述构建握笔姿势检测模型，通过提取汉字中任意一个横笔画和任意一个竖笔画这两个基本笔画，实现书写任何汉字时的握笔姿势检测；首先通过智能手表收集写字数据，然后进行信号检测，并通过汉字笔顺模型中构建的笔画分类器识别并提取该汉字中的任意一个横笔画和任意一个竖笔画，将信号进行合并后，提取该信号特征，然后通过机器学习的方法进行分类建模，构建握笔姿势检测模型，识别握笔姿势。3.根据权利要求1所述的基于智能手表的握笔姿势检测和汉字笔顺识别方法，其特征在于：步骤1中所述构建笔顺识别模型，是通过检测笔画和笔画间的方向确定笔画顺序；具体实现包括以下子步骤：步骤1.1：通过构建的笔画分类模型，检测汉字所有笔画；基于检测到的汉字笔画，搜索所有具有相同笔画的候选汉字，记为C＝{c1，c2，…，ci，…，cn}；步骤1.2：对于每个候选汉字，构建方向索引矩阵，并基于笔画组成，找出该汉字所有的笔顺排列；步骤1.3：通过构建的方向分类模型，将检测到的汉字相邻笔画间的方向序列D与方向索引矩阵T计算差异匹配度dif；其中，si表示模板中对应检测的两个相邻笔画之间的标准方向，di表示检测的两个相邻笔画的方向；步骤1.4：比较确定相似度最小的候选汉字笔顺序列，同时确定所属的汉字；其中，scorei表示第i个汉字的得分，m表示该汉字基于检测的笔画进行排列组合，有m种笔顺排列方式；i表示所属汉字，j表示所属笔顺，difi，j就是第i个汉字的第j类笔顺的差异匹配度。4.根据权利要求3所述的基于智能手表的握笔姿势检测和汉字笔顺识别方法，其特征在于：步骤1.1中所述检测汉字所有笔画，是通过有监督学习的方法，构建汉字笔画分类器和汉字方向分类器。5.根据权利要求3所述的基于智能手表的握笔姿势检测和汉字笔顺识别方法，其特征在于：步骤1.2中所述构建方向索引矩阵，是对于检测的汉字笔画和方向分别进行编码，检测的汉字笔画作为索引，方向作为矩阵元素；在方向索引矩阵中依据笔画索引搜索方向。6.根据权利要求5所述的基于智能手表的握笔姿...

【专利技术属性】
技术研发人员：张健，毕红亮，陈艳姣，魏志航，赵梓存，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42