握笔姿势纠正方法、装置、存储介质及电子设备制造方法及图纸

本公开涉及一种握笔姿势纠正方法、装置、存储介质及电子设备，通过识别图像中的手势类别并生成提醒信息，实现对握笔姿势的纠正。该方法包括：获取待识别图像；将待识别图像输入到手部关键点检测模型中，得到手部关键点检测模型基于卷积结构输出的手部关键点图像；将各手部关键点图像输入到手势识别网络模型中，得到手势识别网络模型基于识别函数输出的手势类别；在手势类别为手势错误的情况下，生成提醒信息。本公开通过手部关键点检测模型获取待识别图像中各手部关键点对应的手部关键点图像，通过手势识别网络模型根据手部关键点图像识别出手势类别，并在手势类别为手势错误的情况下生成提醒信息，以提醒用户调整握笔姿势，实现握笔姿势的矫正。实现握笔姿势的矫正。实现握笔姿势的矫正。

【技术实现步骤摘要】
握笔姿势纠正方法、装置、存储介质及电子设备


[0001]本公开涉及图像识别
，具体地，涉及一种握笔姿势纠正方法、装置、存储介质及电子设备。

技术介绍

[0002]青少年的握笔姿势的不正确，会导致其养成不良坐姿，进而导致青少年出现驼背、近视等状态；且低位握笔会加大笔尖和纸面的摩擦力，导致写字需非常用力，写字速度慢，且长时间低位握笔写字会造成手臂酸疼，影响学习效率；而写字用力，会造成字体笔画粗重、僵硬，字形难看，书写出来的字不美观，影响孩子的自信心。
[0003]在现有的技术中，主要通过握笔矫正器来矫正青少年的握笔姿势，但在无家长监督时青少年可能会不使用握笔矫正器而直接进行撰写，导致握笔姿势矫正器无法对青少年的握笔姿势进行矫正。

技术实现思路

[0004]本公开的目的是提供一种握笔姿势纠正方法、装置、存储介质及设备，通过识别图像中的手势类别并生成提醒信息，实现对握笔姿势的纠正。
[0005]为了实现上述目的，第一方面，本公开提供一种握笔姿势纠正方法，所述方法包括：
[0006]获取待识别图像；
[0007]将所述待识别图像输入到手部关键点检测模型中，得到所述手部关键点检测模型基于卷积结构输出的手部关键点图像；
[0008]将各所述手部关键点图像输入到手势识别网络模型中，得到所述手势识别网络模型基于识别函数输出的手势类别；
[0009]在所述手势类别为手势错误的情况下，生成提醒信息。
[0010]可选地，所述手部关键点检测模型包括第一采样网络、缩放模块和第二采样网络；
[0011]所述第一采样网络用于基于第一卷积结构获取所述待识别图像中的第一数量个手部关键点候选图像；
[0012]所述缩放模块用于对所述待识别图像进行缩放处理得到第二数量个缩放图像；
[0013]所述第二采样网络用于基于第二卷积结构针对所述第一数量个手部关键点候选图像和所述第二数量个缩放图像获取最终的手部关键点图像，其中，所述手部关键点图像包括基于所述第二数量个缩放图像以及所述第一数量个手部关键点候选图像，从所述第二数量个缩放图像中识别到的除所述第一数量个手部关键点候选图像以外的手部关键点图像。
[0014]可选地，所述第一采样网络用于基于所述第一卷积结构获取多个手部关键点初始图像；
[0015]根据每一所述手部关键点初始图像的置信度，由高到低从所述多个手部关键点初
始图像确定出所述第一数量个手部关键点候选图像。
[0016]可选地，所述第一卷积结构包括三个步长为2的卷积层，各卷积层依次为3*3*6、3*3*12、3*3*21。
[0017]可选地，所述第二卷积结构包括三个步长为1的卷积层，各卷积层依次为3*3*14、3*3*18、3*3*21。
[0018]可选地，所述手势识别网络模型包括连接矩阵和识别函数；
[0019]所述连接矩阵用于根据各所述手部关键点图像生成手势图像；
[0020]所述识别函数用于根据手势图像输出手势类别，所述手势类别包括手势错误和手势正确。
[0021]可选地，所述连接矩阵用于根据各所述手部关键点图像生成手势图像，包括：
[0022]所述连接矩阵根据目标手部关键点与各所述手部关键点图像中的手部关键点的位置关系，得到各所述手部关键点图像中的手部关键点的连线关系，生成手势图像，其中，所述目标手部关键点包括各所述手部关键点图像中的任一手部关键点图像的手部关键点。
[0023]可选地，所述连接矩阵中与所述目标手部关键点的连接值为第一预设值的手部关键点为所述目标手部关键点的相邻点；
[0024]与所述目标手部关键点的连接值为第二预设值的手部关键点为所述目标手部关键点的间隔点；
[0025]所述第一预设值大于所述第二预设值。
[0026]可选地，所述识别函数通过如下方式获得：
[0027]对所述连接矩阵的各行值求和，得到所述连接矩阵的各行对应的和值；
[0028]将各所述和值作为对角线，构建对角矩阵；
[0029]将对角矩阵与所述连接矩阵的差作为拉普拉斯矩阵；
[0030]对所述拉普拉斯矩阵对角展开并引入预设参数，得到所述识别函数。
[0031]第二方面，本公开提供一种握笔姿势纠正装置，所述装置包括：
[0032]获取模块，被配置成用于获取待识别图像；
[0033]提取模块，被配置成用于将所述待识别图像输入到手部关键点检测模型中，得到所述手部关键点检测模型基于卷积结构输出的手部关键点图像；
[0034]识别模块，被配置成用于将各所述手部关键点图像输入到手势识别网络模型中，得到所述手势识别网络模型基于识别函数输出的手势类别；
[0035]提醒模块，被配置成用于在所述手势类别为手势错误的情况下，生成提醒信息。
[0036]第三方面，本公开提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法的步骤。
[0037]第四方面，本公开提供一种电子设备，包括：
[0038]存储器，其上存储有计算机程序；
[0039]处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面所述方法的步骤。
[0040]通过上述技术方案，本公开中手部关键点检测模型基于卷积结构获取待识别图像中的多个手部关键点图像，手势识别网络基于识别函数根据各手部关键点图像得到手势类别，在手势类别为手势错误的情况下，生成提醒信息仅通过青少年在学习状态的图像生成
提醒信息，实现对青少年握笔姿势的纠正。
[0041]本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0042]附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
[0043]图1是根据本公开示例性实施例示出的一种握笔姿势纠正方法的流程图；
[0044]图2是根据本公开示例性实施例示出的一种现有的握笔姿势识别示意图；
[0045]图3是根据本公开示例性实施例示出的一种握笔姿势识别的示意图；
[0046]图4是根据本公开示例性实施例示出的一种手部关键点示意图；
[0047]图5是根据本公开示例性实施例示出的一种手部关键点连线示意图；
[0048]图6是根据本公开示例性实施例示出的一种握笔姿势的手势图像；
[0049]图7是根据本公开示例性实施例示出的一种握笔姿势纠正装置的框图；
[0050]图8是根据本公开示例性实施例示出的一种电子设备的框图。
具体实施方式
[0051]以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
[0052]需要说明的是，本公开中所有获取信号、信息或数据的动作都是在遵本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种握笔姿势纠正方法，其特征在于，所述方法包括：获取待识别图像；将所述待识别图像输入到手部关键点检测模型中，得到所述手部关键点检测模型基于卷积结构输出的手部关键点图像；将各所述手部关键点图像输入到手势识别网络模型中，得到所述手势识别网络模型基于识别函数输出的手势类别；在所述手势类别为手势错误的情况下，生成提醒信息。2.根据权利要求1所述的方法，其特征在于，所述手部关键点检测模型包括第一采样网络、缩放模块和第二采样网络；所述第一采样网络用于基于第一卷积结构获取所述待识别图像中的第一数量个手部关键点候选图像；所述缩放模块用于对所述待识别图像进行缩放处理得到第二数量个缩放图像；所述第二采样网络用于基于第二卷积结构针对所述第一数量个手部关键点候选图像和所述第二数量个缩放图像获取最终的手部关键点图像，其中，所述手部关键点图像包括基于所述第二数量个缩放图像以及所述第一数量个手部关键点候选图像，从所述第二数量个缩放图像中识别到的除所述第一数量个手部关键点候选图像以外的手部关键点图像。3.根据权利要求2所述的方法，其特征在于，所述第一采样网络用于基于所述第一卷积结构获取多个手部关键点初始图像；根据每一所述手部关键点初始图像的置信度，由高到低从所述多个手部关键点初始图像确定出所述第一数量个手部关键点候选图像。4.根据权利要求2所述的方法，其特征在于，所述第一卷积结构包括三个步长为2的卷积层，各卷积层依次为3*3*6、3*3*12、3*3*21。5.根据权利要求2所述的方法，其特征在于，所述第二卷积结构包括三个步长为1的卷积层，各卷积层依次为3*3*14、3*3*18、3*3*21。6.根据权利要求1所述的方法，其特征在于，所述手势识别网络模型包括连接矩阵和识别函数；所述连接矩阵用于根据各所述手部关键点图像生成手势图像；所述识别函数用于根据手势图像输出手势类别，所述手势类别包括手势错误和手势正确。7.根据权利要求6...

【专利技术属性】
技术研发人员：陈奕名，
申请(专利权)人：新东方教育科技集团有限公司，
类型：发明
国别省市：