握笔姿势检测方法、装置、存储介质及电子设备制造方法及图纸

本申请公开了一种握笔姿势检测方法、装置、存储介质及电子设备，其中方法包括：基于姿势检测模型识别第一握笔手在第一图像中的第一位置和第一握笔手的握笔姿势类别，基于多目标跟踪器确定第二握笔手在第一图像中的第二位置和第二握笔手的第一标识，然后在第一握笔手和第二握笔手相匹配时，确定第一握笔手的握笔手标识为第一标识，基于第一标识和握笔姿势类别生成第一握笔手在第一图像中的握笔姿势记录，在第一图像的图像数量达到设定数量时，根据第一握笔手在各第一图像中的握笔姿势记录，确定第一握笔手的握笔姿势状态，本申请通过姿势检测模型和多目标跟踪器的互相配合，实现了对多握笔手的握笔姿势检测。现了对多握笔手的握笔姿势检测。现了对多握笔手的握笔姿势检测。

【技术实现步骤摘要】
握笔姿势检测方法、装置、存储介质及电子设备


[0001]本申请涉及计算机
，尤其涉及一种握笔姿势检测方法、装置、存储介质及电子设备。

技术介绍

[0002]不正确的握笔姿势可能会导致手部疲劳、肌肉疼痛和手部协调不良等问题。如果长期使用错误的握笔姿势，可能会对手部生长发育造成不良影响，进而影响他们的书写能力和日常生活能力。
[0003]因此，在日常学习生活中，对握笔姿势进行检测识别是当下亟待解决的问题。

技术实现思路

[0004]本申请实施例提供的一种握笔姿势检测方法、装置、存储介质及电子设备，可以通过握笔姿势检测确定握笔手的握笔姿势状态，并提高握笔姿势检测的准确性。所述技术方案如下：
[0005]第一方面，本申请实施例提供了一种握笔姿势检测方法，所述方法包括：
[0006]响应于识别状态，获取包含至少一个握笔手的第一图像；
[0007]基于姿势检测模型识别第一握笔手在所述第一图像中的第一位置和所述第一握笔手的握笔姿势类别；
[0008]基于多目标跟踪器确定第二握笔手在所述第一图像中的第二位置和所述第二握笔手的第一标识；
[0009]基于所述第一位置和所述第二位置的位置关系判断所述第一握笔手和所述第二握笔手是否匹配，在所述第一握笔手和所述第二握笔手相匹配时，确定所述第一握笔手的握笔手标识为所述第一标识；
[0010]基于所述第一标识和所述握笔姿势类别生成所述第一握笔手在所述第一图像中的握笔姿势记录；
[0011]若所述第一图像的图像数量达到设定数量，则根据所述第一握笔手在各所述第一图像中的所述握笔姿势记录，确定所述第一握笔手的握笔姿势状态。
[0012]第二方面，本申请实施例提供了一种握笔姿势检测装置，所述装置包括：
[0013]第一图像获取模块，用于响应于识别状态，获取包含至少一个握笔手的第一图像；
[0014]握笔姿势检测模块，用于基于姿势检测模型识别第一握笔手在所述第一图像中的第一位置和所述第一握笔手的握笔姿势类别；
[0015]目标标识跟踪模块，用于基于多目标跟踪器确定第二握笔手在所述第一图像中的第二位置和所述第二握笔手的第一标识；
[0016]目标标识匹配模块，用于基于所述第一位置和所述第二位置的位置关系判断所述第一握笔手和所述第二握笔手是否匹配，在所述第一握笔手和所述第二握笔手相匹配时，确定所述第一握笔手的握笔手标识为所述第一标识；
[0017]姿势记录生成模块，用于基于所述第一标识和所述握笔姿势类别生成所述第一握笔手在所述第一图像中的握笔姿势记录；
[0018]握笔状态确定模块，用于若所述第一图像的图像数量达到设定数量，则根据所述第一握笔手在各所述第一图像中的所述握笔姿势记录，确定所述第一握笔手的握笔姿势状态。
[0019]第三方面，本申请实施例提供一种存储介质，所述存储介质存储有至少一条指令，所述至少一条指令适于由处理器加载并执行上述的方法步骤。
[0020]第四方面，本申请实施例提供一种电子设备，可包括：处理器和存储器；其中，所述存储器存储有至少一条指令，所述至少一条指令适于由所述处理器加载并执行上述的方法步骤。
[0021]本申请一些实施例提供的技术方案带来的有益效果至少包括：
[0022]在本申请实施例中，响应于识别状态，获取包含至少一个握笔手的第一图像，基于姿势检测模型识别第一握笔手在第一图像中的第一位置和第一握笔手的握笔姿势类别，基于多目标跟踪器确定第二握笔手在第一图像中的第二位置和第二握笔手的第一标识，基于第一位置和第二位置的位置关系判断第一握笔手和第二握笔手是否匹配，在第一握笔手和第二握笔手相匹配时，确定第一握笔手的握笔手标识为第一标识，基于第一标识和握笔姿势类别生成第一握笔手在第一图像中的握笔姿势记录，若第一图像的图像数量达到设定数量，则根据第一握笔手在各第一图像中的握笔姿势记录，确定第一握笔手的握笔姿势状态；采用本申请实施例提供的握笔姿势检测方法，通过采集多帧第一图像，在得到设定数量的第一图像后，再根据握笔手在各第一图像中的握笔姿势记录确定握笔手分别对应的握笔姿势状态，保证了握笔姿势检测的准确率，且本申请针对第一图像中的至少一个握笔手，采用姿势检测模型对各握笔手进行握笔姿势检测，以及采用多目标跟踪器对各握笔手进行持续跟踪，保证各握笔手在多帧第一图像之间可以被准确区分，从而本申请实现了对多握笔手的握笔姿势检测。
附图说明
[0023]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0024]图1为本申请实施例提供的一种握笔姿势检测方法的流程示意图；
[0025]图2为本申请实施例提供的一种握笔姿势检测的举例示意图；
[0026]图3为本申请实施例提供的一种多目标跟踪的举例示意图；
[0027]图4为本申请实施例提供的一种多目标跟踪的举例示意图；
[0028]图5为本申请实施例提供的一种握笔姿势记录的生成示意图；
[0029]图6为本申请实施例提供的一种握笔姿势检测方法的流程示意图；
[0030]图7为本申请实施例提供的一种握笔姿势检测方法的流程示意图；
[0031]图8为本申请实施例提供的一种握笔姿势检测装置的结构示意图；
[0032]图9为本申请实施例提供的一种握笔姿势检测装置的结构示意图；
[0033]图10为本申请实施例提供的一种电子设备的结构方框图。
具体实施方式
[0034]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0035]在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本申请的描述中，需要说明的是，除非另有明确的规定和限定，“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
[0036]相关技术中，握笔姿本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种握笔姿势检测方法，其特征在于，所述方法包括：响应于识别状态，获取包含至少一个握笔手的第一图像；基于姿势检测模型识别第一握笔手在所述第一图像中的第一位置和所述第一握笔手的握笔姿势类别；基于多目标跟踪器确定第二握笔手在所述第一图像中的第二位置和所述第二握笔手的第一标识；基于所述第一位置和所述第二位置的位置关系判断所述第一握笔手和所述第二握笔手是否匹配，在所述第一握笔手和所述第二握笔手相匹配时，确定所述第一握笔手的握笔手标识为所述第一标识；基于所述第一标识和所述握笔姿势类别生成所述第一握笔手在所述第一图像中的握笔姿势记录；若所述第一图像的图像数量达到设定数量，则根据所述第一握笔手在各所述第一图像中的所述握笔姿势记录，确定所述第一握笔手的握笔姿势状态。2.根据权利要求1所述的方法，其特征在于，所述响应于识别状态，获取包含至少一个握笔手的第一图像之前，还包括：构建样本训练集，所述样本训练集包括各样本训练图像以及样本训练图像中至少一个样本握笔手分别对应的握笔姿势类别标签和握笔手位置标签；将所述样本训练图像输入至初始姿势检测模型中，得到所述样本训练图像中所述样本握笔手对应的样本握笔姿势类别和样本握笔手位置；根据所述握笔姿势类别标签和所述样本握笔姿势类别计算所述初始姿势检测模型对应的类别损失以及根据所述握笔手位置标签和所述样本握笔手位置计算所述初始姿势检测模型对应的位置损失；基于所述类别损失和所述位置损失更新所述初始姿势检测模型的模型参数；采用各样本训练图像对所述初始姿势检测模型进行迭代训练，直至所述初始姿势检测模型满足预设收敛条件，得到训练完成的姿势检测模型。3.根据权利要求2所述的方法，其特征在于，所述将所述样本训练图像输入至初始姿势检测模型中，得到所述样本训练图像中所述样本握笔手对应的样本握笔姿势类别和样本握笔手位置，包括：基于所述初始姿势检测模型中的特征提取网络对所述样本训练图像进行特征提取处理，得到样本特征图；基于所述初始姿势检测模型中的姿势预测网络对所述样本特征图进行姿势类别预测以及位置预测，得到所述样本握笔手对应的样本握笔姿势类别和样本握笔手位置。4.根据权利要求1所述的方法，其特征在于，所述响应于识别状态，获取包含至少一个握笔手的第一图像之前，还包括：响应于初始化状态，获取包含至少一个握笔手的第二图像；基于姿势检测模型识别第三握笔手在所述第二图像中的初始化位置；基于所述多目标跟踪器根据所述初始化位置生成所述第三握笔手对应的第二标识，将初始化状态切换为识别状态。5.根据权利要求4所述的方法，其特征在于，所述基于多目标跟踪器确定第二握笔手在
所述第一图像中的第二位置和所述第二握笔手的第一标识，包括：若所述第一图像为在所述识别状态下获取的第一帧图像，获取所述第二图像中所述第三握笔手对应的所述初始化位置和所述第二标识；采用所述多目标跟踪器根据所述初始化位置和所述第二标识在所述第一图像中确定所述第二握笔手对应的第二位置和第一标识。6.根据权利要求1所述的方法，其特征在于，所述基于多目标跟踪器确定第二握笔手在所述第一图像中的第二位置和所述第二握笔手的第一标识，包括：若所述第一图像不为在所述识别状态下获取的第...

【专利技术属性】
技术研发人员：潘潇，高海潮，
申请(专利权)人：广州视源电子科技股份有限公司，
类型：发明
国别省市：