检测指尖位置的方法、装置、设备和存储介质制造方法及图纸

本申请公开了一种检测指尖位置的方法、装置、设备和存储介质，涉及人工智能技术领域，具体涉及计算机视觉和深度学习等领域。具体实现方案包括：获取样本图像以及与样本图像对应的多个分辨率下的标注特征，其中，样本图像中包括指尖，标注特征包括指尖标注特征；基于机器学习模型，从样本图像中提取出多个分辨率下的样本特征，样本特征包括对指尖位置预测的指尖样本特征；对于每个分辨率，根据分辨率下的指尖标注特征和指尖样本特征，训练机器学习模型，以生成指尖检测模型，指尖检测模型用于检测待检测图像中的指尖位置。本申请实施例的技术方案可以应用于语音讲解、在线教育、智能教育等场景下，可以提高指尖检测的精度和效率。可以提高指尖检测的精度和效率。可以提高指尖检测的精度和效率。

【技术实现步骤摘要】
检测指尖位置的方法、装置、设备和存储介质


[0001]本申请涉及人工智能
，尤其涉及计算机视觉和深度学习领域。

技术介绍

[0002]指尖检测技术作为教育平台的基础被广泛运用于在线知识疑问解答的点读场景中。如果使用先提取手位置再进行指尖检测的多阶段的处理检测方案，一方面多阶段的技术方案在每个技术环节都会一定程度上造成精度的损失，此外，多阶段的检测技术在运行效率上会更低，同时对硬件设备的要求也会更高。这在很大程度上限制了指尖检测技术在实际场景中的运用。

技术实现思路

[0003]本申请提供了一种检测指尖位置的方法、装置、设备和存储介质。
[0004]根据本申请的第一方面，提供了一种指尖检测模型的生成方法，包括：
[0005]获取样本图像以及与样本图像对应的多个分辨率下的标注特征，其中，样本图像中包括指尖，标注特征包括指尖标注特征；
[0006]基于机器学习模型，从样本图像中提取出多个分辨率下的样本特征，样本特征包括对指尖位置预测的指尖样本特征；
[0007]对于每个分辨率，根据分辨率下的指尖标注特征和指尖样本特征，训练机器学习模型，以生成指尖检测模型，指尖检测模型用于检测待检测图像中的指尖位置。
[0008]根据本申请的第二方面，提供了一种检测指尖位置的方法，包括：
[0009]获取待检测图像；
[0010]基于指尖检测模型从待检测图像提取出多个分辨率下对指尖位置预测的待选指尖特征，其中，指尖检测模型由上述第一方面的方法生成；
[0011]从多个待选指尖特征中，确定出符合预设分辨率标准的输出指尖特征；
[0012]根据输出指尖特征确定待检测图像中的指尖位置。
[0013]根据本申请的第三方面，提供了一种检测指尖位置的方法，包括：
[0014]获取待检测图像；
[0015]基于指尖检测模型从待检测图像提取出多个分辨率下对手部关键点预测的待选关键点特征，其中，指尖检测模型由上述第一方面的方法生成；
[0016]从多个待选关键点特征中，确定出符合预设分辨率标准的输出关键点特征；
[0017]根据输出关键点特征确定待检测图像中的指尖位置。
[0018]根据本申请的第四方面，提供了一种指尖检测模型的生成装置，包括：
[0019]样本图像获取模块，用于获取样本图像以及与样本图像对应的多个分辨率下的标注特征，其中，样本图像中包括指尖，标注特征包括指尖标注特征；
[0020]样本特征提取模块，用于基于机器学习模型，从样本图像中提取出多个分辨率下的样本特征，样本特征包括对指尖位置预测的指尖样本特征；
[0021]训练模块，用于对于每个分辨率，根据分辨率下的指尖标注特征和指尖样本特征，训练机器学习模型，以生成指尖检测模型，指尖检测模型用于检测待检测图像中的指尖位置。
[0022]根据本申请的第五方面，提供了一种检测指尖位置的装置，包括：
[0023]第一待检测图像获取模块，用于获取待检测图像；
[0024]待选指尖特征提取模块，用于基于指尖检测模型从待检测图像提取出多个分辨率下对指尖位置预测的待选指尖特征，其中，指尖检测模型由上述生成装置生成；
[0025]输出指尖特征确定模块，用于从多个待选指尖特征中，确定出符合预设分辨率标准的输出指尖特征；
[0026]第一指尖位置确定模块，用于根据输出指尖特征确定待检测图像中的指尖位置。
[0027]根据本申请的第六方面，提供了一种检测指尖位置的装置，包括：
[0028]第二待检测图像获取模块，获取待检测图像；
[0029]待选关键点特征提取模块，用于基于指尖检测模型从待检测图像提取出多个分辨率下对手部关键点预测的待选关键点特征，其中，指尖检测模型由本申请实施例的生成装置生成；
[0030]输出关键点特征确定模块，用于从多个待选关键点特征中，确定出符合预设分辨率标准的输出关键点特征；
[0031]第二指尖位置确定模块，用于根据输出关键点特征确定待检测图像中的指尖位置。
[0032]根据本申请的第七方面，提供了一种电子设备，包括：
[0033]至少一个处理器；以及
[0034]与至少一个处理器通信连接的存储器；其中，
[0035]存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本申请任意实施例提供的方法。
[0036]根据本申请的第八方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行本申请任意实施例提供的方法。
[0037]根据本申请的第九方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本申请任意实施例提供的方法。
[0038]本申请实施例的技术方案可以应用于语音讲解、在线教育、智能教育等场景下，可以提高指尖检测的精度和效率。
[0039]应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0040]附图用于更好地理解本方案，不构成对本申请的限定。其中：
[0041]图1是根据本申请实施例的应用场景的示意图；
[0042]图2是根据本申请实施例一的流程图；
[0043]图3是根据本申请实施例一中一种实施方式的流程图；
[0044]图4是根据本申请实施例的指尖位置检测模型的应用示例图；
[0045]图5
‑
1是根据本申请实施例一的热图示例图；
[0046]图5
‑
2是根据本申请实施例的偏移矢量示例图；
[0047]图6是根据本申请实施例二的流程图；
[0048]图7是根据本申请实施例二的热图示例图；
[0049]图8是根据本申请实施例三的流程图；
[0050]图9是根据本申请实施例四的流程图；
[0051]图10是根据本申请实施例的指尖位置检测结果的示例图；
[0052]图11是根据本申请实施例五的框图；
[0053]图12是根据本申请实施例五中一种实施方式的框图；
[0054]图13是根据本申请实施例五中另一种实施方式的框图；
[0055]图14是根据本申请实施例六的框图；
[0056]图15是根据本申请实施例七的框图；
[0057]图16是用来实现本申请实施例的方法的电子设备的框图。
具体实施方式
[0058]以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种指尖检测模型的生成方法，包括：获取样本图像以及与所述样本图像对应的多个分辨率下的标注特征，其中，所述样本图像中包括指尖，所述标注特征包括指尖标注特征；基于机器学习模型，从所述样本图像中提取出多个分辨率下的样本特征，所述样本特征包括对指尖位置预测的指尖样本特征；对于每个分辨率，根据所述分辨率下的指尖标注特征和指尖样本特征，训练所述机器学习模型，以生成指尖检测模型，所述指尖检测模型用于检测待检测图像中的指尖位置。2.根据权利要求1所述的生成方法，其中，从所述样本图像中提取出多个分辨率下的样本特征，包括：对所述样本图像进行不同倍数的下采样，得到多个不同分辨率和不同语义层次的第一语义特征；对所述第一语义特征中的高语义层特征进行相应倍数的上采样，得到多个不同分辨率的第二语义特征，所述第二语义特征均为高语义层特征；对于相同分辨率，融合具有不同语义层次的第一语义特征和第二语义特征，得到多个分辨率下的样本特征。3.根据权利要求1所述的生成方法，其中，所述指尖标注特征包括第一标注热图和第一标注偏移矢量，所述指尖样本特征包括第一样本热图和第一样本偏移矢量；根据所述分辨率下的指尖标注特征和指尖样本特征，训练所述机器学习模型，包括：根据所述第一标注热图和所述第一样本热图生成第一损失函数；根据所述第一标注偏移矢量和所述第一样本偏移矢量生成第二损失函数；根据所述第一损失函数和所述第二损失函数，调整所述机器学习模型的参数，以生成所述指尖检测模型。4.根据权利要求1所述的生成方法，其中，所述样本图像中还包括手部上的非指尖关键点，所述标注特征还包括非指尖关键点标注特征，所述样本特征还包括对非指尖关键点的位置预测的非指尖关键点样本特征；对于每个分辨率，根据所述分辨率下的指尖标注特征和指尖样本特征，训练所述机器学习模型，包括：对于每个分辨率，根据所述分辨率下的指尖标注特征和指尖样本特征，以及所述分辨率下的非指尖关键点标注特征和非指尖关键点样本特征，训练所述机器学习模型。5.根据权利要求4所述的生成方法，其中，所述指尖标注特征包括第一标注热图和第一标注偏移矢量，所述指尖样本特征包括第一样本热图和第一样本偏移矢量；所述非指尖关键点标注特征包括第二标注热图和第二标注偏移矢量，所述非指尖关键点样本特征包括第二样本热图和第二样本偏移矢量；根据所述分辨率下的指尖标注特征和指尖样本特征，以及所述分辨率下的非指尖关键点标注特征和非指尖关键点样本特征，训练所述机器学习模型，包括：根据所述第一标注热图和所述第一样本热图，以及所述第二标注热图和所述第二样本偏移矢量，生成第一损失函数；根据所述第一标注偏移矢量和所述第一样本偏移矢量，以及所述第二标注偏移矢量和所述第二样本偏移矢量，生成第二损失函数；
根据所述第一损失函数和所述第二损失函数，调整所述机器学习模型的参数。6.一种检测指尖位置的方法，包括：获取待检测图像；基于指尖检测模型从所述待检测图像提取出多个分辨率下对指尖位置预测的待选指尖特征，其中，所述指尖检测模型由权利要求1至3任一项所述的方法生成；从多个所述待选指尖特征中，确定出符合预设分辨率标准的输出指尖特征；根据所述输出指尖特征确定所述待检测图像中的指尖位置。7.根据权利要求6所述的方法，其中，所述输出指尖特征包括输出热图和输出偏移矢量，根据所述输出指尖特征确定所述待检测图像中的指尖位置，包括：解析所述输出热图的峰值位置，得到经所述指尖检测模型下采样后的指尖预测位置；解析所述指尖预测位置的矢量值，得到指尖预测位置矢量；根据所述指尖预测位置矢量和所述输出偏移矢量，确定所述待检测图像中的指尖位置。8.一种检测指尖位置的方法，包括：获取待检测图像；基于指尖检测模型从所述待检测图像提取出多个分辨率下对手部关键点预测的待选关键点特征，其中，所述指尖检测模型由权利要求4或5所述的方法生成；从多个所述待选关键点特征中，确定出符合预设分辨率标准的输出关键点特征；根据所述输出关键点特征确定所述待检测图像中的指尖位置。9.一种指尖检测模型的生成装置，包括：样本图像获取模块，用于获取样本图像以及与所述样本图像对应的多个分辨率下的标注特征，其中，所述样本图像中包括指尖，所述标注特征包括指尖标注特征；样本特征提取模块，用于基于机器学习模型，从所述样本图像中提取出多个分辨率下的样本特征，所述样本特征包括对指尖位置预测的指尖样本特征；训练模块，用于对于每个分辨率，根据所述分辨率下的指尖标注特征和指尖样本特征，训练所述机器学习模型，以生成指尖检测模型，所述指尖检测模型用于检测待检测...

【专利技术属性】
技术研发人员：杨黔生，沈辉，王健，丁二锐，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：