【技术实现步骤摘要】
本申请涉及计算机视觉，具体而言，涉及一种关键点辅助标注方法、装置、设备及存储介质。
技术介绍
1、在当前元宇宙相关技术的迅速发展大背景下，人机交互相关技术，虚拟数字人驱动等技术在实际工程中应用也越来越广。人作为人机交互的本体，其人体姿态的识别准确度直接影响交互的用户体验。基于深度学习的姿态识别通过利用深度神经网络和大规模数据的学习能力，能够更准确地捕捉和理解人体姿态的信息，可以对人体的姿态和动作进行识别和分析。大量优质的数据是提高深度学习算法的关键。
2、目前，姿态识别的关键点格式主要基于头部、颈部、肩膀、手肘、手腕、髋部、膝盖和脚踝等人体位置，而图片标注的方法主要依赖于人工标注。由于脊柱等关节关键点的识别在退行性病变的诊断中有着关键的作用，传统的姿态识别关键点格式中缺少这些关键点位置信息，不利于深度学习模型的训练，同时完全基于人工标注的方法成本较高，效率和标注质量低。
技术实现思路
1、有鉴于此，本申请实施例的目的在于提供一种关键点辅助标注方法、装置、设备及存储介质，通过采用包含基于修正关节关键点位置(例如脊柱关键点)的标注图片进行重训练的深度学习模型对输入的新图片进行姿态识别，以及关节关键点的预测和标注，实现了基于深度学习模型辅助脊柱关键点的标注，降低了关键点标注的人力成本，扩展了包含关节关键点的数据，同步提高了深度学习模型的准确率，进一步提高了标注效率，从而解决上述技术问题。
2、第一方面，本申请实施例提供一种关键点辅助标注方法，所述方法包括：采用深度
3、在上述实现过程中，通过采用包含基于修正关节关键点位置(例如脊柱关键点)的标注图片进行重训练的深度学习模型对输入的新图片进行姿态识别，以及关节关键点的预测和标注，实现了基于深度学习模型辅助包括脊柱关键点等在内的关节关键点的标注，降低了关键点标注的人力成本，扩展了包含关节关键点的数据，同步提高了深度学习模型的准确率，进一步提高了标注效率。
4、可选地，所述采用深度学习模型对待标注图片进行姿态识别，获得姿态关节位置，包括：采用目标检测器识别待标注图片中的人体位置，获得人体位置边界框；基于所述人体位置边界框，将待标注图片分割为多个局部区域；其中，所述多个局部区域与多个姿态关节一一对应；采用姿态估计器对所述多个局部区域进行位置估计，获得姿态关节位置。
5、在上述实现过程中，通过识别关节边界框、分割局部区域、关节位置估计，获得姿态关节位置的坐标，提高了姿态估计效率和准确率。
6、可选地，所述基于所述姿态关节位置，预测关节关键点位置，包括：基于所述姿态关节位置，获取人体在站立放松状态下多个姿态关节的位置坐标；其中，所述多个姿态关节包括：头部、颈部、肩膀、手肘、手腕、髋部、膝盖和脚踝；根据所述位置坐标，推算关节关键点位置；其中，所述关节关键点包括：脊柱关键点。
7、在上述实现过程中，通过利用已有的多个姿态关节位置数据直接推算关节关键点位置，实现了包括脊柱关键点等在内的关节关键点位置估算，是一种快速估测的方法，提高了标注效率。
8、可选地，所述基于所述姿态关节位置，预测关节关键点位置，包括：获取已经标注关节关键点位置的姿态识别数据；基于所述姿态识别数据训练神经网络模型，获得目标深度学习模型；采用所述目标深度学习模型进行推理，获得关节关键点位置。
9、在上述实现过程中，通过利用已标注的包含缺失关节关键点位置数据(例如：脊柱关键点)的数据集重训练得到的深度学习模型推理，给出脊柱关键点的位置，方便快捷，提高了标注效率。
10、可选地，所述基于所述姿态识别数据训练神经网络模型，获得目标深度学习模型，包括：在训练神经网络模型过程中，计算分类准确率；其中，所述分类准确率为预测关节与真实关节之间的欧式距离；若所述分类准确率达到预设准确率条件，则停止训练，将当前神经网络模型确定为目标深度学习模型。
11、在上述实现过程中，通过设置分类准确率作为训练指标，确保训练出的目标深度学习模型达到一定的准确率，提高了姿态估计、关键点预测的准确率。
12、可选地，所述基于所述关节关键点位置，进行辅助标注，包括：对所述关节关键点位置进行检查；判断所述关节关键点位置是否在目标位置；若在目标位置，则对所述关节关键点位置进行标注，并检查下一个关节关键点位置；若不在目标位置，则对所述关节关键点位置进行修正，并将修正后的标注图片存入数据库，以进行重训练。
13、在上述实现过程中，通过对深度学习模型预测出的关节关键点位置进行检查和修正，实现了准确的辅助标注，扩展了包含脊柱关键点在内的关节关键点的数据，并且同步提高了深度学习模型的准确率，进一步提高了标注效率。
14、可选地，所述对所述关节关键点位置进行修正，并将修正后的标注图片存入数据库，以进行重训练，包括：选中所述关节关键点位置，将所述关节关键点位置移动到目标位置，完成修正；将修正后的标注图片存入数据库；当所述标注图片的数量满足预设条件，对所述深度学习模型进行重训练。
15、在上述实现过程中，通过鼠标选中的方式移动关键点进行修正，并将修正后的图片数据存入数据库训练和迭代新的深度学习模型，提高了深度学习模型的准确率，进一步提高了标注效率。
16、第二方面，本申请实施例提供了一种关键点辅助标注装置，所述装置包括：姿态识别模块，用于采用深度学习模型对待标注图片进行姿态识别，获得姿态关节位置；其中，所述深度学习模型包括：基于修正关节关键点位置的标注图片进行重训练的深度学习模型；预测关键点模块，用于基于所述姿态关节位置，预测关节关键点位置；辅助标注模块，用于基于所述关节关键点位置，进行辅助标注。
17、第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述机器可读指令被所述处理器执行时执行上述的方法的步骤。
18、第四方面，本申请实施例提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的方法的步骤。
19、为使本申请的上述目的、特征和优点能更明显易懂，下文特举实施例，并配合所附附图，作详细说明如下。
本文档来自技高网...【技术保护点】
1.一种关键点辅助标注方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述采用深度学习模型对待标注图片进行姿态识别，获得姿态关节位置，包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述姿态关节位置，预测关节关键点位置，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述姿态关节位置，预测关节关键点位置，包括：
5.根据权利要求4所述的方法，其特征在于，所述基于所述姿态识别数据训练神经网络模型，获得目标深度学习模型，包括：
6.根据权利要求1所述的方法，其特征在于，所述基于所述关节关键点位置，进行辅助标注，包括：
7.根据权利要求6所述的方法，其特征在于，所述对所述关节关键点位置进行修正，并将修正后的标注图片存入数据库，以进行重训练，包括：
8.一种关键点辅助标注装置，其特征在于，所述装置包括：
9.一种电子设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述机器可读指令被所述处理
10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一所述的方法的步骤。
...【技术特征摘要】
1.一种关键点辅助标注方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述采用深度学习模型对待标注图片进行姿态识别，获得姿态关节位置，包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述姿态关节位置，预测关节关键点位置，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述姿态关节位置，预测关节关键点位置，包括：
5.根据权利要求4所述的方法，其特征在于，所述基于所述姿态识别数据训练神经网络模型，获得目标深度学习模型，包括：
6.根据权利要求1所述的方法，其特征在于，所述基于所述关节关...
【专利技术属性】
技术研发人员：高楠，卫嘉慧，高宇翔，
申请(专利权)人：上海探势健康科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。