脊柱图像识别模型的训练方法、类别确定方法及装置制造方法及图纸

本发明专利技术公开了脊柱图像识别模型的训练方法、类别确定方法及装置，包括：基于各个样本图像，以及针对每个样本图像的第一标注信息，训练第一待训练模型，得到训练完成的目标检测模型；利用目标检测模型，确定每个样本图像对应的目标背部区域图像；基于各个目标背部区域图像、以及第二标注信息，训练第二待训练模型，得到训练完成的关键点预测模型；利用关键点预测模型，确定每个目标背部区域图像中各个关键点对应的关键点信息；基于目标背部区域图像、关键点信息、以及第三标注信息，训练第三待训练模型，得到训练完成的脊柱分类模型；将目标检测模型、关键点预测模型和脊柱分类模型，确定为脊柱图像识别模型。本发明专利技术能够提高图像处理效率和精准度。效率和精准度。效率和精准度。

【技术实现步骤摘要】
脊柱图像识别模型的训练方法、类别确定方法及装置


[0001]本专利技术涉及计算机领域，具体而言，涉及一种脊柱图像识别模型的训练方法、类别确定方法及装置。

技术介绍

[0002]目前，脊柱侧弯在青少年群体中经常出现，对此，需要及时筛查出青少年的脊柱侧弯情况，施以相对应的干预措施，及时纠正。其中，脊柱侧弯是一种脊柱的三维畸形。
[0003]在实践中发现，现在的脊柱侧弯筛查方法需要获取相关的脊柱图像，并人工对脊柱图像进行处理，得到处理结果，基于处理结果得到影像对应的检查信息。综合各项检查信息，确定最终的检查结果。然而，现在的检查影像处理环节高度依赖人工，存在着图像处理效率低、精准度差的问题。
[0004]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本专利技术实施例提供了一种脊柱图像识别模型的训练方法、类别确定方法及装置，以至少提高图像处理效率和精准度。
[0006]根据本专利技术实施例的一个方面，提供了一种脊柱图像识别模型的训练方法，所述方法包括：基于各个样本图像，以及针对每个样本图像的第一标注信息，训练第一待训练模型，得到训练完成的目标检测模型；其中，所述第一标注信息用于标注样本图像中目标背部区域的区域位置；利用所述目标检测模型，确定每个样本图像对应的目标背部区域图像；基于各个样本图像对应的所述目标背部区域图像、以及针对所述目标背部区域图像的第二标注信息，训练第二待训练模型，得到训练完成的关键点预测模型；其中，所述第二标注信息用于标注所述目标背部区域中各个关键点的坐标和关键点类别；利用所述关键点预测模型，确定每个所述目标背部区域图像中各个关键点对应的关键点信息；基于各个样本图像对应的所述目标背部区域图像、各个所述目标背部区域图像对应的所述关键点信息、以及针对所述目标背部区域图像的第三标注信息，训练第三待训练模型，得到训练完成的脊柱分类模型；其中，所述第三标注信息用于标注所述目标背部区域图像中脊柱的类别；将所述目标检测模型、所述关键点预测模型和所述脊柱分类模型，确定为脊柱图像识别模型。
[0007]作为一种可选的实施方式，基于所述各个样本图像、以及针对每个样本图像的所述第一标注信息，训练第一待训练模型，得到训练完成的目标检测模型，包括：对于每个样本图像，对该样本图像进行分辨率调整操作，以得到设定分辨率的样本图像；将各个所述设定分辨率的样本图像输入所述第一待训练模型，以使所述第一待训练模型提取各个所述设定分辨率的样本图像对应的特征信息，并基于所述特征信息输出针对所述设定分辨率的样本图像的第一预测信息；其中，所述预测信息至少包括以下一项：包含目标背部区域的检测框的坐标、包含目标背部区域的检测框的偏移值、包含目标背部区域的检测框的置信度、包含目标背部区域的检测框的区域类别；基于所述第一预测信息和所述第一标注信息，调整
所述第一待训练模型的模型参数，得到训练完成的所述目标检测模型。
[0008]作为一种可选的实施方式，所述基于各个样本图像对应的所述目标背部区域图像、以及针对所述目标背部区域图像的第二标注信息，训练第二待训练模型，得到训练完成的关键点预测模型，包括：将每个样本图像对应的所述目标背部区域图像输入所述第二待训练模型，以使所述第二待训练模型对所述目标背部区域图像进行多次多尺度特征融合，输出与所述目标背部区域图像对应的第二预测信息；其中，所述第二预测信息为所述目标背部区域图像的各个关键点组成的关键点序列；基于所述关键点序列和所述第二标注信息，调整所述第二待训练模型的模型参数，得到训练完成的所述关键点预测模型。
[0009]作为一种可选的实施方式，所述基于各个样本图像对应的所述目标背部区域图像、各个所述目标背部区域图像对应的所述关键点信息、以及针对所述目标背部区域图像的第三标注信息，训练第三待训练模型，得到训练完成的脊柱分类模型，包括：基于各个样本图像对应的各个所述目标背部区域图像、对应的所述关键点信息，生成关键点连接图；将所述关键点连接图输入图卷积神经网络，以使所述图卷积神经网络输出与所述关键点连接图相匹配的第一向量；将所述目标背部区域图像输入深度卷积神经网络，以使所述深度卷积神经网络输出与所述目标背部区域图像相匹配的第二向量；基于所述第一向量和所述第二向量，生成第三预测结果；其中，所述第三预测结果为各个脊柱类别对应的置信度；基于所述第三预测结果和所述第三标注信息，调整所述第三待训练模型的模型参数，得到训练完成的所述脊柱分类模型；其中，所述第三待训练模型包括所述图卷积神经网络和所述深度卷积神经网络。
[0010]作为一种可选的实施方式，所述关键点类别包括以下至少一项：第七颈椎棘突点、中部胸椎棘突点、第一腰椎棘突点、左右肩锁关节点、左右肩胛骨下侧点、左右侧腰凹点、左右髂后上棘点。
[0011]作为一种可选的实施方式，所述脊柱的类别至少包括以下一项：无侧弯、侧弯一度、侧弯二度、侧弯三度。
[0012]根据本专利技术实施例的另一方面，还提供了一种类别确定方法，包括：获取待识别图像；将所述待识别图像输入上述的目标检测模型，得到所述待识别图像对应的目标背部区域图像；将所述待识别图像对应的目标背部区域图像，输入上述的关键点预测模型，得到所述待识别图像对应的目标背部区域图像中的目标关键点信息；将所述待识别图像对应的目标背部区域图像、以及所述目标关键点信息，输入上述的脊柱分类模型，得到与所述待识别图像对应的脊柱类别。
[0013]作为一种可选的实施方式，所述方法还包括：输出以下至少一项信息：所述脊柱类别、所述目标关键点信息、所述待识别图像对应的目标背部区域图像。
[0014]根据本专利技术实施例的又一方面，还提供了一种脊柱图像识别模型的训练装置，包括：第一训练单元，用于基于各个样本图像，以及针对每个样本图像的第一标注信息，训练第一待训练模型，得到训练完成的目标检测模型；其中，所述第一标注信息用于标注样本图像中目标背部区域的区域位置；背部图像确定单元，用于利用所述目标检测模型，确定每个样本图像对应的目标背部区域图像；第二训练单元，用于基于各个样本图像对应的所述目标背部区域图像、以及针对所述目标背部区域图像的第二标注信息，训练第二待训练模型，得到训练完成的关键点预测模型；其中，所述第二标注信息用于标注所述目标背部区域中
各个关键点的坐标和关键点类别；关键点确定单元，用于利用所述关键点预测模型，确定每个所述目标背部区域图像中各个关键点对应的关键点信息；第三训练单元，用于基于各个样本图像对应的所述目标背部区域图像、各个所述目标背部区域图像对应的所述关键点信息、以及针对所述目标背部区域图像的第三标注信息，训练第三待训练模型，得到训练完成的脊柱分类模型；其中，所述第三标注信息用于标注所述目标背部区域图像中脊柱的类别；模型确定单元，用于将所述目标检测模型、所述关键点预测模型和所述脊柱分类模型，确定为脊柱图像识别模型。
[0015]根据本专利技术实施例的又一方面，还提供了一种类别确定装置，包括：图像获取单元，用于获取待识别图像；区域图像确定单元，用于将所述待本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种脊柱图像识别模型的训练方法，其特征在于，包括：基于各个样本图像，以及针对每个样本图像的第一标注信息，训练第一待训练模型，得到训练完成的目标检测模型；其中，所述第一标注信息用于标注样本图像中目标背部区域的区域位置；利用所述目标检测模型，确定每个样本图像对应的目标背部区域图像；基于各个样本图像对应的所述目标背部区域图像、以及针对所述目标背部区域图像的第二标注信息，训练第二待训练模型，得到训练完成的关键点预测模型；其中，所述第二标注信息用于标注所述目标背部区域中各个关键点的坐标和关键点类别；利用所述关键点预测模型，确定每个所述目标背部区域图像中各个关键点对应的关键点信息；基于各个样本图像对应的所述目标背部区域图像、各个所述目标背部区域图像对应的所述关键点信息、以及针对所述目标背部区域图像的第三标注信息，训练第三待训练模型，得到训练完成的脊柱分类模型；其中，所述第三标注信息用于标注所述目标背部区域图像中脊柱的类别；将所述目标检测模型、所述关键点预测模型和所述脊柱分类模型，确定为脊柱图像识别模型。2.根据权利要求1所述的方法，其特征在于，基于所述各个样本图像、以及针对每个样本图像的所述第一标注信息，训练第一待训练模型，得到训练完成的目标检测模型，包括：对于每个样本图像，对该样本图像进行分辨率调整操作，以得到设定分辨率的样本图像；将各个所述设定分辨率的样本图像输入所述第一待训练模型，以使所述第一待训练模型提取各个所述设定分辨率的样本图像对应的特征信息，并基于所述特征信息输出针对所述设定分辨率的样本图像的第一预测信息；其中，所述预测信息至少包括以下一项：包含目标背部区域的检测框的坐标、包含目标背部区域的检测框的偏移值、包含目标背部区域的检测框的置信度、包含目标背部区域的检测框的区域类别；基于所述第一预测信息和所述第一标注信息，调整所述第一待训练模型的模型参数，得到训练完成的所述目标检测模型。3.根据权利要求1所述的方法，其特征在于，所述基于各个样本图像对应的所述目标背部区域图像、以及针对所述目标背部区域图像的第二标注信息，训练第二待训练模型，得到训练完成的关键点预测模型，包括：将每个样本图像对应的所述目标背部区域图像输入所述第二待训练模型，以使所述第二待训练模型对所述目标背部区域图像进行多次多尺度特征融合，输出与所述目标背部区域图像对应的第二预测信息；其中，所述第二预测信息为所述目标背部区域图像的各个关键点组成的关键点序列；基于所述关键点序列和所述第二标注信息，调整所述第二待训练模型的模型参数，得到训练完成的所述关键点预测模型。4.根据权利要求1所述的方法，其特征在于，所述基于各个样本图像对应的所述目标背部区域图像、各个所述目标背部区域图像对应的所述关键点信息、以及针对所述目标背部区域图像的第三标注信息，训练第三待训练模型，得到训练完成的脊柱分类模型，包括：
基于各个样本图像对应的各个所述目标背部区域图像、对应的所述关键点信息，生成关键点连接图；将所述关键点连接图输入图卷积神经网络，以使所述图卷积神经网络输出与所述关键点连接图相匹配的第一向量；将所述目标背部区域图像输入深度卷积神经网络，以使所述深度卷积神经网络输出与所述目标背部区域图像相匹配的第二向量；基于所述第一向量和所述第二向量，...

【专利技术属性】
技术研发人员：姚建武，周泓，李念虎，徐永刚，饶琳燕，
申请(专利权)人：燊炀杭州医学技术有限公司，
类型：发明
国别省市：