图像中目标物的分类方法、模型训练方法和装置制造方法及图纸

本申请提供一种图像中目标物的分类方法、模型训练方法和装置，属于计算机技术领域，涉及人工智能和计算机视觉技术。本申请通过特征提取模型提取待处理图像的特征图，确定在待处理图像中预先标定的目标物包围框在特征图中对应的待分类区域，通过图像分类模型确定待分类区域对应的目标物类别，并输出分类结果。其中，特征提取模型和图像分类模型是基于训练图像进行训练得到的，训练图像包括样本目标物和样本目标物所处的背景环境。使用包括背景环境的训练图像对特征提取模型和图像分类模型进行训练，可以充分利用训练图像中的背景信息，使训练得到的特征提取模型和图像分类模型可以准确区分目标物与背景，进而提高分类准确率。

Classification method, model training method and device of objects in image

【技术实现步骤摘要】
图像中目标物的分类方法、模型训练方法和装置
本申请涉及计算机
，更具体地说，涉及一种图像中目标物的分类方法、模型训练方法和装置。
技术介绍
随着计算机技术的迅速发展，对图像中的物品进行分类的技术已在越来越多的领域得到了应用。现有技术中通常采用图像分类模型对图像中的物品进行分类，如何训练得到一个准确率高的图像分类模型是在图像分类应用中的重要问题。目前，在对图像分类模型进行训练时，一般是人工在原始图像中标注物品包围框，将人工标注的物品包围框对应的图像区域从原始图像中分割出来，得到仅包含物品的小区域图像，基于由小区域图像组成的训练数据集对图像分类模型进行训练。由于通过上述方法得到的小区域图像仅包含物品，而剔除了物品周围的背景环境信息，因而供图像分类模型学习的图像信息较片面，使训练得到的图像分类模型的分类准确率较低。现有技术对图像中的其他目标物进行分类时，也存在上述技术问题。
技术实现思路
为解决现有存在的技术问题，本申请实施例提供一种图像中目标物的分类方法、模型训练方法和装置，可以提高分类准确率。为达到上述目的，本申请实施例的技术方案是这样实现的：第一方面，本申请实施例提供一种图像中目标物的分类方法，所述方法包括：通过特征提取模型对待处理图像进行特征提取，得到所述待处理图像的特征图；确定在所述待处理图像中预先标定的目标物包围框在所述特征图中对应的待分类区域；通过图像分类模型确定所述待分类区域对应的目标物类别，并输出分类结果；所述特征提取模型和所述图像分类模型是基于训练图像进行训练得到的，所述训练图像包括样本目标物和样本目标物所处的背景环境，其中所述样本目标物被标注了样本目标物包围框和样本目标物分类标签。第二方面，本申请实施例还提供一种模型训练方法，所述模型包括特征提取模型和图像分类模型；所述方法包括：获取训练图像；所述训练图像包括样本目标物和样本目标物所处的背景环境，其中所述样本目标物被标注了样本目标物包围框和样本目标物分类标签；将所述训练图像输入特征提取模型，得到所述训练图像的特征图；确定所述训练图像的样本目标物包围框在所述训练图像的特征图中对应的待分类区域；通过图像分类模型对所述训练图像的特征图中的待分类区域进行目标物分类预测，得到样本目标物的预测分类结果；根据所述样本目标物的预测分类结果和预先标注的样本目标物分类标签，确定分类损失值；根据所述分类损失值调整所述特征提取模型和所述图像分类模型中的参数，直至所述分类损失值收敛至预设的期望值，获得已训练的特征提取模型和图像分类模型。第三方面，本申请实施例还提供一种图像中目标物的分类装置，所述装置包括：特征提取单元，用于通过特征提取模型对待处理图像进行特征提取，得到所述待处理图像的特征图；区域确定单元，用于确定在所述待处理图像中预先标定的目标物包围框在所述特征图中对应的待分类区域；分类检测单元，用于通过图像分类模型确定所述待分类区域对应的目标物分类，并输出分类结果；所述特征提取模型和所述图像分类模型是基于训练图像进行训练得到的，所述训练图像包括样本目标物和样本目标物所处的背景环境，其中所述样本目标物被标注了样本目标物包围框和样本目标物分类标签。在一种可选的实施例中，所述目标物包围框为多边形框；所述区域确定单元，还用于：响应在所述待处理图像上连续选择目标物在设定方向上的边缘极值点的操作，根据所选择的边缘极值点的坐标确定所述目标物包围框在所述待处理图像中的位置坐标。在一种可选的实施例中，所述目标物包围框为方形框；所述区域确定单元，还用于：响应在所述待处理图像上的滑动操作，将滑动的起始点坐标和终止点坐标分别作为目标物包围框的对角线上的两个角点的坐标，确定所述目标物包围框在所述待处理图像中的位置坐标。第四方面，本申请实施例还提供一种模型训练装置，所述模型包括特征提取模型和图像分类模型；所述装置包括：数据获取单元，用于获取训练图像；所述训练图像包括样本目标物和样本目标物所处的背景环境，其中所述样本目标物被标注了样本目标物包围框和样本目标物分类标签；训练单元，用于将所述训练图像输入特征提取模型，得到所述训练图像的特征图；确定所述训练图像的样本目标物包围框在所述训练图像的特征图中对应的待分类区域；通过图像分类模型对所述训练图像的特征图中的待分类区域进行目标物分类预测，得到样本目标物的预测分类结果；根据所述样本目标物的预测分类结果和预先标注的样本目标物分类标签，确定分类损失值；根据所述分类损失值调整所述特征提取模型和所述图像分类模型中的参数，直至所述分类损失值收敛至预设的期望值，获得已训练的特征提取模型和图像分类模型。第五方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现第一方面的图像中目标物的分类方法。第六方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现第二方面的模型训练方法。第七方面，本申请实施例还提供一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器实现上述图像中目标物的分类方法。第八方面，本申请实施例还提供一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器实现上述模型训练方法。本申请实施例的图像中目标物的分类方法、模型训练方法和装置，通过特征提取模型提取待处理图像的特征图，确定在待处理图像中预先标定的目标物包围框在特征图中对应的待分类区域，通过图像分类模型确定待分类区域对应的目标物类别，并输出分类结果。其中，特征提取模型和图像分类模型是基于训练图像进行训练得到的，所述训练图像并不是从原始图像中分割出来的仅包含目标物的小区域图像，而是完整的原始图像，所述训练图像不仅包括样本目标物，还包括样本目标物所处的背景环境。使用包括背景环境的训练图像对特征提取模型和图像分类模型进行训练，可以充分利用训练图像中的背景信息，使训练得到的特征提取模型和图像分类模型可以准确区分目标物与背景，进而提高分类准确率。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例提供的一种图像中目标物的分类方法的流程示意图；图2为本申请实施例提供的一种图像中目标物的分类方法的示意图；图3为图1中步骤S102的流程示意图；图4为本申请实施例提供的一种在待处理图像中标定目标物包围框的示意图；图5为本申请实施例提供的一种模型训练本文档来自技高网...

【技术保护点】
1.一种图像中目标物的分类方法，其特征在于，所述方法包括：/n通过特征提取模型对待处理图像进行特征提取，得到所述待处理图像的特征图；/n确定在所述待处理图像中预先标定的目标物包围框在所述特征图中对应的待分类区域；/n通过图像分类模型确定所述待分类区域对应的目标物类别，并输出分类结果；所述特征提取模型和所述图像分类模型是基于训练图像进行训练得到的，所述训练图像包括样本目标物和样本目标物所处的背景环境，其中所述样本目标物被标注了样本目标物包围框和样本目标物分类标签。/n

【技术特征摘要】
1.一种图像中目标物的分类方法，其特征在于，所述方法包括：
通过特征提取模型对待处理图像进行特征提取，得到所述待处理图像的特征图；
确定在所述待处理图像中预先标定的目标物包围框在所述特征图中对应的待分类区域；
通过图像分类模型确定所述待分类区域对应的目标物类别，并输出分类结果；所述特征提取模型和所述图像分类模型是基于训练图像进行训练得到的，所述训练图像包括样本目标物和样本目标物所处的背景环境，其中所述样本目标物被标注了样本目标物包围框和样本目标物分类标签。


2.根据权利要求1所述的方法，其特征在于，所述确定在所述待处理图像中预先标定的目标物包围框在所述特征图中对应的待分类区域，包括：
确定预先标定的目标物包围框在所述待处理图像中的位置坐标；
根据所述目标物包围框在所述待处理图像中的位置坐标，在所述特征图中确定对应的待分类包围框；
将所述待分类包围框的内部区域作为所述待分类区域。


3.根据权利要求2所述的方法，其特征在于，所述目标物包围框为多边形框；所述确定预先标定的目标物包围框在所述待处理图像中的位置坐标，包括：
响应在所述待处理图像上连续选择目标物在设定方向上的边缘极值点的操作，根据所选择的边缘极值点的坐标确定所述目标物包围框在所述待处理图像中的位置坐标；或者，
响应在所述待处理图像上的滑动操作，将滑动的起始点坐标和终止点坐标分别作为目标物包围框的对角线上的两个角点的坐标，确定所述目标物包围框在所述待处理图像中的位置坐标。


4.根据权利要求2所述的方法，其特征在于，所述根据所述目标物包围框在所述待处理图像中的位置坐标，在所述特征图中确定对应的待分类包围框，包括：
根据所述特征图与所述待处理图像的尺寸比例和所述目标物包围框在所述待处理图像中的位置坐标，确定所述目标物包围框对应的待分类包围框在所述特征图中的位置坐标。


5.根据权利要求1所述的方法，其特征在于，所述特征提取模型和所述图像分类模型的训练过程包括：
将所述训练图像输入特征提取模型，得到所述训练图像的特征图；
确定所述训练图像的样本目标物包围框在所述训练图像的特征图中对应的待分类区域；
通过图像分类模型对所述训练图像的特征图中的待分类区域进行分类预测，得到样本目标物的预测分类结果；
根据所述样本目标物的预测分类结果和预先标注的样本目标物分类标签，确定分类损失值；
根据所述分类损失值调整所述特征提取模型和所述图像分类模型中的参数，直至所述分类损失值收敛至预设的期望值，获得已训练的特征提取模型和图像分类模型。


6.一种模型训练方法，其特征在于，所述模型包括特征提取模型和图像分类模型；所述方法包括：
获取训练图像；所述训练图像包括样本目标物和样本目标物所处的背景环境，其中所述样本目标物被标注了样本目标物包围框和样本目标物分类标签；
将所述训练图像输入特征提取模型，得到所述训练图像的特征图；
确定所述训练图像的样本目标物包围框在所述训练图像的...

【专利技术属性】
技术研发人员：闫桂霞，王瑞琛，王晓利，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44