目标定位模型训练方法、目标定位方法及装置制造方法及图纸

本发明专利技术提供了一种目标定位模型训练方法、目标定位方法及装置，可以应用于人工智能技术领域。该目标定位模型训练方法包括：获取样本数据集；将每个图像样本输入初始模型的像素特征提取层，输出图像数据中每一个像素点的像素特征；将第一特征数据和第二特征数据输入初始模型的激活图生成层，输出前景激活图和背景激活图；将第三特征数据和第四特征数据分别输入初始模型的感知特征提取层，输出前景感知特征和背景感知特征；将第五特征数据和第六特征数据分别输入初始模型的分类层，输出分类结果；以及根据分类结果和图像类别标签调整初始模型的模型参数，得到训练完成的目标定位模型。得到训练完成的目标定位模型。得到训练完成的目标定位模型。

【技术实现步骤摘要】
目标定位模型训练方法、目标定位方法及装置


[0001]本专利技术涉及人工智能
，具体地涉及一种目标定位模型训练方法、目标定位方法、装置、设备、介质。

技术介绍

[0002]传统的目标定位方法通常基于全监督学习，该类方法利用人工标注的边界框训练模型从而进行目标定位。但是，这样的标注数据价格昂贵且需要耗费大量的时间，限制了目标定位的实用性。
[0003]随着人工智能技术的发展，弱监督学习算法逐渐受到关注，但是，专利技术人在实施本专利技术的过程中发现：现有的弱监督学习算法应用于目标定位时，存在定位不完整的问题。

技术实现思路

[0004]鉴于上述问题，本专利技术提供了一种目标定位模型训练方法、目标定位方法、装置、设备、介质。
[0005]根据本专利技术的一个方面，提供了一种目标定位模型训练方法，包括：获取样本数据集，其中，样本数据集中包括多个图像样本，每个图像样本包括图像数据，图像样本具有图像类别标签；将每个图像样本输入初始模型的像素特征提取层，输出图像数据中每一个像素点的像素特征；将第一特征数据和第二特征数据输入初始模型的激活图生成层，输出前景激活图和背景激活图，其中，第一特征数据包括像素特征和预设前景原型数据，第二特征数据包括像素特征和预设背景原型数据；前景激活图中包括第一相似度，第一相似度表征每一个像素点的像素特征与预设前景原型数据之间的相似度，背景激活图中包括第二相似度，第二相似度表征每一个像素点的像素特征与预设背景原型数据之间的相似度；将第三特征数据和第四特征数据分别输入初始模型的感知特征提取层，输出前景感知特征和背景感知特征，其中，第三特征数据包括像素特征和前景激活图，第四特征数据包括像素特征和背景激活图；将第五特征数据和第六特征数据分别输入初始模型的分类层，输出分类结果，其中，第五特征数据包括前景感知特征和预设类别原型数据，第六特征数据包括背景感知特征和预设类别原型数据，预设类别原型数据表征目标对象部分区域的类别；以及根据分类结果和图像类别标签调整初始模型的模型参数，得到训练完成的目标定位模型。
[0006]根据本专利技术的实施例，将像素特征输入初始模型的激活图生成层，输出前景激活图和背景激活图，包括：将像素特征输入初始模型的激活图生成层，输出初始前景激活图和初始背景激活图；
将初始前景激活图和初始背景激活图进行拼接，得到初始激活矩阵；利用最优传输算法，计算像素特征的语义损耗矩阵，其中，语义损耗矩阵表征像素特征在前景和背景中的最优分配结果；根据语义损耗矩阵和初始激活矩阵调整初始模型的激活图生成层的模型参数，以便于输出优化后的前景激活图和背景激活图。
[0007]根据本专利技术的实施例，初始模型的分类层包括类别特征提取层和类别匹配层，其中，将第五特征数据和第六特征数据分别输入初始模型的分类层，输出分类结果，包括：将第五特征数据和第六特征数据分别输入类别特征提取层，输出前景类别特征和背景类别特征；将前景类别特征和前景感知特征，输入类别匹配层，输出前景分类结果；将背景类别特征和背景感知特征，输入类别匹配层，输出背景分类结果。
[0008]根据本专利技术的实施例，根据分类结果和图像类别标签调整初始模型的模型参数，得到训练完成的目标定位模型，包括：根据前景分类结果参数和背景分类结果参数，构建分类损失函数；根据语义损耗矩阵参数和激活矩阵参数，构建激活损失函数；根据分类损失函数和激活损失函数，构建模型损失函数；利用模型损失函数，根据分类结果和图像类别标签调整初始模型的模型参数，得到训练完成的目标定位模型。
[0009]本专利技术的另一个方面提供了一种目标定位方法，包括：将待测图像输入目标定位模型的像素特征提取层，输出待测图像中每一个像素点的待测像素特征，其中，目标定位模型是本专利技术的训练方法得到的；将待测像素特征和预设前景原型数据输入目标定位模型的激活图生成层，输出前景激活图，其中，前景激活图中包括第三相似度，第三相似度表征待测像素特征与预设前景原型数据之间的相似度；根据前景激活图中的第三相似度，确定目标定位区域；将待测像素特征和前景激活图输入目标定位模型的感知特征提取层，输出前景感知特征；将前景感知特征和预设类别原型数据输入分类层，输出待测图像的分类结果，其中，预设类别原型数据表征目标对象的部分区域的类别。
[0010]根据本专利技术的实施例，根据前景激活图中的第三相似度，确定目标定位区域，包括：根据前景激活图，从待测图像中提取多个目标像素点，其中，目标像素点表征前景激活图中目标相似度对应的像素点，目标相似度表征第三相似度中大于预设阈值的相似度；将覆盖多个目标像素点的邻接图形区域，确定为目标定位区域。
[0011]本专利技术的另一个方面提供了一种目标定位模型训练装置，包括：获取模块、第一提取模块、第一生成模块、第二提取模块、第一分类模块和训练模块。其中，获取模块，用于获取样本数据集，其中，样本数据集中包括多个图像样本，每个图像样本包括图像数据，图像样本具有图像类别标签。第一提取模块，用于将每个图像样本输入初始模型的像素特征提
取层，输出图像数据中每一个像素点的像素特征。第一生成模块，用于将第一特征数据和第二特征数据输入初始模型的激活图生成层，输出前景激活图和背景激活图，其中，第一特征数据包括像素特征和预设前景原型数据，第二特征数据包括像素特征和预设背景原型数据；前景激活图中包括第一相似度，第一相似度表征每一个像素点的像素特征与预设前景原型数据之间的相似度，背景激活图中包括第二相似度，第二相似度表征每一个像素点的像素特征与预设背景原型数据之间的相似度。第二提取模块，用于将第三特征数据和第四特征数据分别输入初始模型的感知特征提取层，输出前景感知特征和背景感知特征，其中，第三特征数据包括像素特征和前景激活图，第四特征数据包括像素特征和背景激活图。第一分类模块，用于将第五特征数据和第六特征数据分别输入初始模型的分类层，输出分类结果，其中，第五特征数据包括前景感知特征和预设类别原型数据，第六特征数据包括背景感知特征和预设类别原型数据，预设类别原型数据表征目标对象部分区域的类别。训练模块，用于根据分类结果和图像类别标签调整初始模型的模型参数，得到训练完成的目标定位模型。
[0012]根据本专利技术的实施例，第一生成模块包括第一生成单元、拼接单元、第一计算单元、第一调整单元。其中，第一生成单元，用于将像素特征输入初始模型的激活图生成层，输出初始前景激活图和初始背景激活图。拼接单元，用于将初始前景激活图和初始背景激活图进行拼接，得到初始激活矩阵。第一计算单元，利用最优传输算法，计算像素特征的语义损耗矩阵，其中，语义损耗矩阵表征像素特征在前景和背景中的最优分配结果。第一调整单元，用于根据语义损耗矩阵和初始激活矩阵调整初始模型的激活图生成层的模型参数，以便于输出优化后的前景激活图和背景激活图。
[0013]根据本专利技术的实施例，第一分类模块包括第一提取单元、第一分类单元和第二分类单元。其中，第一提取单元，用于将第五特征数据和第六特征数据分别输入类别特征提取层，输出前景类别特征和背景类别特征。第一分类单元，用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标定位模型训练方法，包括：获取样本数据集，其中，所述样本数据集中包括多个图像样本，每个所述图像样本包括图像数据，所述图像样本具有图像类别标签；将每个所述图像样本输入初始模型的像素特征提取层，输出所述图像数据中每一个像素点的像素特征；将第一特征数据和第二特征数据输入所述初始模型的激活图生成层，输出前景激活图和背景激活图，其中，所述第一特征数据包括所述像素特征和预设前景原型数据，所述第二特征数据包括所述像素特征和预设背景原型数据；所述前景激活图中包括第一相似度，所述第一相似度表征所述每一个像素点的像素特征与预设前景原型数据之间的相似度，所述背景激活图中包括第二相似度，所述第二相似度表征所述每一个像素点的像素特征与预设背景原型数据之间的相似度；将第三特征数据和第四特征数据分别输入所述初始模型的感知特征提取层，输出前景感知特征和背景感知特征，其中，所述第三特征数据包括所述像素特征和所述前景激活图，所述第四特征数据包括所述像素特征和所述背景激活图；将第五特征数据和第六特征数据分别输入所述初始模型的分类层，输出分类结果，其中，所述第五特征数据包括所述前景感知特征和预设类别原型数据，所述第六特征数据包括所述背景感知特征和预设类别原型数据，所述预设类别原型数据表征目标对象部分区域的类别；以及根据所述分类结果和所述图像类别标签调整所述初始模型的模型参数，得到训练完成的目标定位模型。2.根据权利要求1所述的方法，其中，所述将所述像素特征输入所述初始模型的激活图生成层，输出前景激活图和背景激活图，包括：将所述像素特征输入所述初始模型的激活图生成层，输出初始前景激活图和初始背景激活图；将所述初始前景激活图和初始背景激活图进行拼接，得到初始激活矩阵；利用最优传输算法，计算所述像素特征的语义损耗矩阵，其中，所述语义损耗矩阵表征所述像素特征在前景和背景中的最优分配结果；根据所述语义损耗矩阵和所述初始激活矩阵调整所述初始模型的激活图生成层的模型参数，以便于输出优化后的所述前景激活图和所述背景激活图。3.根据权利要求2所述的方法，所述初始模型的分类层包括类别特征提取层和类别匹配层，其中，所述将第五特征数据和第六特征数据分别输入所述初始模型的分类层，输出分类结果，包括：将所述第五特征数据和所述第六特征数据分别输入所述类别特征提取层，输出前景类别特征和背景类别特征；将所述前景类别特征和所述前景感知特征，输入所述类别匹配层，输出前景分类结果；将所述背景类别特征和所述背景感知特征，输入所述类别匹配层，输出背景分类结果。4.根据权利要求3所述的方法，其中，所述根据所述分类结果和所述图像类别标签调整所述初始模型的模型参数，得到训练完成的目标定位模型，包括：根据前景分类结果参数和背景分类结果参数，构建分类损失函数；
根据语义损耗矩阵参数和激活矩阵参数，构建激活损失函数；根据所述分类损失函数和所述激活损失函数，构建模型损失函数；利用所述模型损失函数，根据所述分类结果和所述图像类别标签调整所述初始模型的模型参数，得到训练完成的目标定位模型。5.一种目标定位方法，包括：将待测图像输入目标定位模型的像素特征提取层，输出所述待测图像中每一个像素点的待测像素特征，其中，所述目标定位模型是采用权利要求1~4任一项所述训练方法得到的；将所述待测像素特征和预设前景原型数据输入所述目标定位模型的激活图生成层，输出前景激活图，其中，所述前景激活图中包括第三相似度，所述第三相似度表征所述待测像素特征与预设前景原型数据之间的相似度；根据所述前景激活图中的所述第三相似度，确定...

【专利技术属性】
技术研发人员：张天柱，张哲，张勇东，孟梦，吴枫，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：