一种视觉理解模型的建立方法和图像分割预测方法技术

本发明专利技术公开了一种视觉理解模型的建立方法和图像分割预测方法，属于视觉理解技术领域，建立方法包括：建立条件边缘损失函数；训练初始视觉理解模型过程通过条件边缘损失函数调整模型参数得到目标视觉理解模型。条件边缘损失函数通过采样各个锚点所对应的正样本与负样本，利用正样本产生锚点所对应的条件局部类中心，通过监督条件局部类中心特征使其含有丰富的本类判别性特征，通过提升锚点特征与其对应的条件局部类中心特征之间的相似性，通过基于类别的锚点到样本间相似性监督将锚点周围的局部类别特征信息编码到锚点特征中。本发明专利技术能够使处于类别边缘的像素在学习到精确的类别相关信息，提高视觉理解任务中对于边缘像素分类的准确度。素分类的准确度。素分类的准确度。

【技术实现步骤摘要】
一种视觉理解模型的建立方法和图像分割预测方法


[0001]本专利技术属于视觉理解
，更具体地，涉及一种视觉理解模型的建立方法和图像分割预测方法。

技术介绍

[0002]边缘像素，是指图像中位于两不同类别交界处周围区域的像素。对于语义分割、目标分割等视觉理解任务，当前主流方法较难预测正确边缘像素的类别，因此提升边缘像素预测精度的工作对于进一步提升视觉理解任务的表现具有重要意义，例如医学图像分割、自动驾驶等领域中需要对目标进行精细轮廓的预测。由于主流方法均使用堆叠卷积层、池化层等降低分辨率的结构以获得大尺度感受野，因此边缘像素中会含有较多周围其他类别像素的类别相关特征，导致较低的边缘像素分类正确率。另外，主流方法多使用的自注意力机制与多尺度特征融合等主流方法也进一步加剧了此种现象。为解决上述问题，先前的边缘像素精度提升工作主要依靠添加边缘分割的辅助任务，或对输入图像全图的像素间关系进行监督。但因这些方法缺乏对每个边缘像素的条件性优化，导致与任务优化目标产生冲突。
[0003]前者通过在视觉理解模型训练过程中添加辅助的边缘像素分割任务与目标视觉理解任务共同优化，将像素是否为边缘像素的信息编码进特征中。但该边缘分割任务只是简单将不同语义类别的边缘像素都划归为边缘类别，不同语义类别的物体内部像素都划归为非边缘类别。由于忽视属于不同语义类别的边缘像素和属于不同语义类别的内部像素内部不一致的语义类别，边缘分割任务损害了类间区分性。此外，属于同一类别的边缘像素与内部像素之间也被分别划分为边缘类别与非边缘类别，降低了同类像素间的一致性。
[0004]后者基于像素间关系，增强全图中所有同类别像素之间的相似性。但该方法忽略了训练过程中预测错误像素的特征对于视频理解模型来说，含有噪声与错误的类别相关信息。全图像素间关系的监督会导致预测错误像素的噪声与错误信息会不可避免的在整张输入图像的所有像素间进行传递，视频理解模型也因此受到误导。
[0005]总体而言，上述用于提升边缘像素预测准确度的方法具有缺乏依据每个边缘像素情况而优化的能力，即缺乏条件性优化，造成各种计算机视觉理解任务中边缘像素预测准确度较低。

技术实现思路

[0006]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种视觉理解模型的建立方法和图像分割预测方法，其目的在于通过设计条件边缘损失函数，通过在执行视觉理解任务的模型训练过程中加入条件边缘损失函数，可以在视觉理解任务的模型训练过程中，使得其捕获更准确且易于分类的边缘像素类别相关特征，由此解决现有的边缘像素预测准确度提升工作因缺乏条件性优化，导致视觉理解任务中边缘像素预测准确度低的技术问题。
[0007]为实现上述目的，按照本专利技术的一个方面，提供了一种视觉理解模型的建立方法，
包括：
[0008]S1：建立条件边缘损失函数；
[0009]S2：利用标准数据集训练初始视觉理解模型，训练过程通过所述条件边缘损失函数调整模型参数，得到目标视觉理解模型；所述标准数据集中每个标准数据包括：输入图及其对应的真值标签；
[0010]所述条件边缘损失函数包括：
[0011]基于正确率的条件采样模块，用于根据所述输入图的特征图中预设区域内每个锚点确定出对应的多个候选样本，并从中确定出正样本集合和负样本集合；所述锚点的真值标签、候选样本的真值标签、候选样本的分割预测一致；
[0012]条件局部类中心生成模块，以所述每个锚点对应的正样本集中的样本作为其输入，用于生成每个锚点的条件局部类中心特征，用以表征每个锚点的周围局部信息与类别相关信息；
[0013]条件局部类中心分类损失结构，用于增强所述正样本集中每个锚点对应的条件局部类中心特征中局部信息与其真值类别的类别相关信息；
[0014]锚点
‑
条件局部类中心相似性损失结构，用于增强每个锚点与其对应的条件局部类中心之间的特征相似性；
[0015]锚点
‑
样本相似性损失结构，用于将每个锚点与其对应的正样本和负样本之间的细粒度类别关系信息编码到锚点特征中；
[0016]所述条件边缘损失函数的最终输出损失为条件局部类中心分类损失结构、锚点
‑
条件局部类中心相似性损失结构以及锚点
‑
样本相似性损失结构三者输出损失之和。
[0017]在其中一个实施例中，所述基于正确率的条件采样模块包括：
[0018]局部邻居采样单元，用于针对每个锚点，其选取的候选样本处于锚点为中心的窗口内；
[0019]正确分类采样单元，用于针对每个锚点，其选取的候选样本能够被当前训练中的视觉理解模型分类正确；
[0020]同类别正样本采样单元，用于从每个锚点对应的所述候选样本中选取的正样本满足：与其所对应锚点的真值标签类别相同，以构成所述正样本集；
[0021]非同类别负样本采样单元，用于从每个锚点对应的所述候选样本中选取的负样本满足：与其所对应锚点的真值标签类别不相同，以构成所述负样本集。
[0022]在其中一个实施例中，所述条件局部类中心生成模块，用于以锚点的对应的正样本集合为输入，进行特征逐通道的平均操作，输出平均后的特征作为锚点对应的条件局部类中心特征。
[0023]在其中一个实施例中，所述条件局部类中心分类损失结构包括：
[0024]参数共享的模型分割头，用于获取所述条件局部类中心的分割预测，分割头与参数与语义分割网络模型中的分割头在结构上保持一致，根据所述条件局部类中心特征预测其所属的类别；
[0025]条件局部类中心预测的交叉熵损失结构，用于监督由条件局部类中心经由参数共享的分割头产生的预测仍为条件局部类中心所对应的锚点的真值类别，使其含有丰富的锚点真值类别的类别相关特征。
[0026]在其中一个实施例中，所述锚点
‑
条件局部类中心相似性损失结构包括：
[0027]特征均方差损失结构，用于约束锚点特征向其所对应的条件局部类中心特征靠近，提升二者间在特征空间中的相似性，从而向锚点特征中编码进更丰富的类别相关信息，且利用条件局部类中心特征中的丰富局部上下文信息降低均方差损失优化难度；
[0028]梯度切断操作单元，用于达成在视觉理解模型训练过程中保持锚点特征向条件局部类中心特征靠近的趋势，且阻止产生的条件局部类中心因特征均方差损失结构的约束而发生改变靠近锚点特征的趋势。
[0029]在其中一个实施例中，所述锚点
‑
样本相似性损失结构包括：
[0030]锚点
‑
样本相似性计算结构，用于计算锚点特征与样本特征的余弦相似性，表征锚点与样本在特征空间的相似程度；
[0031]相似性真值生成单元，用于产生相似性均方差损失结构中的真值标签，所述真值标签依据锚点与样本是否具有相同的真值类别标签产生；
[0032]相似性均方差损失结构，用于增加锚点与正样本在特征空间中的一致性，降低锚点与负样本在特征空间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视觉理解模型的建立方法，其特征在于，包括：S1：建立条件边缘损失函数；所述条件边缘损失函数包括：基于正确率的条件采样模块、条件局部类中心生成模块、条件局部类中心分类损失结构、锚点
‑
条件局部类中心相似性损失结构和锚点
‑
样本相似性损失结构；S2：利用标准数据集训练初始视觉理解模型，训练过程通过所述条件边缘损失函数调整模型参数，得到目标视觉理解模型；所述标准数据集中每个标准数据包括：输入图及其对应的真值标签；其中，所述基于正确率的条件采样模块，用于根据所述输入图的特征图中预设区域内每个锚点确定出对应的多个候选样本，并从中确定出正样本集合和负样本集合；所述锚点的真值标签、候选样本的真值标签、候选样本的分割预测一致；所述条件局部类中心生成模块，以所述每个锚点对应的正样本集中的样本作为其输入，用于生成每个锚点的条件局部类中心特征，用以表征每个锚点的周围局部信息与类别相关信息；所述条件局部类中心分类损失结构，用于增强所述正样本集中每个锚点对应的条件局部类中心特征中局部信息与其真值类别的类别相关信息；所述锚点
‑
条件局部类中心相似性损失结构，用于增强每个锚点与其对应的条件局部类中心之间的特征相似性；所述锚点
‑
样本相似性损失结构，用于将每个锚点与其对应的正样本和负样本之间的细粒度类别关系信息编码到锚点特征中；所述条件边缘损失函数的最终输出损失为条件局部类中心分类损失结构、锚点
‑
条件局部类中心相似性损失结构以及锚点
‑
样本相似性损失结构三者输出损失之和。2.如权利要求1所述的视觉理解模型的建立方法，其特征在于，所述基于正确率的条件采样模块包括：局部邻居采样单元，用于针对每个锚点，其选取的候选样本处于锚点为中心的窗口内；正确分类采样单元，用于针对每个锚点，其选取的候选样本能够被当前训练中的视觉理解模型分类正确；同类别正样本采样单元，用于从每个锚点对应的所述候选样本中选取的正样本满足：与其所对应锚点的真值标签类别相同，以构成所述正样本集；非同类别负样本采样单元，用于从每个锚点对应的所述候选样本中选取的负样本满足：与其所对应锚点的真值标签类别不相同，以构成所述负样本集。3.如权利要求2所述的视觉理解模型的建立方法，其特征在于，所述条件局部类中心生成模块，用于以锚点的对应的正样本集合为输入，进行特征逐通道的平均操作，输出平均后的特征作为锚点对应的条件局部类中心特...

【专利技术属性】
技术研发人员：高常鑫，吴东岳，桑农，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：