一种基于零样本学习的多类别零标签图像语义分割方法技术

本发明专利技术涉及图像处理技术领域，具体涉及一种基于零样本学习的多类别零标签图像语义分割方法，S1对采集的多个图像样本进行预处理，消除未见过类别图像样本的干扰特征，得到像素级特征图；S2获取可见类别图像样本的文本信息，提取所述文本信息的语义特征；S3将所述像素级特征图和所述语义特征训练嵌入隐空间，并设置约束和损失函数对所述隐空间进行训练学习；S4对所述未见过类别图像样本进行S1、S2和S3步骤操作，并对图像样本进行逐像素的语义分类，完成零标签语义分割，该方法与传统的零标签语义分割模型相比，避免了模型坍塌的缺点，提高了训练效率的同时，有效降低了训练的成本，且减轻了零样本学习类别偏移问题。且减轻了零样本学习类别偏移问题。且减轻了零样本学习类别偏移问题。

【技术实现步骤摘要】
一种基于零样本学习的多类别零标签图像语义分割方法


[0001]本专利技术涉及图像处理
，尤其涉及一种基于零样本学习的多类别零标签图像语义分割方法。

技术介绍

[0002]在大数据与人工智能飞速发展的时代，数字图像作为人类重要的信息与知识的载体之一，在日常的工作和生活中时时刻刻发挥着巨大的作用，数字图像处理从诞生到现在经过不断进步改善已成为一门重要学科，在整个数字图像处理体系架构中，图像分类和图像分割是两大图像处理中基础性的重要任务。
[0003]虽然传统的有监督深度学习方法在许多视觉识别任务中取得了革命性的成功，然而，现有的监督学习方法仍然需要大量标记数据，在许多情况下，海量数据的标注必然会耗费大量的人力和物力，对每种数据对象都进行标注不太现实，同时在这类问题下，必然也会出现标记的样本不足涵盖目标类的场景，传统的分类模型在面对新出现的类别将无法工作。
[0004]零样本学习的出现为打破这些问题提供了突破口，在辅助语义信息的帮助下，模型在没有样本的情况下仍然可以在一定程度上对该类别的样本进行识别与分割，但现有零样本学习识别与本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于零样本学习的多类别零标签图像语义分割方法，其特征在于，包括以下步骤：S1对采集的多个图像样本进行预处理，消除未见过类别图像样本的干扰特征，得到像素级特征图；S2获取可见类别图像样本的文本信息，提取所述文本信息的语义特征；S3将所述像素级特征图和所述语义特征训练嵌入隐空间，并设置约束和损失函数对所述隐空间进行训练学习；S4对所述未见过类别图像样本进行S1、S2和S3步骤操作，并对图像样本进行逐像素的语义分类，完成零标签语义分割。2.如权利要求1所述的一种基于零样本学习的多类别零标签图像语义分割方法，其特征在于，所述S1对采集的多个图像样本进行预处理，消除未见过类别图像样本的干扰特征，得到像素级特征图的具体方式：S11对采集的多个图像样本进行分类进行预处理，消除未见过类别图像样本的干扰特征，保留可见类别图像样本；S12增强所述可见类别图像样本，并对增强后的所述可见类别图像样本进行逐像素的特征提取，得到所述像素级特征图。3.如权利要求2所述的一种基于零样本学习的多类别零标签图像语义分割方法，其特征在于，所述可见类别图像样本通过使用DeepLab特征提取的Backbone来获得对应像素的特征图。4.如权利要求1所述的一种基于零样本学习的多类别零标签图像语义分割方法，其特征在于，所述S2获取可见类别图像样本的文本信息，提取所述文本信息的语义特征的具体方式：S21对所述可见类别图像样本的自然语言进行过滤、分词和预处理，去除干扰信息和文本噪声，得到文本信息；S22对所述文本信息进行特征提取，得到初步特征；S23将多个所述初步特征进行特征融合，得到所述语义特征。5.如权利要求4所述的一种基于零样本学习的多类...

【专利技术属性】
技术研发人员：饶云波，杨自强，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：