基于像素特征学习的无监督图像分割方法、装置及设备制造方法及图纸

本发明专利技术公开了基于像素特征学习的无监督图像分割方法、装置及设备，其中，所述方法包括：获取预处理后的待分割图像，作为第一图像；提取所述第一图像中的超像素，得到所述第一图像的超像素集合；根据所述超像素集合，得到第一损失函数；预测所述第一图像的离散表示，最大化所述第一图像与所述离散表示之间的互信息，得到第二损失函数；根据所述第一损失函数和第二损失函数对所述第一图像进行分割，得到分割结果。通过上述方式，本发明专利技术可以有效发现图像中的潜在对象类别，输出的分割块能够精准匹配对象轮廓，同时能够完整地覆盖对象区域，进而大幅度降低下游高级视觉算法的训练难度和计算复杂性。和计算复杂性。和计算复杂性。

【技术实现步骤摘要】
基于像素特征学习的无监督图像分割方法、装置及设备


[0001]本专利技术涉及图像分割
，具体涉及基于像素特征学习的无监督图像分割方法、装置及设备。

技术介绍

[0002]现阶段的基于像素特征学习的无监督图像分割方法通常是根据传统手工特征或简单无监督方式学习特征进行图像分割，难以根据图像的内容进行自适应的分割，其分割结果难以兼顾对象边界匹配程度和对象区域覆盖程度，划分出的分割块常常出现边界扭曲、分割不足和分割过度等问题，导致这些生成的分割块与下游高级视觉任务的适配性较差。

技术实现思路

[0003]为解决上述问题，提出了本专利技术实施例的基于像素特征学习的无监督图像分割方法、装置及设备。
[0004]根据本专利技术实施例的一个方面，提供了基于像素特征学习的无监督图像分割方法，包括：获取预处理后的待分割图像，作为第一图像；提取所述第一图像中的超像素，得到所述第一图像的超像素集合；根据所述超像素集合，得到第一损失函数，所述第一损失函数表示基于结构一致性约束的损失；预测所述第一图像的离散表示，最大化所述第一图像与所述离散表示之间的互信息，得到第二损失函数，所述第二损失函数表示基于语义相似性约束的损失；根据所述第一损失函数和第二损失函数对所述第一图像进行分割，得到分割结果。
[0005]可选的，获取预处理后的待分割图像，作为第一图像，包括：获取所述待分割图像；将所述待分割图像的像素强度取值范围进行归一化处理，得到所述第一图像。
[0006]可选的，根据所述超像素集合，得到第一损失函数，包括：将所述超像素集合中的超像素根据邻接关系组织成图结构，得到所述第一损失函数的第一项；将所述超像素集合中的每个超像素中的所有像素共享相同的聚类标签信息，得到所述第一损失函数的第二项；将所述第一损失函数的第一项与所述第一损失函数的第二项进行综合处理，得到所述第一损失函数。
[0007]可选的，将所述超像素集合中的超像素根据邻接关系组织成图结构，得到所述第一损失函数的第一项，包括：
提取所述第一图像的特征图；根据所述超像素集合，在所述第一图像的特征图上获取所述超像素集合中每个超像素的特征；根据所述每个超像素特征，得到所述超像素集合中的相邻超像素之间的特征距离；将所述超像素集合中的超像素根据邻接关系组织成图结构，其中，所述图结构上的每个节点表示所述每个超像素，边表示所述相邻超像素之间的特征距离；扩大所述相邻超像素之间对应的特征距离，得到所述第一损失函数的第一项。
[0008]可选的，预测所述第一图像的离散表示，最大化所述第一图像与所述离散表示之间的互信息，得到第二损失函数，包括：获取所述第一图像的离散表示；最大化所述第一图像与所述离散表示之间的互信息，得到所述第二损失函数。
[0009]可选的，根据所述第一损失函数和第二损失函数对所述第一图像进行分割，得到分割结果，包括：根据所述第一损失函数和第二损失函数更新分割模型，当更新分割模型达到预设停止条件时，对所述超像素集合进行两次平滑，得到分割结果。
[0010]可选的，对所述超像素集合进行两次平滑，得到分割结果，包括：对所述超像素集合进行第一次平滑，若所述超像素集合中存在两个相邻超像素的特征距离小于预设阈值，则将该所述两个相邻超像素合并为一个超像素，得到第一次平滑结果；对所述第一次平滑结果进行第二次平滑，结合所述第一图像的像素预测结果，若所述第一次平滑结果中的超像素存在被特定类别支配，则将该所述超像素内的所有像素分配为特定类别，若所述第一次平滑结果中的超像素不存在被特定类别支配，则将该所述超像素内的所有像素分配为新的类别，得到分割结果。
[0011]根据本专利技术实施例的另一方面，提供了基于像素特征学习的无监督图像分割装置，所述装置包括：获取模块，用于获取预处理后的待分割图像，作为第一图像；处理模块，用于提取所述第一图像中的超像素，得到所述第一图像的超像素集合；根据所述超像素集合，得到第一损失函数，所述第一损失函数表示基于结构一致性约束的损失；预测所述第一图像的离散表示，最大化所述第一图像与所述离散表示之间的互信息，得到第二损失函数，所述第二损失函数表示基于语义相似性约束的损失；输出模块，用于根据所述第一损失函数和第二损失函数对所述第一图像进行分割，得到分割结果。
[0012]根据本专利技术实施例的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述基于像素特征学习的无监督图像分割方法对应的操作。
[0013]根据本专利技术实施例的再一方面，提供了一种计算机存储介质，所述存储介质中存
储有至少一可执行指令，所述可执行指令使处理器执行如上述基于像素特征学习的无监督图像分割方法对应的操作。
[0014]根据本专利技术上述实施例提供的方案，通过获取预处理后的待分割图像，作为第一图像；提取所述第一图像中的超像素，得到所述第一图像的超像素集合；根据所述超像素集合，得到第一损失函数，所述第一损失函数表示基于结构一致性约束的损失；预测所述第一图像的离散表示，最大化所述第一图像与所述离散表示之间的互信息，得到第二损失函数，所述第二损失函数表示基于语义相似性约束的损失；根据所述第一损失函数和第二损失函数对所述第一图像进行分割，得到分割结果。输出的分割块具有较高的对象区域覆盖度和对象边界匹配度，从而提高了对象候选区域以及对象线索的生成质量，即以较少的分割块高质量召回绝大多数对象区域，以降低下游高级视觉算法的训练难度和计算复杂性。
[0015]上述说明仅是本专利技术实施例技术方案的概述，为了能够更清楚了解本专利技术实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术实施例的具体实施方式。
附图说明
[0016]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术实施例的限制。而且在整个附图中，用相同的参考符号是指相同的部件。在附图中：图1示出了本专利技术实施例提供的基于像素特征学习的无监督图像分割方法流程图；图2示出了本专利技术实施例提供的一种具体的基于像素特征学习的基于像素特征学习的无监督图像分割模型结构示意图；图3示出了本专利技术实施例提供的一种具体的实现基于像素特征学习的无监督图像分割的处理流程图；图4示出了本专利技术实施例提供的基于像素特征学习的无监督图像分割装置的结构示意图；图5示出了本专利技术实施例提供的计算设备的结构示意图。
具体实施方式
[0017]下面将参照附图更详细地描述本专利技术的示例性实施例。虽然附图中显示了本专利技术的示例性实施例，然而应当理解，可以以各种形式实现本专利技术而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本专利技术，并且能够将本专利技术的范围完整的传达给本领域的技术人员。...

【技术保护点】

【技术特征摘要】
1.基于像素特征学习的无监督图像分割方法，其特征在于，所述方法包括：获取预处理后的待分割图像，作为第一图像；提取所述第一图像中的超像素，得到所述第一图像的超像素集合；根据所述超像素集合，得到第一损失函数，所述第一损失函数表示基于结构一致性约束的损失；预测所述第一图像的离散表示，最大化所述第一图像与所述离散表示之间的互信息，得到第二损失函数，所述第二损失函数表示基于语义相似性约束的损失；根据所述第一损失函数和第二损失函数对所述第一图像进行分割，得到分割结果。2.根据权利要求1所述的基于像素特征学习的无监督图像分割方法，其特征在于，获取预处理后的待分割图像，作为第一图像，包括：获取所述待分割图像；将所述待分割图像的像素强度取值范围进行归一化处理，得到所述第一图像。3.根据权利要求1所述的基于像素特征学习的无监督图像分割方法，其特征在于，根据所述超像素集合，得到第一损失函数，包括：将所述超像素集合中的超像素根据邻接关系组织成图结构，得到所述第一损失函数的第一项；将所述超像素集合中的每个超像素中的所有像素共享相同的聚类标签信息，得到所述第一损失函数的第二项；将所述第一损失函数的第一项与所述第一损失函数的第二项进行综合处理，得到所述第一损失函数。4.根据权利要求3所述的基于像素特征学习的无监督图像分割方法，其特征在于，将所述超像素集合中的超像素根据邻接关系组织成图结构，得到所述第一损失函数的第一项，包括：提取所述第一图像的特征图；根据所述超像素集合，在所述第一图像的特征图上获取所述超像素集合中每个超像素的特征；根据所述每个超像素特征，得到所述超像素集合中的相邻超像素之间的特征距离；将所述超像素集合中的超像素根据邻接关系组织成图结构，其中，所述图结构上的每个节点表示所述每个超像素，边表示所述相邻超像素之间的特征距离；扩大所述相邻超像素之间对应的特征距离，得到所述第一损失函数的第一项。5.根据权利要求1所述的基于像素特征学习的无监督图像分割方法，其特征在于，预测所述第一图像的离散表示，最大化所述第一图像与所述离散表示之间的互信息，得到第二损失函数，包括：获取所述第一图像的离散表示；最大化所述第一图像与所述离散表示之间的互信息，得到所述第二损失...

【专利技术属性】
技术研发人员：王博，原春锋，王士昂，胡卫明，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：