可供性检测方法及相关装置制造方法及图纸

本申请提供的可供性检测方法及相关装置，应用于图像分割领域。其中，可供性检测设备获取携带有待识别图像从浅层到深层的特征信息的多组特征图；然后，利用其中携带有深层的特征信息的目标特征图确定多组特征图各自的权重，并根据多组特征图各自的权重将多组特征图与参考特征图融合成增强特征图；最后，将增强特征图进行解码，获得待识别图像的可供性检测结果。由于深层的特征信息具有更为丰富的语义信息，适合对其进行全局语义的编码，因此，通过携带有深层的特征信息的目标特征图所确定出的权重，能够对有利于进行图像分割的信息进行增强，并抑制与图像分割无关的信息，从达到提升了对待识别图像的分割效果的目的。升了对待识别图像的分割效果的目的。升了对待识别图像的分割效果的目的。

【技术实现步骤摘要】
可供性检测方法及相关装置


[0001]本申请涉及图像分割领域，具体而言，涉及一种可供性检测方法及相关装置。

技术介绍

[0002]可供性体现的是目标物体在环境中展现的功能可能性，具体表现为不仅需要从待识别图像中识别出目标物体，还需要确定出目标物体每个部分的功能；因此，可供性检测需要对目标物体的不同功能区域做像素级别分割识别。
[0003]相关技术中，采用将待识别图像的高分辨率特征图下采样至低分辨率，再从低分辨率特征图恢复至高分辨率的专利技术构思；然后，该构思是以一种串联方式连接不同分辨率的特征，会导致深层的特征图的分辨率较小，从而容易丢失精细结构的信息和小物体的信息。
[0004]因此，其他相关技术中，提出了将待识别图像浅层的高分辨率特征图像与深层的低分辨率特征图相互融合后，再基于融合后的特征图进行图像分割。研究发现，该方式未对可供性检测的无关信息进行区分，导致有时对待识别图像的识别结果不够理想。

技术实现思路

[0005]为了克服现有技术中的至少一个不足，本申提供一种可供性检测方法，用于在对图像进行可供性检测时，能够取的更好的可供性检测结果，包括：
[0006]第一方面，本申请实施例提供一种可供性检测方法，应用于可供性检测设备，所述可供性检测设备配置有预先训练的可供性检测模型，所述可供性检测模型包括多条特征提取分支以及语义编码层，所述方法包括：
[0007]通过所述多条特征提取分支获得待识别图像的多组特征图，其中，所述多组特征图携带有所述待识别图像从浅层到深层的特征信息；
[0008]将所述多组特征图中的深层特征图输入到所述语义编码层，获得所述多组特征图各自的权重；
[0009]根据所述多组特征图各自的权重，将所述多组特征图与所述待识别图像的参考特征图融合成增强特征图；其中，所述参考特征图携带有所述待识别图像的空间结构信息；
[0010]将所述增强特征图进行解码，获得所述待识别图像的可供性检测结果。
[0011]第二方面，本申请实施例提供一种可供性检测装置，应用于可供性检测设备，所述可供性检测设备配置有预先训练的可供性检测模型，所述可供性检测模型包括多条特征提取分支以及语义编码层，所述可供性检测装置包括：
[0012]图像编码模块，用于通过所述多条特征提取分支获得待识别图像的多组特征图，其中，所述多组特征图携带有所述待识别图像从浅层到深层的特征信息；
[0013]所述图像编码模块，还用于将所述多组特征图中的深层特征图输入到所述语义编码层，获得所述多组特征图各自的权重；
[0014]所述图像解码模块，用于根据所述多组特征图各自的权重，将所述多组特征图与
所述待识别图像的参考特征图融合成增强特征图；其中，所述参考特征图携带有所述待识别图像的空间结构信息；
[0015]所述图像解码模块，还用于将所述增强特征图进行解码，获得所述待识别图像的可供性检测结果。
[0016]第三方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现所述的可供性检测方法。
[0017]第四方面，本申请实施例提供一种可供性检测设备，所述可供性检测设备包括处理器以及存储器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，实现所述的可供性检测方法。
[0018]相对于现有技术而言，本申请具有以下有益效果：
[0019]本实施例提供的可供性检测方法及相关装置中，该可供性检测设备获取携带有待识别图像从浅层到深层的特征信息的多组特征图；然后，利用其中携带有深层的特征信息的目标特征图确定多组特征图各自的权重，并根据多组特征图各自的权重将多组特征图与参考特征图融合成增强特征图；最后，将增强特征图进行解码，获得待识别图像的可供性检测结果。由于深层的特征信息具有更为丰富的语义信息，适合对其进行全局语义的编码，因此，通过携带有深层的特征信息的目标特征图所确定出的权重，能够对有利于进行图像分割的信息进行增强，并抑制与图像分割无关的信息，从达到提升了对待识别图像的分割效果的目的。
附图说明
[0020]为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0021]图1为本申请实施例提供的待识别图像的示例图；
[0022]图2为本申请实施例提供的传统图像分割效果示意图；
[0023]图3为本申请实施例提供的可供性检测的图像分割效果示意图；
[0024]图4为本申请实施例提供的可供性检测设备的结构示意图；
[0025]图5为本申请实施例提供的可供性检测方法的流程示意图；
[0026]图6为本申请实施例提供的可供性检测模型的结构示意图之一；
[0027]图7为本申请实施例提供的可供性检测模型的结构示意图之二；
[0028]图8为本申请实施例提供的可供性检测装置的结构示意图。
[0029]图标：10
‑
手锤；101
‑
锤头；102
‑
锤把；120
‑
存储器；130
‑
处理器；140
‑
通信单元；201
‑
图像编码模块；202
‑
图像解码模块。
具体实施方式
[0030]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施
例的组件可以以各种不同的配置来布置和设计。
[0031]因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0032]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0033]在本申请的描述中，需要说明的是，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。此外，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可供性检测方法，其特征在于，应用于可供性检测设备，所述可供性检测设备配置有预先训练的可供性检测模型，所述可供性检测模型包括多条特征提取分支以及语义编码层，所述方法包括：通过所述多条特征提取分支获得待识别图像的多组特征图，其中，所述多组特征图携带有所述待识别图像从浅层到深层的特征信息；将所述多组特征图中的深层特征图输入到所述语义编码层，获得所述多组特征图各自的权重；根据所述多组特征图各自的权重，将所述多组特征图与所述待识别图像的参考特征图融合成增强特征图；其中，所述参考特征图携带有所述待识别图像的空间结构信息；将所述增强特征图进行解码，获得所述待识别图像的可供性检测结果。2.根据权利要求1所述的可供性检测方法，其特征在于，所述根据所述多组特征图各自的权重，将所述多组特征图与所述待识别图像的参考特征图融合成增强特征图，包括：根据所述多组特征图各自的权重，将所述多组特征图按照以下方式融合成融合特征图：式中，表示所述融合特征图，F包括所述多组特征图，表示将所述多组特征图与所述多组特征图各自的权重系数进行加权求和；将所述融合特征与所述参考特征图进行融合，获得所述增强特征图。3.根据权利要求1所述的可供性检测方法，其特征在于，所述将所述多组特征图中的深层特征图输入到所述语义编码层，获得所述多组特征图各自的权重，包括：通过所述语义编码层采用NetVLAD的方式对所述深层特征图进行编码，获得全局特征；将所述全局特征按照以下方式，转换为所述多组特征图各自的权重系数：式中，e包括所述多组特征图各自的权重系数，表示V的归一化结果，V表示所述全局特征，表示通过全连接层将转换为c
×1×
1的向量，c与所述多组特征图的数量相对应，σ表示sigmoid函数。4.根据权利要求1所述的可供性检测方法，其特征在于，所述可供性检测模型还包括残差网络层，所述残差网络层包括与所述多条特征提取分支一一对应的多个残差单元，所述通过所述多条特征提取分支获得待识别图像的多组特征图，包括：获取所述待识别图像；将所述待识别图像输入所述残差网络层，获得由所述多个残差单元输出的多组初始特征图；将所述多组初始特征图按照所述对应关系输入到所述多条特征提取分支，获得所述待识别图像的多组特征图。5.根据权利要求4所述的可供性检测方法，其特征在于，所述可供性检测模型包括4条分支，分别表示为b1,b2,b3,b4，其中，分支b1表示用于传输所述参考特征图的直连分支，b2,b3,b4表示所述多...

【专利技术属性】
技术研发人员：李辉勇，章阳，牛建伟，孙钢灿，贺竞仪，
申请(专利权)人：郑州大学产业技术研究院有限公司，
类型：发明
国别省市：