本公开提供了一种目标检测方法、装置、电子设备和存储介质，涉及图像处理技术领域。其中，目标检测方法包括：获取具有待检测目标的图像；基于主干网络提取图像中的图像特征；将图像特征输入分割模型，以由分割模型输出对待检测目标的分割特征；基于图像特征生成包括待检测目标的目标边缘的边缘图像；将边缘图像与分割特征进行融合，得到融合特征，基于融合特征确定检测到的目标。通过本公开的技术方案，实现了将基于实例分割进行目标检测和基于边缘检测进行目标检测的优点进行融合，一方面，有利于提升图像中目标检测的检测精度，另一方面，该目标检测方案局限性更低，也即具有更广的适用范围。的适用范围。的适用范围。
【技术实现步骤摘要】
目标检测方法、装置、电子设备和存储介质
[0001]本公开涉及图像处理
，尤其涉及一种目标检测方法、装置、电子设备和计算机可读存储介质。
技术介绍
[0002]在智能仓储自动化应用中，采用智能机器人进行商品拣选具有比较高的应用前景，在具体应用场景中，采用视觉引导的方式引导机器人把指定目标拣选到指定位置。其中，高精度目标检测是上述应用场景的核心点。只有高精度的检测到目标，才能准确估算出拣选姿态，提高拣选成功率。而由于商品更新换代频繁，因此依赖商品先验信息的传统目标检测算法并不适用。
[0003]相关技术中，可以通过基于深度学习的目标检测技术实现对海量且多变的目标商品的检测。但基于深度学习实例分割方案由于对目标边缘的识别精度较低，导致影响目标的精确分割，而基于深度学习边缘检测方案存在应用场景比较局限的缺陷。
[0004]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
[0005]本公开的目的在于提供一种目标检测方法、装置、电子设备和计算机可读存储介质，至少在一定程度上能够改善相关技术中的目标边缘的识别精度较低，导致影响目标的精确分割的问题。
[0006]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0007]根据本公开的一个方面，提供一种目标检测方法，包括：获取具有待检测目标的图像；基于主干网络提取所述图像中的图像特征；将所述图像特征输入分割模型，以由所述分割模型输出对所述待检测目标的分割特征；基于所述图像特征生成包括所述待检测目标的目标边缘的边缘图像；将所述边缘图像与所述分割特征进行融合，得到融合特征，基于所述融合特征确定检测到的所述目标。
[0008]在一个实施例中，所述分割模型包括目标分类模型、目标包围框预测模型和目标分割掩膜预测模型，所述将所述图像特征输入分割模型，以由所述分割模型输出对所述待检测目标的分割特征包括：基于所述目标分类模型对所述图像特征进行分类，以区分所述待检测目标的区域和背景区域；在所述待检测目标的区域，基于所述目标包围框预测模型得到所述待检测目标的包围框特征；在所述包围框特征对应的包围框内，基于所述目标分割掩膜预测模型，得到所述待检测目标的分割掩膜；基于所述包围框特征和所述分割掩膜生成所述分割特征。
[0009]在一个实施例中，所述基于所述目标分类模型对所述图像特征进行分类，以区分所述待检测目标的区域和背景区域包括：将所述图像特征输入区域生成网络，并输出候选
区域；基于双线性插值法对所述图像特征和所述候选区域进行聚集，得到聚集特征；将所述聚集特征输入到所述目标分类模型，以输出所述待检测目标的区域和所述背景区域。
[0010]在一个实施例中，将所述边缘图像与所述分割特征进行融合，得到融合特征包括：基于所述包围框特征和所述边缘图像之间的位置映射关系，在所述边缘图像中提取边缘数据；将所述边缘数据与所述分割掩膜进行融合，得到融合掩膜，将所述融合掩膜确定为所述融合特征。
[0011]在一个实施例中，所述将所述边缘数据与所述分割掩膜进行融合，得到融合掩膜包括：在检测到所述包围框特征对应的区域内任一像素的掩膜值非0，而所述任一像素在所述边缘数据中的边缘分类值也非0时，将所述任一像素的掩膜值修改为0，以基于修改结果得到所述融合掩膜。
[0012]在一个实施例中，所述基于所述融合特征确定检测到的所述目标包括：对所述融合特征进行连通区域分析，基于所述连通区域分析的结果确定检测到的所述目标。
[0013]在一个实施例中，所述对所述融合特征进行连通区域分析，基于所述连通区域分析的结果确定检测到的所述目标包括：对所述融合掩膜进行所述连通区域分析；基于所述连通区域分析的结果确定最大的连通区域；将所述最大的连通区域确定为目标掩膜；基于所述目标掩膜的包围框确定检测到的所述目标。
[0014]在一个实施例中，所述主干网络包括基于卷积的编码
‑
解码神经网络的编码器，所述基于主干网络提取所述图像中的图像特征包括：将所述图像输入所述编码器，以输出所述图像的图像特征。
[0015]在一个实施例中，所述基于所述图像特征生成包括所述待检测目标的目标边缘的边缘图像包括：将所述图像特征输入编码
‑
解码神经网络中的解码器，以基于所述解码器执行边缘图像预测操作；基于所述边缘图像预测操作的预测结果，得到所述待检测目标的边缘图像。
[0016]根据本公开的另一方面，提供一种目标检测装置，包括：获取模块，用于获取具有待检测目标的图像；第一提取模块，用于基于主干网络提取所述图像中的图像特征；分割模块，用于将所述图像特征输入分割模型，以由所述分割模型输出对所述待检测目标的分割特征；第二提取模块，用于基于所述图像特征生成包括所述待检测目标的目标边缘的边缘图像；融合模块，用于将所述边缘图像与所述分割特征进行融合，得到融合特征，基于所述融合特征确定检测到的所述目标。
[0017]根据本公开的再一方面，提供一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述另一个方面所述的目标检测方法。
[0018]根据本公开的又一方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意一项的目标检测方法。
[0019]本公开的实施例所提供的目标检测方案，通过采用主干网络将采集到的图像转换为图像特征，并将图像特征分别输入用于进行实例分割的模型和用于进行边缘检测的模型，以实现基于多任务的图像目标检测方案，将由分割模型输出的分割特征和检测到的边缘图像进行融合，实现了将基于实例分割进行目标检测和基于边缘检测进行目标检测的优点进行融合，一方面，有利于提升图像中目标检测的检测精度，另一方面，该目标检测方案
局限性更低，也即具有更广的适用范围。
[0020]进一步地，通过将用于进行实例分割的模型和用于进行边缘检测的模型这两个任务共享主干网络，也有利于减小设备的计算资源消耗，进而有利于降低硬件成本。
[0021]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0022]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1示出本公开实施例中一种目标检测系统结构的示意图；
[0024]图2示出本公开实施例中一种目标检测方法的流程图；
[0025]图3示出本公开实施例中另一种目标检测方法的流程图；
[0026]图4示出本公开实施例中再一种目标检测方法的流程图；
本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种目标检测方法，其特征在于，包括：获取具有待检测目标的图像；基于主干网络提取所述图像中的图像特征；将所述图像特征输入分割模型，以由所述分割模型输出对所述待检测目标的分割特征；基于所述图像特征生成包括所述待检测目标的目标边缘的边缘图像；将所述边缘图像与所述分割特征进行融合，得到融合特征，基于所述融合特征确定检测到的所述目标。2.根据权利要求1所述的目标检测方法，其特征在于，所述分割模型包括目标分类模型、目标包围框预测模型和目标分割掩膜预测模型，所述将所述图像特征输入分割模型，以由所述分割模型输出对所述待检测目标的分割特征包括：基于所述目标分类模型对所述图像特征进行分类，以区分所述待检测目标的区域和背景区域；在所述待检测目标的区域，基于所述目标包围框预测模型得到所述待检测目标的包围框特征；在所述包围框特征对应的包围框内，基于所述目标分割掩膜预测模型，得到所述待检测目标的分割掩膜；基于所述包围框特征和所述分割掩膜生成所述分割特征。3.根据权利要求2所述的目标检测方法，其特征在于，所述基于所述目标分类模型对所述图像特征进行分类，以区分所述待检测目标的区域和背景区域包括：将所述图像特征输入区域生成网络，并输出候选区域；基于双线性插值法对所述图像特征和所述候选区域进行聚集，得到聚集特征；将所述聚集特征输入到所述目标分类模型，以输出所述待检测目标的区域和所述背景区域。4.根据权利要求2所述的目标检测方法，其特征在于，所述将所述边缘图像与所述分割特征进行融合，得到融合特征包括：基于所述包围框特征和所述边缘图像之间的位置映射关系，在所述边缘图像中提取边缘数据；将所述边缘数据与所述分割掩膜进行融合，得到融合掩膜，将所述融合掩膜确定为所述融合特征。5.根据权利要求4所述的目标检测方法，其特征在于，所述将所述边缘数据与所述分割掩膜进行融合，得到融合掩膜包括：在检测到所述包围框特征对应的区域内任一像素的掩膜值非0，而所述任一像素在所述边缘数据中的边缘分类值也非0时，将所述任一像素的掩膜值修改为0，以基于修改结果得到所述融合掩膜。6.根据权利要求5所述...
【专利技术属性】
技术研发人员：刘伟峰，程云建，刘旭，
申请(专利权)人：北京京东乾石科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。