目标检测方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了目标检测方法、装置、电子设备及存储介质，具体实现方案为：对待检测图像进行特征提取，得到多尺度特征图；将所述多尺度特征图输入训练好的目标检测网络，得到第一子特征图及第二子特征图；其中，所述第一子特征图用于表征所述待检测图像的中心区域特征，所述第二子特征图用于表征所述待检测图像的边框区域特征；在所述训练好的目标检测网络中，将所述第一子特征图及所述第二子特征图采用基于中心区域预测的回归方式进行预测，输出多个候选检测框；根据所述多个候选检测框，得到目标检测框。采用本申请，可以提高目标检测的准确率。的准确率。的准确率。

【技术实现步骤摘要】
目标检测方法、装置、电子设备及存储介质


[0001]本申请涉及计算机视觉
，尤其涉及一种目标检测方法、装置、电子设备及存储介质。

技术介绍

[0002]随着便携设备、手机终端等电子设备相比以往更智能化，芯片的解析能力更强，可以通过计算机视觉技术对图文信息、视频信息等进行高效的解析，并对图文信息、视频信息等中的目标对象进行检测。
[0003]目标检测算法大多是采用矩形方框作为目标检测框，并检测图像中规则形状的图文信息，然而，在实际应用中存在倾斜角度或不规则的图像，或者图像中存在不规则形状的图文信息等，在这些情况下，如何提高目标检测准确率，未存在有效的解决方案。

技术实现思路

[0004]本申请提供了一种目标检测方法、装置、电子设备及存储介质。
[0005]根据本申请的一方面，提供了一种目标检测方法，包括：对待检测图像进行特征提取，得到多尺度特征图；将所述多尺度特征图输入训练好的目标检测网络，得到第一子特征图及第二子特征图；其中，所述第一子特征图用于表征所述待检测图像的中心区域特征，所述第二子特征图用于表征所述待检测图像的边框区域特征；在所述训练好的目标检测网络中，将所述第一子特征图及所述第二子特征图采用基于中心区域预测的回归方式进行预测，输出多个候选检测框；根据所述多个候选检测框，得到目标检测框。
[0006]根据本申请的另一方面，提供了一种目标检测装置，包括：特征提取模块，用于对待检测图像进行特征提取，得到多尺度特征图；特征分类模块，用于将所述多尺度特征图输入训练好的目标检测网络，得到第一子特征图及第二子特征图；其中，所述第一子特征图用于表征所述待检测图像的中心区域特征，所述第二子特征图用于表征所述待检测图像的边框区域特征；目标检测模块，用于在所述训练好的目标检测网络中，将所述第一子特征图及所述第二子特征图采用基于中心区域预测的回归方式进行预测，输出多个候选检测框；根据所述多个候选检测框，得到目标检测框。
[0007]根据本申请的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与该至少一个处理器通信连接的存储器；其中，该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本申请任意一实施例所提供的方法。
[0008]根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储
介质，该计算机指令用于使该计算机执行本申请任意一项实施例所提供的方法。
[0009]采用本申请，可以对待检测图像进行特征提取，得到多尺度特征图。可以将所述多尺度特征图输入训练好的目标检测网络，得到第一子特征图及第二子特征图。其中，所述第一子特征图用于表征所述待检测图像的中心区域特征，所述第二子特征图用于表征所述待检测图像的边框区域特征。在所述训练好的目标检测网络中，可以将所述第一子特征图及所述第二子特征图采用基于中心区域预测的回归方式进行预测，输出多个候选检测框。由于将多尺度特征图输入训练好的目标检测网络，可以得到第一子特征图及第二子特征图，因此，在在训练好的目标检测网络中可以将第一子特征图及第二子特征图采用基于中心区域预测的回归方式进行预测，输出多个任意多边形（不限于矩形方框）构成的候选检测框；根据所述多个候选检测框，得到目标检测框。
[0010]应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0011]附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是根据本申请实施例的目标检测方法的流程示意图；图2是根据本申请实施例的应用示例中目标检测方法的网络主体结构示意图；图3是根据本申请实施例的应用示例中网络主体结构的head网络示意图；图4是根据本申请实施例的应用示例中任意多边形的外接矩形示意图；图5是根据本申请实施例的应用示例中center map的高斯分布示意图；图6是根据本申请实施例的应用示例中对任意多边形的标注示意图；图7是根据本申请实施例的应用示例中任意多边形的中心点预测示意图；图8是根据本申请实施例的应用示例中基于中心点预测poly点的映射对应示意图；图9是根据本申请实施例的应用示例中后处理流程的示意图；图10是根据本申请实施例的目标检测装置的组成结构示意图；图11是用来实现本申请实施例的目标检测方法的电子设备的框图。
具体实施方式
[0012]以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0013]本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。本文中术语“第一”、“第二”表示指代多个类似的技术用语并对其进行区分，并不是限定顺序的意思，或者限定只有两个的意思，例如，第一特征和第二特征，是指代有两类/两个特征，第一特征可以为一个或多个，第二特征也可以为一个或多个。
[0014]另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。
[0015]随着人工智能的发展和应用，目标检测算法越来越成熟，目标检测算法包括：SSD、YOLO、Faster CNN等，尤其目前anchor free 算法成为主流研究领域。相关技术中，这些目标检测算法大多是检测矩形方框，但是在实际应用场景中，待检测目标存在一定的倾斜角度或不规则目标。
[0016]针对上述待检测目标存在一定的倾斜角度或不规则目标的情况，本申请是基于中心预测和极值回归的任意多边形目标检测算法，可以采用中心点预测，对目标进行极值点回归，以完成针对任意多边形的目标检测。
[0017]根据本申请的实施例，提供了一种目标检测方法，图1是根据本申请实施例的目标检测方法的流程示意图，该方法可以应用于目标检测装置，例如，该装置可以部署于终端或服务器或其它处理设备执行的情况下，可以执行特征提取、特征分类、基于中心预测和极值回归的任意多边形目标检测等等。其中，终端可以为用户设备（UE，User Equipment）、移动设备、蜂窝电话、无绳电话、个人数字处理（PDA，Personal Digital Assistant）、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该方法还可以通过处理器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标检测方法，其特征在于，所述方法包括：对待检测图像进行特征提取，得到多尺度特征图；将所述多尺度特征图输入训练好的目标检测网络，得到第一子特征图及第二子特征图；其中，所述第一子特征图用于表征所述待检测图像的中心区域特征，所述第二子特征图用于表征所述待检测图像的边框区域特征；在所述训练好的目标检测网络中，将所述第一子特征图及所述第二子特征图采用基于中心区域预测的回归方式进行预测，输出多个候选检测框；根据所述多个候选检测框，得到目标检测框。2.根据权利要求1所述的方法，其特征在于，所述根据所述多个候选检测框，得到目标检测框，包括：对所述多个候选检测框执行非极大值抑制NMS处理，得到目标检测框。3.根据权利要求1所述的方法，其特征在于，所述对待检测图像进行特征提取，得到多尺度特征图，包括：将所述待检测图像输入特征提取网络，根据所述特征提取网络对所述待检测图像进行特征提取，得到所述多尺度特征图；其中，所述多尺度特征图包括：图片尺寸不同且特征含义相同的多个特征图。4.根据权利要求3所述的方法，其特征在于，所述将所述多尺度特征图输入训练好的目标检测网络，得到第一子特征图及第二子特征图，包括：所述训练好的目标检测网络中包括分类子网络的情况下，将所述多个特征图输入所述分类子网络；所述多个特征图中的每个特征图经所述分类子网络第一分支上的第一卷积操作，得到中心区域特征图，并作为所述第一子特征图；所述多个特征图中的每个特征图经所述分类子网络第二分支上的第二卷积操作，得到边框区域特征图，并作为所述第二子特征图；将所述第一子特征图及所述第二子特征图作为对应每个特征图的一组数据，所述多个特征图分别对应所述第一子特征图及所述第二子特征图构成的多组数据。5.根据权利要求3所述的方法，其特征在于，所述在所述训练好的目标检测网络中，将所述第一子特征图及所述第二子特征图采用基于中心区域预测的回归方式进行预测，输出多个候选检测框，包括：所述训练好的目标检测网络中包括检测子网络的情况下，将所述第一子特征图及所述第二子特征图输入所述检测子网络；在所述检测子网络中，将所述第一子特征图中的每个像素点进行极值回归并映射到所述第二子特征图中，得到所述第一子特征图中的像素点在所述第二子特征图中对应的边框区域预测点，根据所述边框区域预测点得到多个候选检测框；通过所述检测子网络输出所述多个候选检测框。6.根据权利要求5所述的方法，其特征在于，所述根据所述边框区域预测点得到多个候选检测框，包括：将所述边框区域预测点由极坐标系转换为笛卡尔坐标系，得到笛卡尔坐标系下的边框区域预测点；
根据所述笛卡尔坐标系下的边框区域预测点，得到所述多个候选检测框。7.根据权利要求1-6中任一项所述的方法，其特征在于，还包括：获取对样本图像进行特征提取后得到的多尺度特征图；获取对所述样本图像进行图像尺寸缩放及人工标注后得到的标注数据，其中，图像尺寸缩放的比例，参考所述多尺度特征图，并得到与所述多尺度特征图尺寸相同的图像；将所述多尺度特征图及所述标注数据构成样本数据，根据所述样本数据对目标检测网络进行训练，得到所述训练好的目标检测网络。8.根据权利要求7所述的方法，其特征在于，所述根据所述样本数据对目标检测网络进行训练，得到所述训练好的目标检测网络，包括：根据所述多尺度特征图，生成第一样本子特征图及第二样本子特征图；从所述标注数据中，分别提取对应第一样本子特征图的第一标注数据、及对应第二样本子特征图的第二标注数据；根据所述第一样本子特征图及所述第一标注数据计算损失，得到第一损失函数；根据所述第二样本子特征图及所述第二标注数据计算损失，得到第二损失函数；根据所述第一损失函数及所述第二损失函数，得到目标损失函数，根据所述目标损失函数的反向传播对目标检测网络进行训练，以得到所述训练好的目标检测网络。9.根据权利要求8所述的方法，其特征在于，所述第一标注数据包括目标检测框的中心区域图；所述第二标注数据包括目标检测框的边框区域图。10.一种目标检测装置，其特征在于，所述装置包括：特征提取模块，用于对待检测图像进...

【专利技术属性】
技术研发人员：张子浩，杨家博，
申请(专利权)人：北京易真学思教育科技有限公司，
类型：发明
国别省市：