目标对象的检测方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种目标对象的检测方法、装置、电子设备及存储介质，该方法包括：获取输入图像，输入图像包括多个候选区域以及与每个候选区域对应的扩展区域，扩展区域包括对应的候选区域以及候选区域的周围区域；将多个候选区域中每个候选区域及其对应的扩展区域输入至预先训练的孪生差值网络，获得每个候选区域与其对应的扩展区域之间的图像特征差值，其中，孪生差值网络根据包含目标对象的样本图像中的候选区域及其对应的扩展区域训练得到；如果多个候选区域中存在目标候选区域，则确定输入图像中存在目标对象，其中，目标候选区域与其对应的扩展区域之间的图像特征差值满足设定阈值条件。本方法可以准确地实现目标对象的检测。

【技术实现步骤摘要】
目标对象的检测方法、装置、电子设备及存储介质
本申请涉及图像处理
，更具体地，涉及一种目标对象的检测方法、装置、电子设备及存储介质。
技术介绍
随着科技水平的迅速发展，对象检测引起了人们极大的研究兴趣，并同时在许多应用产品中成功部署，智能化地解决了许多实际问题。传统的进行对象检测的技术中，通常是根据待识别的对象手动设计特征，来进行对象的识别和检测，但是这种方式对于对象与背景相似度高的图像时，其准确性欠佳。
技术实现思路
鉴于上述问题，本申请提出了一种目标对象的检测方法、装置、电子设备及存储介质。第一方面，本申请实施例提供了一种目标对象的检测方法，所述方法包括：获取输入图像，所述输入图像包括多个候选区域以及与每个候选区域对应的扩展区域，所述扩展区域包括对应的候选区域以及所述候选区域的周围；将所述多个候选区域中每个候选区域及其对应的扩展区域输入至预先训练的孪生差值网络，获得所述每个候选区域与其对应的扩展区域之间的图像特征差值，其中，所述孪生差值网络根据包含所述目标对象的样本图像中的候选区域及其对应的扩展区域训练得到；如果所述多个候选区域中存在目标候选区域，则确定所述输入图像中存在所述目标对象，其中，所述目标候选区域与其对应的扩展区域之间的图像特征差值满足设定阈值条件。第二方面，本申请实施例提供了一种目标对象的检测装置，所述装置包括：图像获取模块、图像输入模块以及对象确定模块，其中，所述图像获取模块用于获取输入图像，所述输入图像包括多个候选区域以及与每个候选区域对应的扩展区域，所述扩展区域包括对应的候选区域以及所述候选区域的周围；所述图像输入模块用于将所述多个候选区域中每个候选区域及其对应的扩展区域输入至预先训练的孪生差值网络，获得所述每个候选区域与其对应的扩展区域之间的图像特征差值，其中，所述孪生差值网络根据包含所述目标对象的样本图像中的候选区域及其对应的扩展区域训练得到；所述对象确定模块用于如果所述多个候选区域中存在目标候选区域，则确定所述输入图像中存在所述目标对象，其中，所述目标候选区域与其对应的扩展区域之间的图像特征差值满足设定阈值条件。第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面提供的目标对象的检测方法。第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面提供的目标对象的检测方法。本申请提供的方案，通过获取输入图像，根据输入图像中的多个候选区域以及每个候选区域对应的扩展区域，并且扩展区域包括对应的候选区域以及候选区域的周围区域，将多个候选区域中每个候选区域及其对应的扩展区域输入至预先训练的孪生差值网络，获得每个候选区域与其对应的扩展区域之间的图像特征差值，其中，孪生差值网络根据包含目标对象的样本图像中的候选区域及其对应的扩展区域训练得到，如果多个候选区域中存在目标候选区域，该目标候选区域与其对应的扩展区域之间的图像特征差值满足设定阈值条件，则确定输入图像中存在目标对象。从而通过利用孪生差值网络获取输入图像中各个候选区域与其扩展区域之间的图像特征差值，确定出存在特征差值满足设定阈值条件的目标候选区域时，确定输入图像中存在目标对象，实现在检测出特征过度区域时，确定输入图像中存在目标对象，提升对于图像中的目标对象检测的准确性。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了根据本申请一个实施例的目标对象的检测方法流程图。图2示出了根据本申请另一个实施例的目标对象的检测方法流程图。图3示出了本申请另一个实施例提供的一种显示效果图。图4示出了本申请另一个实施例提供的另一种显示效果图。图5示出了根据本申请又一个实施例的目标对象的检测方法流程图。图6示出了根据本申请再一个实施例的目标对象的检测方法流程图。图7示出了根据本申请又另一个实施例的目标对象的检测方法流程图。图8示出了根据本申请一个实施例的目标对象的检测装置的一种框图。图9是本申请实施例的用于执行根据本申请实施例的目标对象的检测方法的电子设备的框图。图10是本申请实施例的用于保存或者携带实现根据本申请实施例的目标对象的检测方法的程序代码的存储单元。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。图像场景理解作为图像分类理解的一项基本而重要的任务，近年来引起了人们极大的研究兴趣，并同时在许多应用产品中成功部署，智能化地解决了许多实际问题。图像场景理解包括以下子任务：图像场景分类、图像场景检索、图像场景目标检测。随着近年来深度学习技术的快速发展，深度学习也已成为图像场景理解中的重点技术。传统的对目标对象的检测技术中，通过对待识别的图像进行区域选择，然后对区域进行特征提取后，输入到分类器中，从而确定是否存在包括目标对象的区域。由于目标对象的形态多样性，光照变化多样性，背景多样性等因素，使得设计一个鲁棒性较佳的特征较为困难，然而提取到的特征的好坏将影响到分类的准确性。另外，被检测对象的纹理颜色与背景具有极高的相似性，同时物体目标小不易于识别，这样的话，在对物体目标进行识别时，准确性会较差。例如，在对鸟类的检测任务中，由于被检测物体鸟类通常所处环境为自然环境，背景复杂，被检测物体的纹理颜色和环境背景有着极高的相似性，同时物体目标小不易于识别，为后续功能的准备优化提供信息带来不便。除了上述的对目标对象的检测技术以外，也有基于深度学习的方案对图像中的目标对象进行检测。目前主要有One-stage和Two-stage的方案。其中，One-stage是使用一个卷积神经网络(ConvolutionalNeuralNetworks,CNN)直接预测不同目标的类别与位置。Two-stage需要先使用启发式方法(selectivesearch)或者CNN网络(RPN)产生候选区域(RegionProposal)，然后再在RegionProposal上做分类与回归。其中，目标检测首先是从Two-stage方法开始的，Two-stage方法主要是通过候选区域，提取特征图，然后将特征图与类别标签联合，通过多个分类器进行分类，以及特征图与位置标签联合，通过线性回归模型预测真实边界框。当然，也有其他方法在此基础上进行改进，例如，在得到候选区域后，将其输入训练模型，将候选框映射到特征图中进行提取感兴趣区域，然后不同大小的区域通过RoIPooling(池化)层得到相同大本文档来自技高网...

【技术保护点】
1.一种目标对象的检测方法，其特征在于，所述方法包括：/n获取输入图像，所述输入图像包括多个候选区域以及与每个候选区域对应的扩展区域，所述扩展区域包括对应的候选区域以及所述候选区域的周围区域；/n将所述多个候选区域中每个候选区域及其对应的扩展区域输入至预先训练的孪生差值网络，获得所述每个候选区域与其对应的扩展区域之间的图像特征差值，其中，所述孪生差值网络根据包含所述目标对象的样本图像中的候选区域及其对应的扩展区域训练得到；/n如果所述多个候选区域中存在目标候选区域，则确定所述输入图像中存在所述目标对象，其中，所述目标候选区域与其对应的扩展区域之间的图像特征差值满足设定阈值条件。/n

【技术特征摘要】
1.一种目标对象的检测方法，其特征在于，所述方法包括：
获取输入图像，所述输入图像包括多个候选区域以及与每个候选区域对应的扩展区域，所述扩展区域包括对应的候选区域以及所述候选区域的周围区域；
将所述多个候选区域中每个候选区域及其对应的扩展区域输入至预先训练的孪生差值网络，获得所述每个候选区域与其对应的扩展区域之间的图像特征差值，其中，所述孪生差值网络根据包含所述目标对象的样本图像中的候选区域及其对应的扩展区域训练得到；
如果所述多个候选区域中存在目标候选区域，则确定所述输入图像中存在所述目标对象，其中，所述目标候选区域与其对应的扩展区域之间的图像特征差值满足设定阈值条件。


2.根据权利要求1所述的方法，其特征在于，在所述如果所述多个候选区域中存在目标候选区域，则确定所述输入图像中存在所述目标对象之后，所述方法还包括：
将所述目标候选区域输入至预先训练的特征提取模型中，提取所述目标候选区域的图像特征；
将所述图像特征输入至预先训练的分类器，获得所述分类器输出的输出结果，所述输出结果用于表征所述目标候选区域为所述目标对象所在区域的概率。


3.根据权利要求2所述的方法，其特征在于，当所述目标候选区域为多个时，在所述将所述图像特征输入至预先训练的分类器，获得所述分类器输出的输出结果之后，所述方法还包括：
在所述多个目标候选区域中存在至少两个目标候选区域对应的输出结果为指定输出结果时，确定所述至少两个目标候选区域之间的相交区域的大小是否大于第一阈值，其中，所述指定输出结果用于表征目标候选区域为所述目标对象所在区域的概率大于指定概率；
如果所述至少两个目标候选区域之间的相交区域的大小大于第一阈值，将所述至少两个目标候选区域进行图像融合，获得所述输入图像中所述目标对象所在区域。


4.根据权利要求2所述的方法，其特征在于，在所述将所述图像特征输入至预先训练的分类器，获得所述分类器输出的输出结果之前，所述方法还包括：
获取包含所述目标对象的至少部分区域的区域样本图像，并将所述区域样本图像输入至预先训练的图像特征提取模型中，提取所述区域样本图像的图像特征；
将所述区域样本图像的图像特征输入至所述分类器，获得所述分类器输出的结果；
根据所述分类器输出的结果与所述区域样本图像对应的真实输出结果的差异，获得损失函数的值；
根据所述损失函数的值对所述分类器进行迭代训练，获得训练后的分类器。


5.根据权利要求1所述的方法，其特征在于，在所述如果所述多个候选区域中存在目标候选区域，则确定所述输入图像中存在所述目标对象之后，所述方法还包括：
当所述目标候选区域为多个时，确定所述多个目标候选区域之间的相交区域的大小是否大于第二阈值；
如果所述多个目标候选区域之间的相交区域的大小大于第二阈值，将所述多个目标候选区域进行图像融合，获得所述输入图像中所述目标对象所在区域的区域图像。


6.根据权利要求1所述的方法，其特征在于，在所述将所述多个候选区域中每个候选区域及其对应的扩展区域输入至预先训练的孪生差值网络之前，所述方法还包括：
将预设窗口大小的轮询窗口，按照预设步长以及预设滑动方向于所述输入图像中进行多次滑动，获得每次滑动对应的轮询窗口所在区...

【专利技术属性】
技术研发人员：邹子杰，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44