图像处理装置、图像处理方法和计算机可读存储介质制造方法及图纸

技术编号:31562074 阅读:17 留言:0更新日期:2021-12-25 10:43
本公开内容涉及图像处理装置和图像处理方法以及计算机可读存储介质。该图像处理装置包括:提取单元,被配置成从图像中提取包含待检测物体的前景,并且从图像的包含待检测物体的前景中提取包围待检测物体的边框;以及检测单元,使用边框在图像的前景中提取待检测物体,使得确定待检测物体的类别和位置,其中,提取单元和检测单元被配置成使用注意力机制来分别实现它们的提取操作和检测操作。根据本公开内容的图像处理技术,通过在图像处理的提取操作和检测操作中分别使用注意力机制,能够强化前景目标的特征提取并且弱化背景和噪声的信息,从而能够准确和快速地从遥感图像中检测目标物体的类别和位置。目标物体的类别和位置。目标物体的类别和位置。

【技术实现步骤摘要】
图像处理装置、图像处理方法和计算机可读存储介质


[0001]本文公开的实施方式涉及图像处理的
特别地,本公开内容的实施方式涉及用于从图像中检测目标物体的类别和位置的图像处理装置和图像处理方法以及计算机可读存储介质。

技术介绍

[0002]近年来,随着遥感技术的发展,遥感图像的目标检测引起了广泛的关注。研究遥感图像的目标检测对于资源勘探、自然灾害评估、地面目标检测和识别等都具有重要的意义。
[0003]不同于自然场景检测,遥感图像通常从高空拍摄,由于受到地表温度以及大气衰减等因素的影响,遥感系统所受到的干扰比普通的地面监控系统更强,甚至干扰强度有时会大大超过所要检测目标的强度。此外,“鸟瞰”式的俯视拍摄角度会带来诸如复杂背景、目标的尺度或方向变化、类别不平衡、不同拍摄设备或不同时间拍摄的图像亮度不一致等的各种问题。

技术实现思路

[0004]在下文中将给出关于本公开内容的简要概述,以便提供关于本公开内容的某些方面的基本理解。应当理解,这个概述并不是关于本公开内容的穷举性概述。它并不是意图确定本公开内容的关键或重要部分,也不是意图限定本公开内容的范围。其目的仅仅是以简化的形式给出某些概念,以此作为稍后论述的更详细描述的前序。
[0005]对于上文指出的现有技术中存在的问题,有必要提供一种图像处理技术,用于准确和快速地从图像中检测目标物体的类别和位置。
[0006]为了实现本公开内容的目的,根据本公开内容的一个方面,提供了一种图像处理装置,其包括:提取单元,被配置成从图像中提取包含待检测物体的前景,并且从图像的包含待检测物体的前景中提取包围待检测物体的边框;以及检测单元,使用边框在图像的前景中提取待检测物体,使得确定待检测物体的类别和位置,其中提取单元和检测单元被配置成使用注意力机制来分别实现它们的提取操作和检测操作。
[0007]根据本公开内容的另一方面,提供了一种图像处理方法,其包括:提取步骤,用于从图像中提取包含待检测物体的前景,并且从图像的包含待检测物体的前景中提取包围待检测物体的边框;以及检测步骤,用于使用边框在图像的前景中提取待检测物体,使得最终确定待检测物体的类别和位置,其中提取步骤和检测步骤使用注意力机制来执行。
[0008]根据本公开内容的再一方面,还提供了能够实现上述的图像处理方法的计算机程序。
[0009]此外,还提供了具有至少计算机可读存储介质形式的计算机程序产品,其上记录有用于实现上述的图像处理方法的计算机程序代码。具体地,根据本公开内容的又一方面,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序在被计算机执行时能够实现图像处理方法,该图像处理方法包括:提取步骤,成从图像中提取包含待检测物
体的前景,并且从图像的包含待检测物体的前景中提取包围待检测物体的边框;以及检测步骤,使用边框在图像的前景中提取待检测物体,使得最终确定待检测物体的类别和位置,其中提取步骤和检测步骤使用注意力机制执行。
[0010]根据本公开内容的图像处理技术,通过在图像处理的提取操作和检测操作中分别使用注意力机制,能够强化前景目标的特征提取并且弱化背景和噪声的信息,从而能够准确和快速地从图像中检测目标物体的类别和位置。
附图说明
[0011]参照下面结合附图对本公开内容实施方式的说明,会更加容易地理解本公开内容的以上和其它目的、特点和优点,在附图中:
[0012]图1示出了注意力机制的示例的示意图;
[0013]图2示出了根据本公开内容的一个实施方式的图像处理装置的框图;
[0014]图3示出了根据本公开内容的一个实施方式的图像处理装置的示意图;
[0015]图4示出了实例分割掩模和矩形框分割掩模的比较的示意图;
[0016]图5示出了根据本公开内容的一个实施方式的图像处理方法的流程图;以及
[0017]图6示出了用于实现根据本公开内容的一个实施方式的图像处理方法和图像处理装置的通用机器的结构简图。
具体实施方式
[0018]在下文中,将参照所附的说明性示图详细描述本公开内容的一些实施方式。在用附图标记指示附图的元件时,尽管相同的元件在不同的附图中示出,但相同的元件将由相同的附图标记表示。此外,在本公开内容的以下描述中,在有可能使本公开内容的主题不清楚的情况下,将省略对并入于本文中的已知功能和配置的详细描述。
[0019]本文中使用的术语仅用于描述特定实施方式的目的,而非旨在限制本公开内容。如本文所使用的,除非上下文另外指出,否则单数形式旨在也包括复数形式。还将理解的是,说明书中使用的术语“包括”、“包含”和“具有”旨在具体说明所陈述的特征、实体、操作和/或部件的存在,但是并不排除一个或更多个其他的特征、实体、操作和/或部件的存在或添加。
[0020]除非另有定义,否则本文中使用的包括技术术语和科学术语的所有术语具有与本专利技术构思所属领域技术人员通常理解的含义相同的含义。将进一步理解的是,诸如在常用词典中定义的那些术语应该被解释为具有与其在相关领域的上下文中的含义一致的含义,除非在此明确定义否则不应以理想化或过于正式的意义来解释。
[0021]在下面的描述中,阐述了许多具体细节以提供对本公开内容的全面理解。本公开内容可以在没有这些具体细节中的一些或所有具体细节的情况下实施。在其他示例中,为了避免因不必要的细节而模糊了本公开内容,在附图中仅仅示出了与根据本公开内容的方案密切相关的部件,而省略了与本公开内容关系不大的其他细节。
[0022]本公开内容所要解决的问题是如何准确和快速地从图像中,特别是遥感图像中检测目标物体的类别和位置。
[0023]在现有技术中,通常使用两种方法来检测遥感图像中的目标物体。第一种方法可
被称为一阶段检测方法,其将遥感图像划分为网格形式的具有固定尺寸的多个区域,随后在多个区域中的每个区域中检测目标物体。第二种方法可被称为两阶段检测方法,其首先利用特定算法诸如区域生成网络(RPN)模型在遥感图像中提取其中可能包含目标物体的前景框(第一阶段),随后使用特定算法诸如区域卷积神经网络(RCNN)模型对所提取的前景框进行进一步微调从而获得目标物体的位置和类别(第二阶段)。两阶段检测方法的典型示例是Faster R-CNN模型。由于两阶段检测方法具有额外的微调步骤,因此较之一阶段检测方法具有更高的精度。
[0024]此外,由于遥感图像的复杂性,因此已经提出了基于深度学习对遥感图像进行分割的技术。例如,采用注意力机制(attention)对遥感图像中的目标物体的特征信息进行建模以突出目标特征,从而进而提升分割性能。
[0025]注意力机制是受人类视觉系统对视觉信号的处理的启发而提出的技术。人类视觉系统的一个重要特性是人们不会一次尝试处理整个场景,而是利用一系列局部瞥见并选择性地聚焦于显著部分,以便更好地捕捉视觉结构。人类视觉系统通过快速扫描全局图像,获得需要重点关注的目标区域,从而对目标区域投入更多的注意力本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种图像处理装置,包括:提取单元,被配置成从图像中提取包含待检测物体的前景,并且从所述图像的包含待检测物体的前景中提取包围所述待检测物体的边框;以及检测单元,使用所述边框在所述图像的前景中提取所述待检测物体,使得确定所述待检测物体的类别和位置,其中,所述提取单元和所述检测单元被配置成使用注意力机制来分别实现它们的提取操作和检测操作。2.根据权利要求1所述的图像处理装置,其中,所述图像是遥感图像。3.根据权利要求1所述的图像处理装置,其中,所述图像处理装置使用卷积神经网络CNN模型来实现。4.根据权利要求1所述的图像处理装置,还包括:预处理单元,被配置成对所述图像进行预处理并且将经预处理的图像提供给所述提取单元。5.根据权利要求1所述的图像处理装置,其中,所述注意力机制使用基于所述待检测物体的实例分割掩模。6.根据权利要求5所述的图像处理装置,其中,所述提取单元的注意力机制使用基于全部类别的待检测物体的实例分割掩模,以及其中,所述检测单元的注意力机制使用基于单个类别的待检测物体的实例分割掩模。7.根据权...

【专利技术属性】
技术研发人员:周嵘孙俊汪留安
申请(专利权)人:富士通株式会社
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1