大分辨率图像的目标检测和识别方法及装置制造方法及图纸

本发明专利技术涉及图像识别技术领域，是关于一种大分辨率图像的目标检测和识别方法及装置，方法包括：获取大分辨率图像集，进行数据增强，得到增强后的图像集；对增强后的图像集中的每个原始图像进行分割，得到对应的子图像及其位置信息；对子图像及其位置信息进行编码和融合处理，以得到对应的数据张量；基于Faster R

【技术实现步骤摘要】
大分辨率图像的目标检测和识别方法及装置


[0001]本专利技术涉及图像识别
，尤其涉及一种大分辨率图像的目标检测和识别方法及装置。

技术介绍

[0002]随着信息技术的飞速发展，由信息处理带来的方便性，高效性，安全性，可靠性，使得产业信息化已成为了各行各业的发展趋势。图像作为日常生活最普遍存在的一种媒体，在信息传递过程中起着关键作用。因此如何高效，可靠地利用图像信息作为计算机视觉方向中的重要研究内容之一，吸引着广大研究学者。
[0003]早期，由于图像语义信息复杂，传统的机器学习算法并不能充分理解图像信息，因此所做研究相对简单。近年来，深度学习的出现，计算性能的提升以及大数据时代的到来为充分理解使用图像信息带来了曙光，围绕于此产生了大量火热的研究课题，如图片分类，图像分割，目标检测，人脸识别以及重识别等，并在这些方向上已经取得了巨大的成功。
[0004]然而值得注意的是，虽然随着学习算法的不断更新，图像研究各个方向都取得了很大的成功，但在一些特殊背景下，许多研究方向仍面临着较大的挑战。其中就包括大分辨率图像目标检测问题。该图像一般是由专业设备拍摄获得，并有其固定的用途，区别于普通的生活图片，例如卫星图像或其它航拍图像。该类图像往往都具有其固定作用，例如观察某一区域地形，植被，水利，或用于军事侦察，再或者用于气象监测等。以陆地卫星图像为例，该图像在用于观察地形，植被或水利时，需要对其目标进行检测，而如果当目标较小时，由于该图像分辨率太大，普通的图像目标检测方法便不起作用了，其一，普通方法的输入一般位于102*10
2 ‑ꢀ
103*103量级，而大分辨图像的尺寸往往要远大于该尺寸大小，若简单的对原始数据的尺寸进行缩放，那么会造成大量的信息丢失，尤其当检测目标较小时，甚至有可能将目标丢失；其二，大分辨率的图像尺寸更大，富含的信息量更大，使得目标区域与背景区域比例更小；其三，由于其特殊的应用背景，使得该类图像量较少，无法获得大量的实验数据，不利于模型的训练。由于这些因素，使得原有方法在大分辨率图像目标检测问题上得不到良好的精度，从而无法满足正常的性能需求。

技术实现思路

[0005]为克服相关技术中存在的问题，本专利技术提供一种大分辨率图像的目标检测和识别方法及装置。
[0006]根据本专利技术实施例的第一方面，提供一种大分辨率图像的目标检测和识别方法，方法包括：获取大分辨率图像集，并对所述大分辨率图像集进行数据增强，得到增强后的图像集；对所述增强后的图像集中的每个原始图像进行分割，得到对应的子图像及其位置信息；
对所述子图像及其位置信息进行编码和融合处理，以得到对应的数据张量；基于Faster R
‑
CNN模型，对所述数据张量进行逐层特征表示学习，并采用注意力机制对所述Faster R
‑
CNN模型的低层信息、中层信息和高层信息进行融合，以确定所述子图像对应的特征表示；根据每个所述子图像对应的特征表示确定候选目标位置，并进行回归和分类，以确定每个子图像的最终目标位置及其所属的类别；根据每个子图像的最终目标位置及其所属的类别确定所述原始图像的最终目标位置及其所属的类别。
[0007]在一个实施例中，优选地，对所述增强后的图像集中的每个图像进行分割，得到对应的子图像及其位置信息，包括：采用固定窗口重叠式分割方式对每个原始图像进行分割，得到对应的子图像，并按照顺序进行排列；对每个所述子图像进行数据预处理，确定其在原始图像中的位置信息，其中，所述位置信息包括所述子图像的中心点在所述原始图像中的坐标以及所述子图像的宽度和高度。
[0008]在一个实施例中，优选地，采用注意力机制对所述Faster R
‑
CNN模型的低层信息、中层信息和高层信息进行融合，以确定所述子图像对应的特征表示，包括：将所述Faster R
‑
CNN模型的低层信息、中层信息和高层信息分别作为注意力机制中的Q，K和V，并采用以下公式进行计算，以确定所述子图像对应的特征表示；其中，Z表示所述子图像对应的特征表示，Q表示查询项，K表示键值，V表示参数值，d表示超参。
[0009]在一个实施例中，优选地，根据每个子图像的最终目标位置及其所属的类别确定所述原始图像的最终目标位置及其所属的类别，包括：根据所述原始图像中各个子图像的位置信息，将子图像之间的距离小于预设阈值的最终目标位置进行合并，以确定所述原始图像的最终目标位置，并将类别概率值最大的类别确定为所述原始图像所属的类别。
[0010]在一个实施例中，优选地，采用以下第一计算公式确定候选目标位置：其中，表示候选目标位置的损失，表示待学习的参数，表示第i个候选目标位置的向量表示，表示第i个候选目标位置变化到真实目标位置的偏移量，表示预测的偏移量，表示正则项，γ是一个超参；采用以下第二计算公式进行回归和分类：l
2 = L
cls + λL
loc
ꢀꢀ
(2)
其中，l2表示回归和分类的损失和，L
cls
表示分类损失，L
loc
表示位置损失，λ是一个超参，平衡两部分损失。
[0011]根据本专利技术实施例的第二方面，提供一种大分辨率图像的目标检测和识别装置，所述装置包括：增强模块，用于获取大分辨率图像集，并对所述大分辨率图像集进行数据增强，得到增强后的图像集；分割模块，用于对所述增强后的图像集中的每个原始图像进行分割，得到对应的子图像及其位置信息；处理模块，用于对所述子图像及其位置信息进行编码和融合处理，以得到对应的数据张量；融合模块，用于基于Faster R
‑
CNN模型，对所述数据张量进行逐层特征表示学习，并采用注意力机制对所述Faster R
‑
CNN模型的低层信息、中层信息和高层信息进行融合，以确定所述子图像对应的特征表示；第一确定模块，用于根据每个所述子图像对应的特征表示确定候选目标位置，并进行回归和分类，以确定每个子图像的最终目标位置及其所属的类别；第二确定模块，用于根据每个子图像的最终目标位置及其所属的类别确定所述原始图像的最终目标位置及其所属的类别。
[0012]在一个实施例中，优选地，所述分割模块包括：分割单元，用于采用固定窗口重叠式分割方式对每个原始图像进行分割，得到对应的子图像，并按照顺序进行排列；预处理单元，用于对每个所述子图像进行数据预处理，确定其在原始图像中的位置信息，其中，所述位置信息包括所述子图像的中心点在所述原始图像中的坐标以及所述子图像的宽度和高度。
[0013]在一个实施例中，优选地，所述融合模块用于：将所述Faster R
‑
CNN模型的低层信息、中层信息和高层信息分别作为注意力机制中的Q，K和V，并采用以下公式进行计算，以确定所述子图像对应的特征表示；其中，Z表示所述子图像对应的特征表示，Q表示查询项，K表示键值，V表示参数值，d表示超参。
[0014]在一个实施例中，优选地，所述第二本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大分辨率图像的目标检测和识别方法，其特征在于，所述方法包括：获取大分辨率图像集，并对所述大分辨率图像集进行数据增强，得到增强后的图像集；对所述增强后的图像集中的每个原始图像进行分割，得到对应的子图像及其位置信息；对所述子图像及其位置信息进行编码和融合处理，以得到对应的数据张量；基于Faster R
‑
CNN模型，对所述数据张量进行逐层特征表示学习，并采用注意力机制对所述Faster R
‑
CNN模型的低层信息、中层信息和高层信息进行融合，以确定所述子图像对应的特征表示；根据每个所述子图像对应的特征表示确定候选目标位置，并进行回归和分类，以确定每个子图像的最终目标位置及其所属的类别；根据每个子图像的最终目标位置及其所属的类别确定所述原始图像的最终目标位置及其所属的类别。2.根据权利要求1所述的方法，其特征在于，对所述增强后的图像集中的每个图像进行分割，得到对应的子图像及其位置信息，包括：采用固定窗口重叠式分割方式对每个原始图像进行分割，得到对应的子图像，并按照顺序进行排列；对每个所述子图像进行数据预处理，确定其在原始图像中的位置信息，其中，所述位置信息包括所述子图像的中心点在所述原始图像中的坐标以及所述子图像的宽度和高度。3.根据权利要求1所述的方法，其特征在于，采用注意力机制对所述Faster R
‑
CNN模型的低层信息、中层信息和高层信息进行融合，以确定所述子图像对应的特征表示，包括：将所述Faster R
‑
CNN模型的低层信息、中层信息和高层信息分别作为注意力机制中的Q，K和V，并采用以下公式进行计算，以确定所述子图像对应的特征表示；其中，Z表示所述子图像对应的特征表示，Q表示查询项，K表示键值，V表示参数值，d表示超参。4.根据权利要求1所述的方法，其特征在于，根据每个子图像的最终目标位置及其所属的类别确定所述原始图像的最终目标位置及其所属的类别，包括：根据所述原始图像中各个子图像的位置信息，将子图像之间的距离小于预设阈值的最终目标位置进行合并，以确定所述原始图像的最终目标位置，并将类别概率值最大的类别确定为所述原始图像所属的类别。5.根据权利要求1所述的方法，其特征在于，采用以下第一计算公式确定候选目标位置：其中，表示候选目标位置的损失，表示待学习的参数，表示第i个候选目标位置的向量表示，表示第i个候选目标位置变化到真实目标位置的偏移量，
表示预测的偏移量，表示正则项，γ是一个超参；采用以下第二计算公式进行回归和分类：l
2 = L
cls + λL
loc
ꢀꢀ
(2)其中，l2表示回归和分类的损失和，L
cls
表示分类损失，L
...

【专利技术属性】
技术研发人员：张凯，马乐乐，崔超然，逯天斌，
申请(专利权)人：山东力聚机器人科技股份有限公司，
类型：发明
国别省市：