图像识别方法、装置、终端设备和可读存储介质制造方法及图纸

本发明专利技术实施例公开了图像识别方法、装置、终端设备和可读存储介质，该方法包括从参考图像中确定N个目标样本单元；根据N个目标样本单元在与参考图像对应的测试图像中确定对应的N个检测单元；并进行标准化处理以获取N个标准样本单元和对应的N个标准检测单元；对N个标准样本单元和N个标准检测单元进行特征提取，以获取N个样本特征集和对应的N个检测特征集，各个样本特征集包括T个样本特征子集，各个检测特征集包括T个检测特征子集；利用第一特征融合公式对卷积层的各个输入通道获取的样本特征子集和对应的检测特征子集进行特征融合处理。实现在无相关数据作为训练样本的条件下，快速准确的识别测试图像中的多个目标。

【技术实现步骤摘要】
图像识别方法、装置、终端设备和可读存储介质
本专利技术涉及图像处理领域，尤其涉及一种图像识别方法、装置、终端设备和可读存储介质。
技术介绍
当下，电力输送安全环节的安全是尤为重要的。精准高效地识别巡检影像的关键部件是否存在缺陷，是实现电力输送安全保障的必要方法。近几年，随着我国无人机技术的规模化行业应用，输电线路的巡检数据采集速度和精度快速上升，海量巡检影像的分析任务超出了作业班组人员能力和精力的边界。各界专家提出了不少面向依赖前期训练大量缺陷样本的识别算法。但是，目前图像识别算法过度依赖前期训练过程，需要利用大量的相关数据样本对图像识别模型进行训练，并且图像识别结果过于单一，不适用于对输电塔杆中的多个关键部件进行识别。
技术实现思路
鉴于上述问题，本专利技术提出一种图像识别方法、装置、终端设备和可读存储介质。本专利技术的一个实施例提出一种图像识别方法，该方法包括：从参考图像中确定N个目标样本单元；根据所述N个目标样本单元在与所述参考图像对应的测试图像中确定对应的N个检测单元；对所述N个目标样本单元和所述N个检测单元进行标准化处理以获取N个标准样本单元和对应的N个标准检测单元；对所述N个标准样本单元和所述N个标准检测单元进行特征提取，以获取N个样本特征集和对应的N个检测特征集，各个样本特征集包括T个样本特征子集，各个检测特征集包括T个检测特征子集；将所述T个样本特征子集和所述T个检测特征子集对应输入至预设的包括T个输入通道的卷积层，利用第一特征融合公式对所述卷积层的各个输入通道获取的样本特征子集和对应的检测特征子集进行特征融合处理，以获取第一融合特征集；根据所述第一融合特征集在所述测试图像中确定N个目标对应的识别结果。进一步的，上述的图像识别方法，所述对所述N个标准样本单元和所述N个标准检测单元进行特征提取，包括：将所述N个标准样本单元输入至第一特征提取网络；将所述N个标准检测单元输入至第二特征提取网络；所述第一特征提取网络和第二特征提取网络之间共享参数。进一步的，上述的图像识别方法，所述第一特征融合公式如下：fcorr1，n代表所述第一融合特征集，t代表所述卷积层的第t个输入通道，t≤T，代表第n个样本特征集中输入至所述第t个输入通道的第t个样本特征子集，代表第n个检测特征集中输入至所述第t个输入通道的第t个检测特征子集，代表卷积运算。本专利技术的另一个实施例提出一种图像识别方法，所述获取N个样本特征集和对应的N个检测特征集之后，还包括：利用所述N个目标样本单元对应的掩模图像集过滤对应的N个样本特征集中的背景，以获取N个目标特征集，各个目标特征集包括T个目标特征子集；将所述T个目标特征子集和所述T个检测特征子集对应输入至所述卷积层，利用第二特征融合公式对所述卷积层的各个输入通道获取的目标特征子集和对应的检测特征子集进行特征融合处理，以获取第二融合特征集；根据所述第二融合特征集在所述测试图像中确定N个目标对应的识别结果。进一步的，上述的图像识别方法，所述第二特征融合公式如下：fcorr2，n代表所述第二融合特征集，t代表所述卷积层的第t个输入通道，t≤T，代表第n个目标特征集中输入至所述第t个输入通道的第t个目标特征子集，ftemplate2,n＝ftemplate1,n·fmask,n，fmask,n代表第n个掩模图像集，ftemplate1,n代表第n个样本特征集，·代表点乘运算，代表第n个检测特征集中输入至所述第t个输入通道的第t个检测特征子集，代表卷积运算。进一步的，上述的图像识别方法，根据第一融合特征集或第二融合特征集在所述测试图像中确定N个目标对应的识别结果，包括：根据相应融合特征集在所述测试图像中确定N个目标对应的目标边界框、目标边界框得分和目标的掩模图像；在各个目标对应K个尺寸的初始边界框时，根据以下公式确定第n个目标第k个尺寸对应的目标边界框的得分：代表第n个目标第k个尺寸对应的目标边界框的得分，代表第n个目标第k个尺寸对应的目标边界框的初始分数，代表第n个目标第k个尺寸对应的目标边界框的长宽比例和面积与第n个目标第k个尺寸的初始边界框的长宽比例和面积的相关函数，代表第n个目标第k个尺寸对应的目标边界框的中心坐标与第n个目标第k个尺寸的初始边界框的中心坐标之间距离的相关函数，α和β代表预设的惩罚系数。本专利技术的再一个实施例提出一种图像识别方法，所述测试图像通过以下方式获取：根据所述参考图像对应的第一拍摄位置和第一拍摄角度确定所述测试图像的第二拍摄位置和第二拍摄角度；所述第一拍摄位置与所述第二拍摄位置之间的距离小于等于预设的距离误差阈值，且所述第一拍摄角度与所述第二拍摄角度的之间的角度差值小于等于预设的角度误差阈值。本专利技术的又一个实施例提出一种图像识别装置，该装置包括：样本单元确定模块，用于从参考图像中确定N个目标样本单元；检测单元确定模块，用于根据所述N个目标样本单元在与所述参考图像对应的测试图像中确定对应的N个检测单元；标准化处理模块，用于对所述N个目标样本单元和所述N个检测单元进行标准化处理以获取N个标准样本单元和对应的N个标准检测单元；特征提取模块，用于对所述N个标准样本单元和所述N个标准检测单元进行特征提取，以获取N个样本特征集和对应的N个检测特征集，各个样本特征集包括T个样本特征子集，各个检测特征集包括T个检测特征子集；特征融合模块，用于将所述T个样本特征子集和所述T个检测特征子集对应输入至预设的包括T个输入通道的卷积层，利用第一特征融合公式对所述卷积层的各个输入通道获取的样本特征子集和对应的检测特征子集进行特征融合处理，以获取第一融合特征集；目标识别模块，用于根据所述第一融合特征集在所述测试图像中确定N个目标对应的识别结果。本专利技术实施例涉及一种终端设备，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序执行上述的图像识别方法。本专利技术实施例涉及一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行上述的图像识别方法。附图说明为了更清楚地说明本专利技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对本专利技术保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。图1示出了本专利技术实施例提供的一种图像识别方法的流程示意图；图2示出了本专利技术实施例提供的一种图像识别过程的过程示意图；图3示出了本专利技术实施例提供的另一种高精度的图像识别方法的流程示意图；图4示出了本专利技术实施例提供的一种高精度的图像识别过程的过程示意图；图5示出了本专利技术实施例提供的一种图像识别装置的结构示意图。主要元件符号说明：10-图像识别装置；100-样本单元确定模块；200-检测单元确定模块；本文档来自技高网...

【技术保护点】
1.一种图像识别方法，其特征在于，该方法包括：/n从参考图像中确定N个目标样本单元；/n根据所述N个目标样本单元在与所述参考图像对应的测试图像中确定对应的N个检测单元；/n对所述N个目标样本单元和所述N个检测单元进行标准化处理以获取N个标准样本单元和对应的N个标准检测单元；/n对所述N个标准样本单元和所述N个标准检测单元进行特征提取，以获取N个样本特征集和对应的N个检测特征集，各个样本特征集包括T个样本特征子集，各个检测特征集包括T个检测特征子集；/n将所述T个样本特征子集和所述T个检测特征子集对应输入至预设的包括T个输入通道的卷积层，利用第一特征融合公式对所述卷积层的各个输入通道获取的样本特征子集和对应的检测特征子集进行特征融合处理，以获取第一融合特征集；/n根据所述第一融合特征集在所述测试图像中确定N个目标对应的识别结果。/n

【技术特征摘要】
1.一种图像识别方法，其特征在于，该方法包括：
从参考图像中确定N个目标样本单元；
根据所述N个目标样本单元在与所述参考图像对应的测试图像中确定对应的N个检测单元；
对所述N个目标样本单元和所述N个检测单元进行标准化处理以获取N个标准样本单元和对应的N个标准检测单元；
对所述N个标准样本单元和所述N个标准检测单元进行特征提取，以获取N个样本特征集和对应的N个检测特征集，各个样本特征集包括T个样本特征子集，各个检测特征集包括T个检测特征子集；
将所述T个样本特征子集和所述T个检测特征子集对应输入至预设的包括T个输入通道的卷积层，利用第一特征融合公式对所述卷积层的各个输入通道获取的样本特征子集和对应的检测特征子集进行特征融合处理，以获取第一融合特征集；
根据所述第一融合特征集在所述测试图像中确定N个目标对应的识别结果。


2.根据权利要求1所述的图像识别方法，其特征在于，所述对所述N个标准样本单元和所述N个标准检测单元进行特征提取，包括：
将所述N个标准样本单元输入至第一特征提取网络；
将所述N个标准检测单元输入至第二特征提取网络；
所述第一特征提取网络和第二特征提取网络之间共享参数。


3.根据权利要求1所述的图像识别方法，其特征在于，所述第一特征融合公式如下：

fcorr1,n代表所述第一融合特征集，t代表所述卷积层的第t个输入通道，t≤T，代表第n个样本特征集中输入至所述第t个输入通道的第t个样本特征子集，代表第n个检测特征集中输入至所述第t个输入通道的第t个检测特征子集，代表卷积运算。


4.根据权利要求1所述的图像识别方法，其特征在于，所述获取N个样本特征集和对应的N个检测特征集之后，还包括：
利用所述N个目标样本单元对应的掩模图像集过滤对应的N个样本特征集中的背景，以获取N个目标特征集，各个目标特征集包括T个目标特征子集；
将所述T个目标特征子集和所述T个检测特征子集对应输入至所述卷积层，利用第二特征融合公式对所述卷积层的各个输入通道获取的目标特征子集和对应的检测特征子集进行特征融合处理，以获取第二融合特征集；
根据所述第二融合特征集在所述测试图像中确定N个目标对应的识别结果。


5.根据权利要求4所述的图像识别方法，其特征在于，所述第二特征融合公式如下：

fcorr2，n代表所述第二融合特征集，t代表所述卷积层的第t个输入通道，t≤T，代表第n个目标特征集中输入至所述第t个输入通道的第t个目标特征子集，ftemplate2,n＝ftemplate1,n·fmask,n，fmask,n代表第n个掩模图像集，ftemplate1,n代表第n个样本特征集，·代表点乘运算，代表第n个检测特征集中输入至...

【专利技术属性】
技术研发人员：吴华，梁方正，
申请(专利权)人：华北电力大学，
类型：发明
国别省市：北京;11