一种以图搜图的汽车线束连接器多特征融合图像检索方法技术

本发明专利技术公开了一种以图搜图的汽车线束连接器多特征融合图像检索方法，首先读取待检索图像；再利用YOLOv4网络提取ROI区域；然后计算待检索图像颜色特征和纹理特征；最后根据相似度计算公式在图片库中找出相似度值高的图片编号并输出。本发明专利技术实现针对给定的汽车线束连接器图像，能够在图像库中检索出最相近的图片，检索效率和检测准确率高。检索效率和检测准确率高。检索效率和检测准确率高。

【技术实现步骤摘要】
一种以图搜图的汽车线束连接器多特征融合图像检索方法


[0001]本专利技术涉及汽车线束连接器电气性能检测平台的制造领域，尤其涉及一种以图搜图的汽车线束连接器多特征融合图像检索方法。

技术介绍

[0002]在汽车线束连接器的电气性能检测平台制造过程中，为了测试线束中连接器的导通率，以及有无短路和错路现象，需要针对连接器设计和加工导通模块。检测平台制造企业根据客户的需求，不断积累了数以万计的导通模块数据，它们均以连接器图片和引脚数量为索引进行存储，因此若能有办法准确地从现有数据库中确认同款连接器，就可以避免重复的设计导通模块的工作，为企业降本增效。
[0003]现有的软件工具的使用流程通常是先人工确认连接器的引脚数量，然后根据引脚数量进行文本检索，最后在检索结果中再次进行人工搜索。复杂的连接器的引脚数量多达几十个，仅凭借引脚数量给出的检索结果数量多达上百种，人工方式效率低，错误率高。

技术实现思路

[0004]本专利技术的目的是提供一种以图搜图的汽车线束连接器多特征融合图像检索方法，首先利用YOLOv4网络求解连接器ROI区域，然后提取图片的颜色特征和纹理特征，最后根据综合加权的相似度值计算列举出相似度最高的十张图片；颜色特征部分设计了基于H/G颜色模型求取ROI区域颜色聚合向量的方法，纹理特征是首先计算上万张连接器的ROI区域的SURF特征，经聚类后构建BOW 词袋模型，然后将一张图片基于词袋模型的词频信息作为其纹理特征。实现针对给定的汽车线束连接器图片，能够在图像库中检索出最相近的十张图片，使用方便，检索效率和检测准确率都得到了提高。
[0005]本专利技术的目的通过如下技术方案实现：
[0006]一种以图搜图的汽车线束连接器多特征融合图像检索方法，包含以下步骤：
[0007]读取待检索图像；
[0008]利用YOLOv4网络提取ROI区域；
[0009]计算待检索图像颜色特征和纹理特征；
[0010]根据相似度计算公式在图片库中找出相似度值高的图片编号并输出。
[0011]进一步的，所述图片库的建立包括：
[0012]一、采集线束连接器的孔面图像I
ROI
，利用YOLOv4网络提取线束连接器所在区域，将其作为图像I的ROI区域，记为I
ROI
；
[0013]二、计算颜色特征和纹理特征；
[0014]创建一维H/G颜色模型，将其量化后根据量化值计算图像I
ROI
的CCV颜色聚合向量作为颜色特征；
[0015]对图像I
ROI
进行中值滤波后利用大津法进行二值化，再采用canny算子进行边缘检测，对边缘检测后的图像提取SURF特征，计算已有连接器的I
ROI
的图像的SURF特征，经k
‑
means聚类为k个类，然后构建BOW词袋模型计算纹理特征；
[0016]三、将每一个连接器对应一条记录建立图片库，每条记录保存连接器编号、图片、颜色特征和纹理特征；
[0017]更进一步的，所述的步骤一中利用YOLOv4网络提取连接器的I
ROI
图像的实现过程如下：
[0018](一)、采用工厂常年累积的线束连接器图像构建一个线束连接器数据集。针对数据集图片，首先图像进行缩放操作，产生固定尺寸的图像I
′
，设其大小为w
I
′
*h
I
′
，然后利用LabelImg对图片中线束连接器所在的位置进行标注，标注信息包括目标框的左上角坐标位置，框的宽w和高h，类编号。因为只需要确定线束连接器在待检测图像中的具体位置，所以将所有线束连接器标记为一类。
[0019](二)、标注完数据集中的所有图片后，按9：1的比例划分训练集和测试集。再利用mosaic数据增强技术，丰富训练集中连接器的背景信息，然后输出每张图片所对应的xml文件，保存标注信息。
[0020](三)、输入训练集中的图片，通过正向传播计算预测结果。再利用CIOU 损失函数，测量出目标框A和预测框之间的中心点距离和它们的宽高差异。 IOU的定义如下：
[0021][0022]设是目标框A与预测框的中心点的欧式距离；c为同时包含预测框和目标框的最小闭包区域的对角线距离；为预测框的宽；为预测框的高，令损失值L
CIOU
为
[0023][0024]其中：α是权重函数，v是用来度量宽高比的相似性，分别定义如下：
[0025][0026][0027]计算完误差后，通过反向传播对YOLOv4网络的权重进行调整，直至迭代次数达到最大次数。测试集用于训练正确率的验证与可视化。
[0028](四)、将待检索图像直接送入训练得到的网络模型，即可计算得到图像中所包含连接器的预测框，该预测框所处的位置即为求取的I
ROI
。
[0029]更进一步的，所述的步骤二中计算颜色特征过程如下：创建的一维H/G颜色模型是针对图像I
ROI
中的某一像素点I
r
描述其颜色特征的方法，它综合了 HSV颜色模型和灰度图像的描述方法。
[0030]在RGB颜色模型下的三通道的值分别为R、G、B，其中R为红色，G为绿色，B为蓝色，R∈[0,255]，G∈[0,255]，B∈[0,255]。
[0031]根据RGB图像可以计算灰度图像，公式如下：
[0032]G
gray
＝0.299R+0.587G+0.114B
[0033]在HSV颜色模型下的三通道值分别为H、S、V，其中H为色度，S为饱和度，V为亮度，根据RGB图像可以获取其HSV图像，公式如下：
[0034]V＝max(R,G,B)
[0035][0036][0037]利用opencv中的函数求解HSV颜色空间H∈[0,180)，S∈[0,255]，V∈[0,255]。
[0038]观察HSV空间，当像素点I
r
的颜色鲜明时，用色度H可以很好地描述其色彩，但当像素点I
r
的颜色灰暗时，其色彩不明，分辨率降低，此时用灰度G
gray
来表示其颜色特征，明显优于色度H。H/G模型就是寻找一条直线，当像素点I
r
位于直线上方时，取其色度H，位于直线下方时取其灰度G
gray
。设H/G模型在S和V 平面的直线方程为：
[0039][0040]其中，k1是用来平衡饱和度和亮度的权重经验系数，λ为截距系数。根据 H/G颜色模型的定义，颜色特征可以采用一维颜色数据来描述，取值范围如下：
[0041][0042]其中，λ
threshoλd
为经验参数。
[0043]综上所述的，HG取值范围为0～435，本方法将该范围量化为24个等级，方法如下：
[0044][0045]基于四连通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种以图搜图的汽车线束连接器多特征融合图像检索方法，其特征在于，包括：读取待检索图像；利用YOLOv4网络提取ROI区域；计算待检索图像颜色特征和纹理特征；根据相似度计算公式在图片库中找出相似度值高的图片编号并输出。2.如权利要求2所述以图搜图的汽车线束连接器多特征融合图像检索方法，其特征在于，所述图片库的建立包括：一、采集线束连接器的孔面图像I
ROI
，利用YOLOv4网络提取线束连接器所在区域，将其作为图像I的ROI区域，记为I
ROI
；二、计算颜色特征和纹理特征；创建一维H/G颜色模型，将其量化后根据量化值计算图像I
ROI
的CCV颜色聚合向量作为颜色特征；对图像I
ROI
进行中值滤波后利用大津法进行二值化，再采用canny算子进行边缘检测，对边缘检测后的图像提取SURF特征，计算已有连接器的I
ROI
的图像的SURF特征，经k
‑
means聚类为k个类，然后构建BOW词袋模型计算纹理特征；三、将每一个连接器对应一条记录建立图片库，每条记录保存连接器编号、图片、颜色特征和纹理特征。3.根据权利要求2所述一种以图搜图的汽车线束连接器多特征融合图像检索方法，其特征在于，所述的步骤一中利用YOLOv4网络提取线束连接器所在区域过程如下：首先，采用累积的线束连接器图片构建一个线束连接器数据集，再对数据集内的图片进行缩放操作，产生固定尺寸的图像I
′
，设其大小为w
I
′
*h
I
′
，然后利用LabelImg对图片中线束连接器所在的位置进行标注，标注信息包括目标框的左上角坐标位置，框的宽w和高h，类编号；然后，标注完数据集中的所有图片后，按比例划分训练集和测试集；再利用mosaic数据增强技术，丰富训练集中连接器的背景信息，然后输出每张图片所对应的xml文件，保存标注信息；然后，输入训练集中的图片至YOLOv4网络，通过正向传播计算预测结果；再利用CIOU损失函数，测量出目标框A和预测框之间的中心点距离和它们的宽高差异；IOU的定义如下：设是目标框A与预测框的中心点的欧式距离；c为同时包含预测框和目标框的最小闭包区域的对角线距离；为预测框的宽；为预测框的高，令损失值L
CIOU
为其中：α是权重函数，v是用来度量宽高比的相似性，分别定义如下：
计算完误差后，通过反向传播对YOLOv4网络的权重进行调整，直至迭代次数达到最大次数；最后，将待检索图片直接送入训练得到的网络模型，即可计算得到图像中所包含连接器的预测框，该预测框所处的位置即为求取的I
ROI
。4.根据权利要求2所述一种以图搜图的汽车线束连接器多特征融合图像检索方法，其特征在于，所述的步骤二中计算颜色特征包括：在RGB颜色模型下的三通道的值分别为R、G、B，其中R为红色，G为绿色，B为蓝色，R∈[0,255]，G∈[0,255]，B∈[0,255]。根据RGB图像可以计算灰度图像，公式如下：G
gray
＝0.299R+0.587G+0.114B在HSV颜色模型下的三通道值分别为H、S、V，其中H为色度，S为饱和度，V为亮度，根据RGB图像可以获取其HSV图像，公式如下：V＝max(R,G,B)V＝max(R,G,B)利用opencv中的函数求解HSV颜色空间H∈[0,180)，S∈[0,255]，V∈[0,255]；观察HSV空间，当像素点I
r
的颜色鲜明时，用色度H描述其色彩，当像素点I
r
的颜色灰暗时，用灰度G
gray
来表示其颜色特征，设H/G模型在S和V平面的直线方程为：其中，k1是用来平衡饱和度和亮度的权重经验系数，λ为截距系数；根据H/G颜色模型的定义，颜色特征可以采用一维颜色数据来描述，取值范围如下：其中，λ
threshoλd
为经验参数。HG取值范围为0～435，将该范围量化为24个等级，方法如下：
基于四连通域，求解CCV颜色聚合向量，规定为：若像素点I
r
的HG值与其四邻域内像素点的值均不相同，则定义I
r
为非聚合像素点；若其四邻域内的像素点的HG值有一个与I
r
的值相同，则为I
r
聚合像素点；图像I
ROI
的颜色聚合向量f(I
ROI
)表示为：f(I
ROI
)＝<(C0,N0),....,...

【专利技术属性】
技术研发人员：洪伟，李殿博，汪明昕，
申请(专利权)人：吉林大学，
类型：发明
国别省市：