一种基于深度学习的PCB图像字符检测方法技术

本发明专利技术提供了一种基于深度学习的PCB图像字符检测方法。所述方法包括：构建PCB字符检测网络，将待检测的PCB图像输入训练好的网络中；网络通过下采样生成不同尺寸的特征图，并逐层上采样融合特征；通过字符检测头与边框检测头分别得到字符分布热力图与边框分布热力图；将两个热力图逐像素相减，得到最终的字符分布热力图；利用预设的阈值对热力图进行二值化处理，判断该位置上是否存在字符及其边缘位置,得到字符检测结果；利用字符识别网络ASTER识别字符，并将字符信息存入数据库。本发明专利技术设计的PCB字符检测网络与ASTER字符识别网络相结合，完成了PCB图像字符检测、识别、字符信息入库任务，进而实现PCB残片图像溯源。

【技术实现步骤摘要】
一种基于深度学习的PCB图像字符检测方法
本专利技术属于计算机视觉的字符检测
，具体涉及一种基于深度学习的PCB字符检测技术。
技术介绍
爆炸案件极具破坏性，是公安部门关注的重点，及时侦破此类案件具有重要意义。遥控器、定时器等作为爆炸装置的关键组件，炸后现场物证中会有这类组件的印刷电路板(PrintedCircuitBoard，PCB)残片。残片溯源，即找出与残片同型号整板的相关信息，能够为案件侦破提供线索；而利用计算机视觉技术进行PCB残片图像溯源是一种高效的办案方式。不同于一般的图像检索与识别，PCB残片溯源，由于残片与同型号PCB整板面积尺寸相差悬殊，特征极不对等，且残片位置形状随机，很难与同型号整板配准，这就使PCB残片图像识别成为一个视觉难点。但对于有印刷字符的PCB残片，其字符检测与识别是一个可行的溯源方式：字符检测与识别，不受图像配准等约束的限制。因而，检测并识别PCB残片图像上的字符，并利用字符识别结果检索整板PCB图像，利用匹配PCB整板的预存信息，得到残片相关信息，是解决电路板残片溯源难题的一种可行且有效的方式。PCB图像字符检测，虽然也属视觉中字符检测任务，但有其特殊性：(1)自然场景图像中字符尺寸一般较大，PCB图像中字符相对较小；而且深度学习模型与训练数据集密切相关，现有基于深度学习的字符检测模型，其训练集中并无PCB图像数据，因而用其检测PCB图像中字符，漏检不可避免。(2)PCB图像中标注线、导线、焊点众多，神经网络容易将这些因素与字符混淆，产生误检。因此，需要提出一种能很好地适用于PCB图像的字符检测任务。
技术实现思路
电路板品种繁多，字符大小与分布位置没有统一规范，而且电路板上存在各种可能的检测干扰，例如，元件管脚、标线及焊接点的特征与字符特征有相似性，简单特征难以区分。为了得到准确的字符检测结果，本专利技术在设计电路板字符检测方案时充分考虑了电路板图像的特点，提出了基于深度学习的字符检测方案，设计实现了一个针对PCB图像字符检测的网络模型，以提取字符区域更具表征力的深度特征，提高字符检测准确率。在检测过程中，首先，用训练得到的网络模型提取图像特征，以得到不同尺度的图像特征；其次，逐层进行不同尺度的特征融合，以得到同时具有高层抽象信息和低层细节信息的特征图，用于对字符位置进行预测；第三，准确识别检测字符，需要捕捉单行字符区域，为防止多行字符被检测成一个连通区域，设计网络结构采用两个检测头，分别预测字符区域和字符边界框分布区域热力图；第四，将两个预测热力图逐像素相减，将差值图作为新的字符分布热力图，该字符分布热力图上不同行字符之间区域的像素值被降低，在此图上分割字符区域，能够很好地区分不同行的字符区域。最后，根据设定阈值和字符分布热力图，定位PCB图像字符区域，完成PCB图像字符检测任务。在网络模型优化过程中，为了让网络更好地学习PCB图像中字符的特点，本专利技术采用均方误差损失函数逐像素点约束预测热力图，采用单尺度结构相似性从局部结构模式相似性约束预测热力图，以得到高性能的PCB字符检测网络模型。由于深度网络模型训练需要大量的数据样本，因此本专利技术首先尽可能地收集了PCB图像数据，并进行字符位置的标注；其次，为增加样本数量，采用图像旋转的策略进行了数据增强；第三，采用了随机裁剪和多尺度的训练策略与重叠裁剪再拼接和多尺度的测试策略弥补数据的不足。将所设计的PCB字符检测网络与ASTER字符识别网络相结合，实现PCB图像字符检测、识别、字符信息入库任务，集成到相关爆炸残片分析系统可进行PCB残片图像自动溯源。本专利技术充分考虑了PCB图像的特点，在不同种类的PCB图像上能准确检测字符区域，在包含1777个目标区域的50幅PCB图像中进行字符检测，准确率为95.6％，召回率为92.4％。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例中一种基于深度学习的PCB图像字符检测流程图；图2为本专利技术实施例中基于ResNet的PCB图像字符检测网络框架图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。S101：构建字符检测网络，将待检测图像输入字符检测网络。本专利技术设计的字符检测网络结构如图2所示，分为三部分：下采样特征提取，上采样特征整合，以及网络末端的检测头。S102：通过下采样生成不同尺寸的特征图，将得到的特征图进行拼接、上采样与特征融合。其中，在下采样特征提取部分中，采用ResNet结构作为骨干网络，以解决梯度弥散问题。首先，在由下至上通路中，输入的图像通过6层卷积神经网络在各个CNN网络层生成不同尺寸的特征图；其次，在自上而下通路中，采用3层上采样卷积层逐层对由下至上通路中得到的特征图进行拼接、上采样与特征融合。这样的结构设计，使得每一个网络层既能得到深层的语义信息，又能得到浅层的细节信息。S103：通过字符分布检测头得到字符分布热力图，通过字符边框分布检测头得到字符边框热力图。在网络末端的检测头部分中，加入了字符分布检测头与字符边框分布检测头，使网络同时输出字符分布热力图与字符边框热力图，自适应地对字符边界进行定位。在将输出的特征图送入两个检测头的过程中，为了减少参数数量，可以先采用1个卷积层对特征图进行降维，之后采用2个卷积层分别生成得到字符分布和字符边框分布的热力图S104：将字符分布热力图与字符边框分布热力图逐像素相减，得到最终的字符分布热力图。由于电路板上的字符分布较为密集，因此会出现网络将多行字符检测为单行字符的情况。为了能更好地捕捉单行字符区域，并将密集的字符区域区分开，本专利技术用字符分布热力图Stext与字符边框分布热力图Sbox进行逐像素的相减，得到最终的字符分布热力图式中，(x,y)表示像素点坐标。该策略有效地降低了字符分布热力图中字符边框区域的像素值，使得热力图中多行的字符之间区域的像素值被降低，避免了在热力图中多行字符区域之间相粘连的问题，网络能以自适应的方式得到字符分布热力图。这不仅有效地解决了字符边界阈值设定的问题，而且还能有效防止将多行字符检测为一行字符的错误。S105：利用预设的字符阈值与字符边缘阈值对字符分布热力图进行二值化处理，通过字符阈值判断该位置上是否存在字符，通过字符边缘阈值判断字符的边缘位置,得到字符检测结果。最终的字符检测框是在模型预测的字符分布热力图上确定的，需要预设两个阈值：字符阈值与字符边缘阈值。字符阈值用于判本文档来自技高网...

【技术保护点】
1.一种基于深度学习的PCB图像字符检测方法，其特征在于，所述方法包括以下步骤：/n步骤1，构建PCB字符检测网络，将待检测的PCB图像输入训练好的字符检测网络；/n步骤2，在PCB字符检测网络中，通过下采样生成不同尺寸的特征图，将得到的特征图进行拼接、上采样与特征融合；/n步骤3，通过PCB字符检测网络中的字符分布检测头得到字符分布热力图，通过PCB字符检测网络中的字符边框分布检测头得到字符边框热力图；/n步骤4，将字符分布热力图与字符边框分布热力图逐像素相减，得到最终的字符分布热力图；/n步骤5，利用预设的字符阈值与字符边缘阈值对字符分布热力图进行二值化处理，通过字符阈值判断该位置上是否存在字符，通过字符边缘阈值判断字符的边缘位置,得到字符检测结果；/n步骤6，利用字符识别网络ASTER识别字符，并将字符信息存入数据库。/n

【技术特征摘要】
1.一种基于深度学习的PCB图像字符检测方法，其特征在于，所述方法包括以下步骤：
步骤1，构建PCB字符检测网络，将待检测的PCB图像输入训练好的字符检测网络；
步骤2，在PCB字符检测网络中，通过下采样生成不同尺寸的特征图，将得到的特征图进行拼接、上采样与特征融合；
步骤3，通过PCB字符检测网络中的字符分布检测头得到字符分布热力图，通过PCB字符检测网络中的字符边框分布检测头得到字符边框热力图；
步骤4，将字符分布热力图与字符边框分布热力图逐像素相减，得到最终的字符分布热力图；
步骤5，利用预设的字符阈值与字符边缘阈值对字符分布热力图进行二值化处理，通过字符阈值判断该位置上是否存在字符，通过字符边缘阈值判断字符的边缘位置,得到字符检测结果；
步骤6，利用字符识别网络ASTER识别字符，并将字符信息存入数据库。


2.如权利要求1所述的基于深度学习的PCB图像字符检测方法，其特征在于，在由下至上通路中，输入的图像通过6层卷积神经网络在各个CNN网络层生成不同尺寸的特征图；在自上而下通路中，采用3层上采样卷积层逐层对由下至上通路中得到的特征图进行拼接、上采样与特征融合；将输出的特征图送入两个检测头中，先采用1个卷积层对特征图进行降维，之后采用2个卷积层分别生成得到字符分布和字符边框分布的热力图。


3.如权利要求1所述的基于深度学习的PCB图像字符检测方法，其特征在于，在步骤5中，设定字符阈值为0.7，字符边缘阈值为0.3。


4.如权利要求1所述的基于深度学习的PCB图像字符检测方法，其特征在于，在PCB字符检测网络训练过程中，采用数据增强和多尺度的训练策略扩展数据集，具体为：
在数据集中加入没有字符且包含管脚、焊点等干扰的PCB图像，使正负样本平衡；将PCB图像在四个方向上进行旋转，扩充数据集；对图像进行多尺度的数据增强，将原图像进行不同尺度的缩放(0.8x、1.0x、1.2x)；采用随机裁剪的方式进行数据增强，保持图像大小一致，同时进行数据增强。


5.如权利要求1所述的基于深度学习的PCB图像字符检测方法，其特征在于，在字符检测过程中，采用多尺度和图像裁剪再拼接的方法进行预测，具体为：
将待检测的PCB图像放缩为不同尺度(0.5x、1.0x、1.5x)输入字符检测网络进行字符检测；再将由各尺度图像得到的字符分布热力图恢复为原图像大小，并加权求和，生成最终的字符分布热力图。加权求和计算式为：



式中，分别表示测试时0.5x，1x，1.5x尺寸下得到...

【专利技术属性】
技术研发人员：张滨宇，赵衍运，潘炎辉，赵志诚，苏菲，孙玉友，
申请(专利权)人：北京邮电大学，公安部物证鉴定中心，
类型：发明
国别省市：北京;11