一种柔性IC基板字符识别和信息解析方法技术

本发明专利技术公开了一种柔性IC基板字符识别和信息解析方法，包含以下步骤：采集IC基板彩色图像，进行文字区域粗定位；从原图中裁剪文字区域图像，进行连通域分析；进行上下边界及左右边界精定位；使用卷积网络进行特征提取；分割图像成序列；输入循环神经网络获得字符预测结果；对结果序列解码获得最终识别结果；按设计规则对最终字符识别结果进行划分并与标准库比对；获得最终识别结果与元件关键信息解析结果。本发明专利技术解决了传统的字符识别算法容易受到环境因素的影响导致泛化性能差的问题，且适用于变长字符串的检测，大大提高了检测的准确性，并能够有效解析字符串所含电路元件关键信息。

A method of character recognition and information analysis for flexible IC substrate

【技术实现步骤摘要】
一种柔性IC基板字符识别和信息解析方法
本专利技术涉及计算机视觉领域，特别涉及一种柔性IC基板字符识别和信息解析方法。
技术介绍
由于电子产品自身的精密性要求，所以在产品的生产过程中各道工序都环环相扣，那么就必须保证每道工序的质量。柔性IC基板上的字符标识了电容、电感、芯片等电路元件的类型、容量大小、封装类型等重要信息，因此对其进行检测是非常重要的一环，然而基于传统的字符识别算法容易受到各种因素的影响，泛化性能差。
技术实现思路
本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种柔性IC基板字符识别和信息解析方法。本专利技术的目的通过以下的技术方案实现：一种柔性IC基板字符识别和信息解析方法，包含以下步骤：S1、运动模组以匀速的方式带动图像采集系统运动，同时工控机控制CCD相机采集放置于吸附平台上的柔性IC基板的彩色图像；S2、把采集到的每一帧图像分别作为输入，利用训练出的光学字符定位模型进行文字区域粗定位，获得每张图像中文字区域的中心位置坐标和宽高的偏移量共4个预测值；所述4个预测值具体为：中心位置的行坐标x、列坐标y，行坐标偏移量dx，列坐标偏移量dy；S3、根据粗定位得到的4个预测值，将文字区域从原彩色图像中裁剪出来，并在裁剪的时候将定位出来的区域按比例进行扩充，防止因为粗定位不准导致的文字区域裁剪不全；S4、对每张从原彩色图像裁剪出来的文字区域图像进行二值化，然后进行连通域分析寻找满足字符长宽比的轮廓，并记录下轮廓的顶点；S5、将检测出的所有顶点标定到对应的裁剪出的文字区域图像上，进行直线拟合，得到字符区域上下边界的精确定位；S6、统计每张文字区域图像每列的像素值之和，并找到合适的峰值点，进行字符区域左右边界的精确定位；S7、将精定位之后的图像输入卷积网络进行特征提取，输出特征图；S8、将特征图分成一系列图像序列，输入基于长短期记忆单元的循环神经网络，得到字符预测结果序列；S9、对字符预测结果序列进行解码获得最终的字符识别结果；S10、将所有获得的最终字符识别结果分别与标准文件进行比对，判断出柔性IC基板上字符是否印制正确；S11、将每个字符识别结果按照字符的设计规则划分成若干子字符串；S12、把每个子字符串与模板库中的字符串进行比对，识别电子元件的信息；所述电子元件的信息包括类型、容量大小、封装类型；S13、获得柔性IC基板字符的最终识别结果与元件关键信息解析结果。步骤S1中，所述CCD相机是以如下方式采集放置于吸附平台上的柔性IC基板的彩色图像：事先设置好每一帧图像拍摄的范围大小以及拍摄的具体位置并规划好拍摄路径，使得拍摄的每帧图像包含的电路元件相同。步骤S2中，所述光学字符定位模型是通过提取图像的Harr特征，使用基于adaboost算法的级联分类器训练出来的。步骤S4中，所述对每张从原彩色图像裁剪出来的文字区域图像进行二值化，具体为：基于大津法对图像进行连续的15次二值化。步骤S5中，所述直线拟合，具体为：采用随机抽样一致算法对文字区域图像的上下两部分的顶点进行直线拟合。步骤S6中，所述合适的峰值点，是指最靠近左右边界的两个峰值点。步骤S7中，所述将精定位之后的图像输入卷积网络进行特征提取，是指使用基于vgg16网络进行微调后得到的网络对图像进行处理。步骤S8中，所述图像序列，是指将得到的文字区域图像，按照纵向方向分割成宽度一样的图像切片，分割后得到的图像呈长条形。步骤S9中，所述对字符预测结果序列进行解码，是指对基于长短期记忆单元的循环神经网络预测出来的字符串进行多余字符的识别和删除，最终得到预测结果。步骤S10中，所述柔性IC基板上字符，其印制不正确的情形包括字符缺失、错印、多印。步骤S12中，所述模板库存放了所有可能会被使用到的标准的电路元件名称字符串、封装类型字符串、间隔符信息。本专利技术与现有技术相比，具有如下优点和有益效果：本专利技术提出使用深度学习循环神经网络的方法进行检测，大大提高了检测的准确性和算法的泛化能力，并且还能有效的进行字符串解析给出元件的关键信息。附图说明图1是本专利技术所述一种柔性IC基板字符识别和信息解析方法的流程图。图2是随机抽样一致性算法的流程图。具体实施方式下面结合实施例及附图对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于此。如图1、2所示，一种柔性IC基板字符识别和信息解析方法，包含以下步骤：S1、运动模组以匀速的方式带动图像采集系统运动，同时工控机控制CCD相机采集放置于吸附平台上的柔性IC基板的彩色图像；S2、把采集到的每一帧图像分别作为输入，利用训练出的光学字符定位模型进行文字区域粗定位，获得每张图像中文字区域的中心位置坐标和宽高的偏移量共4个预测值；S3、根据粗定位得到的4个预测值，将文字区域从原彩色图像中裁剪出来，并在裁剪的时候将定位出来的区域按比例进行扩充，防止因为粗定位不准导致的文字区域裁剪不全；S4、对每张从原彩色图像裁剪出来的文字区域图像进行二值化，然后进行连通域分析寻找满足字符长宽比的轮廓，并记录下轮廓的顶点；S5、将检测出的所有顶点标定到对应的裁剪出的文字区域图像上，进行直线拟合，得到字符区域上下边界的精确定位；S6、统计每张文字区域图像每列的像素值之和，并找到合适的峰值点，进行字符区域左右边界的精确定位；S7、将精定位之后的图像输入卷积网络进行特征提取，输出特征图；S8、将特征图分成一系列图像序列，输入基于长短期记忆单元的循环神经网络，得到字符预测结果序列；S9、对字符预测结果序列进行解码获得最终的字符识别结果；S10、将所有获得的最终字符识别结果分别与标准文件进行比对，判断出柔性IC基板上字符是否印制正确；S11、将每个字符识别结果按照字符的设计规则划分成若干子字符串；S12、把每个子字符串与模板库中的字符串进行比对，识别电子元件的信息；所述电子元件的信息包括类型、容量大小、封装类型；S13、获得柔性IC基板字符的最终识别结果与元件关键信息解析结果。步骤S1中，所述CCD相机是以如下方式采集放置于吸附平台上的柔性IC基板的彩色图像：事先设置好每一帧图像拍摄的范围大小以及拍摄的具体位置并规划好拍摄路径，使得拍摄的每帧图像包含的电路元件相同。步骤S2中，所述光学字符定位模型是通过提取图像的Harr特征，使用基于adaboost算法的级联分类器训练出来的。步骤S4中，所述对每张从原彩色图像裁剪出来的文字区域图像进行二值化，具体为：基于大津法对图像进行连续的15次二值化。步骤S5中，所述直线拟合，具体为：采用随机抽样一致算法对文字区域图像的上下两部分的顶点进行直线拟合。步骤S6中，所述合适的峰值点，是指最靠近左右边界的两个峰值点。步骤S7中，本文档来自技高网...

【技术保护点】
1.一种柔性IC基板字符识别和信息解析方法，其特征在于，包含以下步骤：/nS1、运动模组以匀速的方式带动图像采集系统运动，同时工控机控制CCD相机采集放置于吸附平台上的柔性IC基板的彩色图像；/nS2、把采集到的每一帧图像分别作为输入，利用训练出的光学字符定位模型进行文字区域粗定位，获得每张图像中文字区域的中心位置坐标和宽高的偏移量共4个预测值；/nS3、根据粗定位得到的4个预测值，将文字区域从原彩色图像中裁剪出来，并在裁剪的时候将定位出来的区域按比例进行扩充，防止因为粗定位不准导致的文字区域裁剪不全；/nS4、对每张从原彩色图像裁剪出来的文字区域图像进行二值化，然后进行连通域分析寻找满足字符长宽比的轮廓，并记录下轮廓的顶点；/nS5、将检测出的所有顶点标定到对应的裁剪出的文字区域图像上，进行直线拟合，得到字符区域上下边界的精确定位；/nS6、统计每张文字区域图像每列的像素值之和，并找到合适的峰值点，进行字符区域左右边界的精确定位；/nS7、将精定位之后的图像输入卷积网络进行特征提取，输出特征图；/nS8、将特征图分成一系列图像序列，输入基于长短期记忆单元的循环神经网络，得到字符预测结果序列；/nS9、对字符预测结果序列进行解码获得最终的字符识别结果；/nS10、将所有获得的最终字符识别结果分别与标准文件进行比对，判断出柔性IC基板上字符是否印制正确；/nS11、将每个字符识别结果按照字符的设计规则划分成若干子字符串；/nS12、把每个子字符串与模板库中的字符串进行比对，识别电子元件的信息；所述电子元件的信息包括类型、容量大小、封装类型；/nS13、获得柔性IC基板字符的最终识别结果与元件关键信息解析结果。/n...

【技术特征摘要】
1.一种柔性IC基板字符识别和信息解析方法，其特征在于，包含以下步骤：
S1、运动模组以匀速的方式带动图像采集系统运动，同时工控机控制CCD相机采集放置于吸附平台上的柔性IC基板的彩色图像；
S2、把采集到的每一帧图像分别作为输入，利用训练出的光学字符定位模型进行文字区域粗定位，获得每张图像中文字区域的中心位置坐标和宽高的偏移量共4个预测值；
S3、根据粗定位得到的4个预测值，将文字区域从原彩色图像中裁剪出来，并在裁剪的时候将定位出来的区域按比例进行扩充，防止因为粗定位不准导致的文字区域裁剪不全；
S4、对每张从原彩色图像裁剪出来的文字区域图像进行二值化，然后进行连通域分析寻找满足字符长宽比的轮廓，并记录下轮廓的顶点；
S5、将检测出的所有顶点标定到对应的裁剪出的文字区域图像上，进行直线拟合，得到字符区域上下边界的精确定位；
S6、统计每张文字区域图像每列的像素值之和，并找到合适的峰值点，进行字符区域左右边界的精确定位；
S7、将精定位之后的图像输入卷积网络进行特征提取，输出特征图；
S8、将特征图分成一系列图像序列，输入基于长短期记忆单元的循环神经网络，得到字符预测结果序列；
S9、对字符预测结果序列进行解码获得最终的字符识别结果；
S10、将所有获得的最终字符识别结果分别与标准文件进行比对，判断出柔性IC基板上字符是否印制正确；
S11、将每个字符识别结果按照字符的设计规则划分成若干子字符串；
S12、把每个子字符串与模板库中的字符串进行比对，识别电子元件的信息；所述电子元件的信息包括类型、容量大小、封装类型；
S13、获得柔性IC基板字符的最终识别结果与元件关键信息解析结果。


2.根据权利要求1所述柔性IC基板字符识别和信息解析方法，其特征在于，步骤S1中，所述CCD相机是以如下方式采集放置于吸附平台上的柔性IC基板的彩色图像：事先设置好每一帧图像拍摄的范围大小以及...

【专利技术属性】
技术研发人员：胡跃明，郭怀勇，
申请(专利权)人：华南理工大学，广州现代产业技术研究院，
类型：发明
国别省市：广东;44