印制电路板组装缺陷检测、变化检测模型训练方法及装置制造方法及图纸

本公开提供一种印制电路板组装缺陷检测、变化检测模型训练方法及装置，涉及人工智能技术领域，具体涉及图像处理、图像检测、深度学习等技术领域，可应用于印刷电路板制造、印刷电路板检测等场景下。具体实现方案包括：获取印制电路板对应的目标图像；对目标图像进行切分，得到元器件对应的元器件图像；获取元器件的模板元器件图像；通过预设的变化检测模型，对元器件图像和模板元器件图像进行检测，得到元器件图像对应的至少一种缺陷类型的第一分类概率；根据元器件图像对应的至少一种缺陷类型的第一分类概率，确定元器件图像对应的目标缺陷类型。本公开可以大大提升缺陷检测的性能，提高印制电路板组装缺陷检测的精度。提高印制电路板组装缺陷检测的精度。提高印制电路板组装缺陷检测的精度。

【技术实现步骤摘要】
印制电路板组装缺陷检测、变化检测模型训练方法及装置


[0001]本公开涉及人工智能
，具体涉及图像处理、图像检测、深度学习等
，可应用于印刷电路板制造、印刷电路板检测等场景下，尤其涉及一种印制电路板组装缺陷检测、变化检测模型训练方法及装置。

技术介绍

[0002]印制电路板(printed circuit board，PCB)又称印刷线路板，是电子元器件电气相互连接的载体。PCB的制备过程可以称为印制电路板组装(pinted circuit board assembly，PCBA)。随着PCB的结构越来越复杂多样化，进行PCBA缺陷的检测可以有助于更好地把控PCB的质量。
[0003]目前，符合现代工业要求的PCBA缺陷检测方法主要包括：自动光学检测(automated optical inspection)技术、人工目视主观判定法、功能测试法、基于分类网络的图像识别方法等。

技术实现思路

[0004]本公开提供了一种印制电路板组装缺陷检测和变化检测模型训练方法及装置，能够大大提升缺陷检测的性能，提高印制电路板组装缺陷检测的精度，降低印制电路板组装缺陷的误报率，同时有效降低过杀率，提高直通率。
[0005]根据本公开的第一方面，提供了一种印制电路板组装缺陷检测方法，所述方法包括：
[0006]获取印制电路板对应的目标图像；根据印制电路板中至少一个元器件的位置，对目标图像进行切分，得到至少一个元器件对应的元器件图像；根据印制电路板的标识信息，从预设的模板图像集合中获取至少一个元器件的模板元器件图像，得到元器件图像对应的模板元器件图像；通过预设的变化检测模型，对元器件图像和元器件图像对应的模板元器件图像进行检测，得到元器件图像对应的至少一种缺陷类型的第一分类概率；根据元器件图像对应的至少一种缺陷类型的第一分类概率，确定元器件图像对应的目标缺陷类型。
[0007]根据本公开的第二方面，提供了一种变化检测模型训练方法，所述方法包括：
[0008]获取样本元器件图像、样本元器件图像的标注信息、以及样本元器件图像对应的样本模板图像，样本元器件图像中包括至少一种缺陷类型，标注信息用于指示样本元器件图像存在的缺陷类型；以样本元器件图像和样本模板图像作为输入、标注信息作为输出，对预设的变化检测网络进行训练，得到变化检测模型。
[0009]根据本公开的第三方面，提供了一种印制电路板组装缺陷检测装置，所述装置包括：
[0010]获取单元，用于获取印制电路板对应的目标图像；图像处理单元，用于根据印制电路板中至少一个元器件的位置，对目标图像进行切分，得到至少一个元器件对应的元器件图像；获取单元，还用于根据印制电路板的标识信息，从预设的模板图像集合中获取至少一
个元器件的模板元器件图像，得到元器件图像对应的模板元器件图像；检测单元，用于通过预设的变化检测模型，对元器件图像和元器件图像对应的模板元器件图像进行检测，得到元器件图像对应的至少一种缺陷类型的第一分类概率；检测单元，还用于根据元器件图像对应的至少一种缺陷类型的第一分类概率，确定元器件图像对应的目标缺陷类型。
[0011]根据本公开的第四方面，提供了一种变化检测模型训练装置，所述装置包括：
[0012]获取单元，用于获取样本元器件图像、样本元器件图像的标注信息、以及样本元器件图像对应的样本模板图像，样本元器件图像中包括至少一种缺陷类型，标注信息用于指示样本元器件图像存在的缺陷类型；训练单元，用于以样本元器件图像和样本模板图像作为输入、标注信息作为输出，对预设的变化检测网络进行训练，得到变化检测模型。
[0013]根据本公开的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面或第二方面所述的方法。
[0014]根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行根据第一方面或第二方面所述的方法。
[0015]根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据第一方面或第二方面所述的方法。
[0016]根据本公开的第八方面，提供了一种印制电路板组装缺陷检测系统，包括：边缘计算设备和AOI设备；AOI设备用于拍摄印制电路板对应的目标图像；边缘计算设备用于根据第一方面的方法，检测目标图像中的缺陷。
[0017]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0018]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0019]图1为本公开实施例提供的PCBA缺陷检测方法的流程示意图；
[0020]图2为本公开实施例提供的PCBA缺陷检测方法的另一流程示意图；
[0021]图3为本公开实施例提供的变化检测模型的组成示意图；
[0022]图4为本公开实施例提供的图1中S104的一种实现流程示意图；
[0023]图5为本公开实施例提供的图4中S401的一种实现流程示意图；
[0024]图6为本公开实施例提供的PCBA缺陷检测方法的又一流程示意图；
[0025]图7为本公开实施例提供的PCBA缺陷检测方法的又一流程示意图；
[0026]图8为本公开实施例提供的一种PCBA缺陷检测系统的组成示意图；
[0027]图9为本公开实施例提供的变化检测模型训练方法的流程示意图；
[0028]图10为本公开实施例提供的PCBA缺陷检测装置的组成示意图；
[0029]图11为本公开实施例提供的变化检测模型训练装置的组成示意图；
[0030]图12示出了可以用来实施本公开的实施例的示例电子设备1200的示意性框图。
具体实施方式
[0031]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0032]应当理解，在本公开各实施例中，字符“/”一般表示前后关联对象是一种“或”的关系。术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
[0033]印制电路板(printed circuit board，PCB)又称印刷线路板，是电子元器件电气相互连接的载体。PCB的制备过程可以称为印制电路板组装(pinted circuit board assembly，PCBA)。随着PCB的结构本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种印制电路板组装缺陷检测方法，所述方法包括：获取印制电路板对应的目标图像；根据所述印制电路板中至少一个元器件的位置，对所述目标图像进行切分，得到所述至少一个元器件对应的元器件图像；根据所述印制电路板的标识信息，从预设的模板图像集合中获取所述至少一个元器件的模板元器件图像，得到所述元器件图像对应的模板元器件图像；通过预设的变化检测模型，对所述元器件图像和所述元器件图像对应的所述模板元器件图像进行检测，得到所述元器件图像对应的至少一种缺陷类型的第一分类概率；根据所述元器件图像对应的至少一种缺陷类型的第一分类概率，确定所述元器件图像对应的目标缺陷类型。2.根据权利要求1所述的方法，所述变化检测模型包括：编码器、差异模块、以及解码器；所述通过预设的变化检测模型，对所述元器件图像和所述元器件图像对应的所述模板元器件图像进行检测，得到所述元器件图像对应的至少一种缺陷类型的第一分类概率，包括：将所述元器件图像和所述模板元器件图像在至少两种分辨率下的特征图输入所述编码器，通过所述编码器获取所述元器件图像和所述模板元器件图像在所述至少两种分辨率下的高维特征图；将所述元器件图像和所述模板元器件图像在所述至少两种分辨率下的高维特征图输入所述差异模块，通过所述差异模块获取所述元器件图像和所述模板元器件图像在所述至少两种分辨率下的特征差异图；将所述元器件图像和所述模板元器件图像在所述至少两种分辨率下的特征差异图输入所述解码器，通过所述解码器对所述特征差异图进行预测，得到所述元器件图像对应的至少一种缺陷类型的第一分类概率。3.根据权利要求2所述的方法，所述通过所述编码器获取所述元器件图像和所述模板元器件图像在所述至少两种分辨率下的高维特征图，包括：通过所述编码器对所述元器件图像和所述模板元器件图像在所述至少两种分辨率下的特征图进行位置编码，得到所述元器件图像在所述至少两种分辨率下的特征图对应的第一向量、第二向量和第三向量，以及，所述模板元器件图像在所述至少两种分辨率下的特征图对应的第四向量、第五向量和第六向量；通过所述编码器对所述第一向量、所述第二向量和所述第三向量进行多头注意力处理，得到第七向量、第八向量和第九向量，以及，对所述第四向量、所述第五向量和所述第六向量进行多头注意力处理，得到第十向量、第十一向量和第十二向量；通过所述编码器将所述第一向量、所述第二向量和所述第三向量，与所述第七向量、所述第八向量和所述第九向量进行残差连接后，进行层归一化和非线性变换，并在完成非线性变换后再次进行残差连接和层归一化，输出所述元器件图像在所述至少两种分辨率下的高维特征图，以及，将所述第四向量、所述第五向量和所述第六向量，与所述第十向量、所述第十一向量和所述第十二向量进行残差连接后，进行层归一化和非线性变换，并在完成非线性变换后再次进行残差连接和层归一化，输出所述模板元器件图像在所述至少两种分辨率下的高维特征图。
4.根据权利要求1
‑
3任一项所述的方法，所述通过预设的变化检测模型，对所述元器件图像和所述元器件图像对应的所述模板元器件图像进行检测之前，所述方法还包括：对所述元器件图像和所述模板元器件图像进行快速傅里叶变换，将所述元器件图像和所述模板元器件图像的空间域转换为频率域；将所述元器件图像频域的低频区域替换为所述模板元器件图像频域的低频区域；对所述元器件图像和所述模板元器件图像进行快速傅里叶逆变换，将所述元器件图像和所述模板元器件图像的频率域转换为空间域。5.根据权利要求1
‑
4任一项所述的方法，所述根据所述印制电路板的标识信息，从预设的模板图像集合中获取所述至少一个元器件的模板元器件图像之前，所述方法还包括：确定所述模板图像集合中存在所述印制电路板中元器件的模板元器件图像；当所述模板图像集合中不存在所述印制电路板中元器件的模板元器件图像时，所述方法还包括：通过预设的分类模型，对所述元器件图像进行分类，得到所述元器件图像对应的所述至少一种缺陷类型的第二分类概率；根据所述元器件图像对应的所述至少一种缺陷类型的第二分类概率，确定所述元器件图像对应的目标缺陷类型。6.根据权利要求1
‑
4任一项所述的方法，所述方法还包括：通过预设的分类模型，对所述元器件图像进行分类，得到所述元器件图像对应的所述至少一种缺陷类型的第二分类概率；所述根据所述元器件图像对应的至少一种缺陷类型的第一分类概率，确定所述元器件图像对应的目标缺陷类型，包括：以所述第一分类概率所占权重为第一权重、所述第二分类概率所占权重为第二权重，确定所述元器件图像对应的所述至少一种缺陷类型的目标分类概率；根据所述元器件图像对应的所述至少一种缺陷类型的目标分类概率，确定所述元器件图像对应的目标缺陷类型。7.根据权利要求1
‑
6任一项所述的方法，所述方法还包括：通过预设的字符识别模型，对所述目标图像进行识别，得到所述目标图像中包含的字符。8.根据权利要求1
‑
7任一项所述的方法，所述获取印制电路板对应的目标图像，包括：接收来自自动光学检测AOI设备的所述目标图像；其中，所述AOI设备包括：AOI数据存储模块和AOI信号存储模块；所述AOI设备拍摄到所述目标图像后，根据所述印制电路板的标识信息，将所述目标图像存储于所述AOI数据存储模块，并在所述AOI信号存储模块中新增所述标识信息；当所述AOI信号存储模块中新增了所述标识信息时，所述AOI设备根据所述标识信息发送所述AOI数据存储模块中的所述目标图像。9.根据权利要求8所述的方法，所述根据所述元器件图像对应的至少一种缺陷类型的第一分类概率，确定所述元器件图像对应的目标缺陷类型之后，所述方法还包括：向所述AOI设备发送检测结果，所述检测结果包括：所述元器件图像对应的目标缺陷类型；
其中，所述AOI设备还包括：AI结果存储模块和AI信号存储模块；所述AOI设备接收到所述检测结果后，根据所述印制电路板的标识信息，将所述检测结果存储于所述AI结果存储模块，并在所述AI信号存储模块中新增所述标识信息。10.一种变化检测模型训练方法，所述方法包括：获取样本元器件图像、所述样本元器件图像的标注信息、以及所述样本元器件图像对应的样本模板图像，所述样本元器件图像中包括至少一种缺陷类型...

【专利技术属性】
技术研发人员：吕天齐，聂磊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：