一种喷墨打印线路缺陷识别方法及工艺调控方法技术

本发明专利技术公开了一种喷墨打印线路缺陷识别方法及工艺调控方法，首先搭建采用透明基底的喷墨打印装置和多目视觉采集装置，通过多目视觉采集装置一定数量具有已知缺陷的喷墨打印线路的多视角二维视觉图像；通过多视角二维视觉图像对喷墨打印线路表面进行三维重建，得到三维点云模型；通过人工智能学习识别喷墨打印线路缺陷类型；根据所识别的缺陷类型对喷墨打印装置的打印参数进行调整，突破了现有设备的诸多局限性，节省原材料并提升器件性能和产品良率。并以给定的质量标准作为参照，实时优化打印参数，最终达到改善喷墨打印质量、提高产品良率、减少耗材浪费等目的。减少耗材浪费等目的。减少耗材浪费等目的。

【技术实现步骤摘要】
一种喷墨打印线路缺陷识别方法及工艺调控方法


[0001]本专利技术属于电子制造领域，涉及一种柔性电子制造工艺调控技术，尤其涉及一种喷墨打印线路缺陷识别方法及工艺调控方法，用于通过多目视觉采集装置采集喷墨打印线路的多视角二维视觉图，然后基于多视角二维视觉图进行三维重建，基于重建三维模型进行缺陷视觉识别，根据识别的缺陷类型进行喷墨打印参数调整，以提供喷墨打印质量。

技术介绍

[0002]喷墨打印技术自上世纪中叶出现，发展至今已成为一种可用于加工电子器件的制造技术。用于加工电子器件的喷墨打印技术，其基本工作原理如下：首先，将电子计算机中存储的电子器件线路图像输入到喷墨打印设备；再由电子计算机计算出相应通道的墨量，并控制换能器向基底表面喷射雾状的墨滴，形成电子器件线路。然而，墨水在基底上形成电子器件线路的质量易受墨滴形态、打印间距、打印温度、墨滴载液挥发效率等多种因素影响，器件性能只能在加工完成后进行测试才能量化，导致产品良率不能有效提升，同时造成原材料浪费。因此，亟需一种用于喷墨打印制造电子器件的工艺调控方法。

技术实现思路

[0003]本专利技术针对目前喷墨打印装置加工电子器件时墨水在基底上形成器件线路的质量管控问题，提出一种基于多目视觉的喷墨打印线路缺陷识别方法及工艺调控方法，突破了现有设备的诸多局限性，节省原材料并提升器件性能和产品良率。
[0004]为了解决上述技术问题，本专利技术采用如下技术方案：
[0005]本专利技术提供一种基于多目视觉的喷墨打印线路缺陷识别方法，包括以下步骤：
[0006]步骤1、通过多目视觉采集装置一定数量具有已知缺陷的喷墨打印线路的多视角二维视觉图像；
[0007]步骤2、三维重建，通过多视角二维视觉图像对喷墨打印线路表面进行三维重建，得到喷墨打印线路的表面三维点云模型；
[0008]步骤3、点云数据预处理，对步骤1中得到的表面三维点云模型进行预处理，去除噪点；
[0009]步骤4、将去燥后的表面三维点云模型作为样本，喷墨打印线路的已知缺陷信息作为标签，构建图像样本数据集；
[0010]步骤5、构建CNN卷积神经网络，利用图像样本数据集对CNN卷积神经网络进行训练，得到训练好的CNN卷积神经网络模型；
[0011]步骤6、通过多目视觉采集待检测的喷墨打印线路的多视角二维视觉图像，通过与步骤2和步骤3相同的方法处理待检测的喷墨打印线路的多视角二维视觉图像，得到待检测的喷墨打印线路的表面三维点云模型，并输入到步骤5中已经训练好的CNN卷积神经网络模型，得到待检测的喷墨打印线路缺陷类型。
[0012]本专利技术还提供一种基于多目视觉的喷墨打印工艺调控方法，包括以下步骤：
[0013]步骤S1、采用上述任意一项所述喷墨打印线路缺陷识别方法在线识别出待检测喷墨打印线路的缺陷信息；
[0014]步骤S2、基于获取的待检测喷墨打印线路的缺陷信息，对喷墨打印参数进行实时调整；具体方法为，根据喷墨打印加工的实际精度和目标器件的实际性能需要，对喷墨打印设备的喷墨电压、打印间距等参数进行即时调整，以消除喷墨打印线路缺陷。
[0015]本专利技术还提供一种基于多目视觉的喷墨打印系统，包括
[0016]喷墨打印装置，用于在透明基底上进行喷墨打印，形成所需线路；
[0017]多目视觉采集装置，包括多个不同视角的摄像头，用于对通过喷墨打印装置所打印出来的墨打印线路进行不同角度拍摄，获得二维视觉图像；
[0018]缺陷识别模块，用于执行上述喷墨打印线路缺陷识别方法，对已打印的当前墨打印线路进行缺陷识别；
[0019]工艺调整模块，用于根据缺陷识别模块所识别的缺陷类型调整喷墨打印装置的打印参数。
[0020]墨滴从打印头喷出，滴落到基底上形成器件线路时，现有装置无法实时监控线路成形过程，无法确保器件加工质量。本专利技术提出在喷墨打印装置中布置多组摄像头，以获取喷墨打印加工过程中墨水形成器件线路时多个视角的视觉信息，并重建器件线路表面的三维形貌，从而通过卷积神经网络实现对墨打印线路质量的实时监测，并根据检测结果调整打印参数。
[0021]与现有技术相比，本专利技术有益效果如下：
[0022]相较传统喷墨打印加工过程，通过采集喷墨打印过程中墨打印线路的多视角实时图像，减少了检测盲区，提高了对打印器件线路表面缺陷的检测精度；并以给定的质量标准作为参照，实时优化打印参数，最终达到改善喷墨打印质量、提高产品良率、减少耗材浪费等目的。
附图说明
[0023]图1为本专利技术实施例中基于多目视觉的喷墨打印系统的喷墨打印装置和多目视觉采集装置示意图。
[0024]图2为本专利技术实施例中基于多目视觉的喷墨打印工艺调控方法算法流程图。
[0025]图3为本专利技术实施例中CNN卷积神经网络框架示意图。
[0026]1‑
透明打印台；2
‑
透明基底；3
‑
喷墨打印线路；4
‑
顶右镜头；5
‑
飞行墨滴；6
‑
喷墨打印头；7
‑
顶中镜头；8
‑
顶左镜头；9
‑
左镜头；10
‑
当前打印区域；11
‑
底左镜头；12
‑
底中镜头；13
‑
底右镜头；14
‑
右镜头；15
‑
顶平面光源；16
‑
底平面光源。
具体实施方式
[0027]下面结合附图和实施例对本专利技术的实施方式作进一步详细描述。以下实施例用于说明本专利技术，但不能用来限制本专利技术的范围。
[0028]如图1所示，本专利技术提供一种基于多目视觉的喷墨打印线路缺陷识别系统，包括喷墨打印装置、多目视觉采集装置和内置用于执行基于多目视觉的喷墨打印工艺调控方法程序的控制器；
[0029]所述喷墨打印装置包括透明打印台1、透明基底2和喷墨打印头6，透明基底2位于透明打印台1上表面，喷墨打印头6位于透明基底2上方，在透明基底2上打印形成喷墨打印线路3；
[0030]本专利技术实施例中，所述透明打印台1由透明钢化玻璃制造，用于承载打印基底；可沿XYZ三轴方向空间移动，并确保喷墨打印刚工作过程所需要的平面度。
[0031]所述透明基底2为PDMS、PET、PI等透明或半透明材质，贴附于透明打印台上，墨水在基底上沉积，形成电子器件的线路。
[0032]所述喷墨打印头6的内部集成有压电换能器，能够根据控制设备的信号向透明基底上按需喷射墨滴。
[0033]飞行墨滴5，由喷墨打印头6喷出，并将沉积在透明基底2上并形成电子器件线路。
[0034]喷墨打印线路3，由墨滴在透明基底2表面沉积而成，以实现目标电子器件的所需功能。
[0035]所述多目视觉采集装置包括8个摄像头和两个平面光源，两个平面光源分别位于透明基底上方和透明打印台下方，分别对喷墨打印线路上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多目视觉的喷墨打印线路缺陷识别方法，其特征在于，包括以下步骤：步骤1、通过多目视觉采集装置一定数量具有已知缺陷的喷墨打印线路的多视角二维视觉图像；步骤2、三维重建，通过多视角二维视觉图像对喷墨打印线路表面进行三维重建，得到喷墨打印线路的表面三维点云模型；步骤3、点云数据预处理，对步骤1中得到的表面三维点云模型进行预处理，去除噪点；步骤4、将去噪后的表面三维点云模型作为样本，喷墨打印线路的已知缺陷信息作为标签，构建图像样本数据集；步骤5、构建CNN卷积神经网络，利用图像样本数据集对CNN卷积神经网络进行训练，得到训练好的CNN卷积神经网络模型；步骤6、通过多目视觉采集待检测的喷墨打印线路的多视角二维视觉图像，通过与步骤2和步骤3相同的方法处理待检测的喷墨打印线路的多视角二维视觉图像，得到待检测的喷墨打印线路的表面三维点云模型，并输入到步骤5中已经训练好的CNN卷积神经网络模型，得到待检测的喷墨打印线路缺陷类型。2.根据权利要求1所述的喷墨打印线路缺陷识别方法，其特征在于：步骤1中，所述多视角二维视觉图像的视角至少包括上、下、左、右、左上、左下、右上、右下8个视角。3.根据权利要求1所述的喷墨打印线路缺陷识别方法，其特征在于：步骤2中，三维重建方法如下：步骤2.1、对喷墨打印线路的多视角二维视觉图像，采用SIFT算法进行特征提取，得到每个喷墨打印线路二维图像的关键特征点特征描述子；步骤2.2、根据步骤2.1中得到的关键特征点特征描述子，采用特征点间的欧式距离，作为在一组多视角喷墨打印线路二维图像中，相邻视角图像的特征点的相似性判定度量，对喷墨打印线路的相邻视角图像进行特征点匹配操作；对喷墨打印线路的各个视角二维图像进行所述特征点匹配操作，得到喷墨打印线路多视角二维图像的特征匹配点对；步骤2.3、采用极线约束方法对所述喷墨打印线路多视角二维图像特征匹配点对的有效性进行验证，并修正所述特征匹配点对的坐标；步骤2.4、基于喷墨打印线路多视角二维图像对匹配特征点对，对喷墨打印线路表面进行三维重建，得到喷墨打印线路的表面三维点云模型。4.根据权利要求3所述的喷墨打印线路缺陷识别方法，其特征在于：步骤2.1的具体步骤如下：步骤2.1.1、对采集的多视角二维视觉图像进行高斯模糊操作，以变化尺度为σ的二维高斯核函数G(x,y,σ)与多视角二维图像I(x,y)卷积，生成喷墨打印线路二维图像的尺度空间L(x,y,σ)，以模拟喷墨打印线路图像数据的多尺度特征：L(x,y,σ)＝G(x,y,σ)*I(x,y)其中，(x,y)为喷墨打印线路中某个像素点的平面坐标，变化尺度σ根据实际喷墨打印加工精度要求选择，高σ值对应精细尺度，低σ值对应粗糙尺度；步骤2.1.2、构建喷墨打印线路二维图像的高斯差分尺度空间；以步骤2.1.1中构建的喷墨打印线路二维图像的尺度空间为基础，构建其所对应的高斯差分尺度空间；对不同尺度高斯模糊后的喷墨打印线路二维图像作差，如高斯金字塔的
第i组第j+1层减去第i组第j层，得到DoG金字塔的第i组第j层对应的高斯模糊化响应值图像D(x,y,σ)：D(x,y,σ)＝[G(x,y,kσ)
‑
G(x,y,σ)]*I(x,y)＝L(x,y,kσ)
‑
L(x,y,σ)其中，k为相邻尺度空间倍数的常数；并对D(x,y,σ)进行非极大值抑制，得到喷墨打印线路二维图像局部极值点，即为关键特征点；步骤2.1.3、为喷墨打印线路二维图像的关键特征点分配基准方向，具体步骤如下：为使前述喷墨打印线路的二维图像具有旋转不变性，对于步骤2.1.2中检测出的喷墨打印线路二维图像的关键特征点，在高斯模糊化响应值图像D(x,y,σ)中以关键特征点为中，以3
×
1.5σ为半径的邻域窗口内采集像素的梯度和方向分布特征；并利用所述邻域窗口内像素的梯度方向分布特性，为喷墨打印线路二维图像中的每个关键特征点都指定方向参数：数：其中m(...

【专利技术属性】
技术研发人员：申胜男，张云帆，魏至桢，唐舞阳，李辉，
申请(专利权)人：武汉大学，
类型：发明
国别省市：