【技术实现步骤摘要】
本专利技术涉及图像检测领域，具体涉及一种多通道并联输入的图像分割模型。
技术介绍
1、在基于图像检测算法的工业自动化质检领域，特别是液晶面板制造过程中，经常需要切换不同种类光源对同一产品进行成像。同时在同一产品的不同制程、不同工艺段，同一位置也需要多次成像，最终联合多种不同图像状态，共同确认是否存在缺陷，是否为良品。
2、需要联合多种不同状态才能判断的缺陷往往是工艺段中较为重要的，影响整体产品结构参数与基础功能的缺陷。此类缺陷往往有不易定位、不易察觉、联合判断较为困难等特性。对于此类缺陷的检出，直接影响着产品的良率。
3、而业界通用的图像检测算法大都是针对单一工位、单一拍照场景、单一图像进行的检测算法，难以对同一位置的多副图像进行并联同时处理，抑或有相应的方法也是对不同图像单次进行处理，进而在结果上进行逻辑汇总。
4、现有的检测模式分为两种，一种是人工检测，即在人工检测软件界面上同时显示多多个视野的图像，人工通过总览全部图像，综合分析判断缺陷位置。另一种是利用图像算法进行检测，针对每一张图像单独利用算法、单独计算缺陷结果，最终将所有图像的缺陷结果进行信息汇总，根据配方或根据优先级逻辑综合得出缺陷的唯一结果。
5、人员操作方案的劣势在于需要为检测工位搭配一名操作员，以便实时响应缺陷识别需求，造成了人工成本浪费，同时由于人员疲劳、定位效果不佳等原因，会造成一定的失误。多通道缺陷是一类比较依赖于判图人员经验判断的缺陷。这种缺陷在判定的过程当中，受人员的因素影响极大。对于同一套图像，不同的
6、基于单张图像的视觉检测方法有两大劣势，其一在于很多缺陷，需要综合多场不同的图像进行缺陷判定，从而可才进行算法设计。而基于单张图像的算法无法实现这一功能，只能在本图像内去寻找其缺陷特征，这种特征是具有局限性的。其二在于，在最终的缺陷综合环节，其缺陷综合的逻辑是事先约定好固化在程序当中的。无法根据实际情况做出调整，并且其预设规则的正确性、逻辑优先级的正确性均有待商榷。总体来讲，单张图像的检测方法依旧存在着过杀以及漏检等相应的良率问题。
7、因此，如何有效结合各个拍照位、各种不同光源、各个工艺段下的图像综合判断缺陷，一直是困扰图像质检业内的重要难题之一。
技术实现思路
1、为解决现有技术中存在的技术问题，本专利技术提供了一种多通道并联输入的图像分割模型，可联合多类图像，有效综合识别缺陷。
2、为达到上述目的，本专利技术的技术解决方案如下:
3、一种多通道并联输入的图像分割模型，包括输入图像组、网络架构和输出图像，输入图像组是由多张不同通道图像组成的图像组，输出图像为一张与输入图像同分辨率的分割结果，网络架构包括特征分析模块、多通道语义综合模块和综合分析模块。
4、作为优选的技术方案，特征分析模块针对每张单通道图像进行独立计算，将各单通道图像按高低维语义特征与图像特征，分别送入各自子网络模型，最终一张单通道图像会输出两类特征，一组为高低维语义特征，一组为图像特征。
5、作为优选的技术方案，高低维语义特征的本质是长列特征向量，包含图像当中具有代表性的高维和低维信息，图像特征为多通道张量。
6、作为优选的技术方案，多通道语义综合模块采用并行的二十个同功能的语义综合模块，语义综合模块的输入为在六通道图像中任选三个图像作为图像特征、三个通道作为高低维语义特征进行计算，得到的二十个语义综合结果再输入到综合分析模块。
7、作为优选的技术方案，单个语义综合模块由多个spade子模块组成，spade子模块将高低维语义特征通过多次卷积与加和的方式与图像特征进行融合。
8、作为优选的技术方案，综合分析模块将所有通道的特征拼接成一张大尺寸张量，并对大尺寸张量进行降维空洞卷积，直至形成一张单通道掩膜图像，即为结果输出。
9、作为优选的技术方案，综合分析模块的训练过程为：准备数据集，数据集留存有若干套数据，一套数据包括六张各个视野下的被测物图像和一副标注完成的语义分割掩膜；数据集中随机取70％为训练集，20％为测试集，10％为验证集；在单次训练过程中，以训练集中的损失函数表现为训练方向，以测试集中的损失函数表现为参数调整依据，最终效果以验证集中的损失函数表现为表征。
10、作为优选的技术方案，训练过程中求导的目标函数，采用端到端的语义分割训练模式，表示为语义分割掩膜的差异损失函数。
11、与现有技术相比，本专利技术的有益效果为：
12、本专利技术提供了一种多通道并联输入的图像分割模型，该模型输入的图片数量可以自由配置，不限于单张或固定的几张。因此该模型具有可综合多通道不同图像的算法能力。同时由于使用了基于深度神经网络的图像分割模型，在端到端标注环节，只需要在其中一张通道的图像当中标注其缺陷位置，模型便可自动学习获取其同样位置在不同图像当中的特征。通过卷积神经网络，建立多通道图像之间、图像当前像素以及其邻域中的高维特征之间的相关性，最终实现正确判断。
本文档来自技高网...【技术保护点】
1.一种多通道并联输入的图像分割模型，其特征在于，包括输入图像组、网络架构和输出图像，所述输入图像组是由多张不同通道图像组成的图像组，所述输出图像为一张与输入图像同分辨率的分割结果，所述网络架构包括特征分析模块、多通道语义综合模块和综合分析模块。
2.根据权利要求1所述的一种多通道并联输入的图像分割模型，其特征在于，所述特征分析模块针对每张单通道图像进行独立计算，将各单通道图像按高低维语义特征与图像特征，分别送入各自子网络模型，最终一张单通道图像会输出两类特征，一组为高低维语义特征，一组为图像特征。
3.根据权利要求2所述的一种多通道并联输入的图像分割模型，其特征在于，所述高低维语义特征的本质是长列特征向量，包含图像当中具有代表性的高维和低维信息，所述图像特征为多通道张量。
4.根据权利要求2所述的一种多通道并联输入的图像分割模型，其特征在于，所述多通道语义综合模块采用并行的二十个同功能的语义综合模块，所述语义综合模块的输入为在六通道图像中任选三个图像作为图像特征、三个通道作为高低维语义特征进行计算，得到的二十个语义综合结果再输入到综合分析模块
5.根据权利要求4所述的一种多通道并联输入的图像分割模型，其特征在于，单个语义综合模块由多个SPADE子模块组成，所述SPADE子模块将高低维语义特征通过多次卷积与加和的方式与图像特征进行融合。
6.根据权利要求1所述的一种多通道并联输入的图像分割模型，其特征在于，所述综合分析模块将所有通道的特征拼接成一张大尺寸张量，并对所述大尺寸张量进行降维空洞卷积，直至形成一张单通道掩膜图像，即为结果输出。
7.根据权利要求6所述的一种多通道并联输入的图像分割模型，其特征在于，所述综合分析模块的训练过程为：准备数据集，所述数据集留存有若干套数据，一套数据包括六张各个视野下的被测物图像和一副标注完成的语义分割掩膜；所述数据集中随机取70％为训练集，20％为测试集，10％为验证集；在单次训练过程中，以训练集中的损失函数表现为训练方向，以测试集中的损失函数表现为参数调整依据，最终效果以验证集中的损失函数表现为表征。
8.根据权利要求7所述的一种多通道并联输入的图像分割模型，其特征在于，训练过程中求导的目标函数，采用端到端的语义分割训练模式，表示为语义分割掩膜的差异损失函数。
...【技术特征摘要】
1.一种多通道并联输入的图像分割模型，其特征在于，包括输入图像组、网络架构和输出图像，所述输入图像组是由多张不同通道图像组成的图像组，所述输出图像为一张与输入图像同分辨率的分割结果，所述网络架构包括特征分析模块、多通道语义综合模块和综合分析模块。
2.根据权利要求1所述的一种多通道并联输入的图像分割模型，其特征在于，所述特征分析模块针对每张单通道图像进行独立计算，将各单通道图像按高低维语义特征与图像特征，分别送入各自子网络模型，最终一张单通道图像会输出两类特征，一组为高低维语义特征，一组为图像特征。
3.根据权利要求2所述的一种多通道并联输入的图像分割模型，其特征在于，所述高低维语义特征的本质是长列特征向量，包含图像当中具有代表性的高维和低维信息，所述图像特征为多通道张量。
4.根据权利要求2所述的一种多通道并联输入的图像分割模型，其特征在于，所述多通道语义综合模块采用并行的二十个同功能的语义综合模块，所述语义综合模块的输入为在六通道图像中任选三个图像作为图像特征、三个通道作为高低维语义特征进行计算，得到的二十个语义综合结果再输入到综合分析模块。
【专利技术属性】
技术研发人员：刁晓淳，王文瑞，
申请(专利权)人：上海哥瑞利软件股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。