一种基于多通道模型融合的深度学习物体分类方法技术

本发明专利技术公开了一种基于多通道模型融合的深度学习物体分类方法，其步骤如下：将待分类物品放在视觉图像采集系统的转盘中心上，开启视觉图像采集系统采集待分类物品的图像；将各图像采集设备采集到的图像分别对应输入与图像采集设备对应的多个第一处理模型得到各图像采集设备对应的预测概率矩阵；对各预测概率矩阵进行融合得到融合矩阵；将融合矩阵输入第二处理模型即得到待分类物品的分类结果。本发明专利技术的基于多通道模型融合的深度学习物体分类方法，针对多个特征面建立多个网络提取特征并融合的模型，与现有技术相比，具有更强的特征提取能力；与传统方法相比有更高的精度，尤其对于相似零件分类极大地提高了分类精度，极具应用前景。应用前景。应用前景。

【技术实现步骤摘要】
一种基于多通道模型融合的深度学习物体分类方法


[0001]本专利技术属于视觉检测
，涉及一种基于多通道模型融合的深度学习物体分类方法，特别涉及一种多面采集物品图像后应用基于模型融合的卷积神经网络完成物品分类的方法。

技术介绍

[0002]随着多媒体技术及互联网的迅速发展，物体图像的分类已成为国内外研究的热点问题。快速、高精度的图像分类识别算法是实现各种实际应用的基本前提,因此对图像分类的研究具有十分重要的意义。
[0003]深度学习与传统图像分类方法的最大不同在于它是从大数据中自动学习特征，而非采用手工设计的特征，好的特征可以极大提高图像识别的性能。深度学习可以从大数据中自动学习特征的表示，其中可以包含成千上万的参数。手工设计出有效的特征是一个相当漫长的过程。回顾计算机视觉发展的历史，往往需要五到十年才能出现一个受到广泛认可的好的特征。而深度学习可以针对新的应用从训练数据中很快学习得到新的有效的特征表示。
[0004]基于深度学习的分类方法已经得到了一定的应用，但在不同场景存在精度不高的缺点。基于深度学习的物体分类在相似物品的分类上存在以下问题：同一大类物品中特征大体相同，其区别往往在于细节，往往难以在一特征面中体现出来，而当前的算法没有兼顾到多个特征面，同时当前在物体分类前还需对物体进行理料，这一方面增大了成本，另一方面其适用性有限，难以实现高度相似物体的分类。
[0005]因此，开发一种能够实现物品快速精确低成本分类且适应性好的方法极具现实意义。

技术实现思路

[0006]本专利技术的目的在于克服现有物品识别分类效果差且适用性较差的缺陷，提供一种能够实现物品快速精确低成本分类且适应性好的方法。
[0007]为实现上述目的，本专利技术提供如下技术方案：
[0008]一种基于多通道模型融合的深度学习物体分类方法，其步骤如下：
[0009](1)将待分类物品放在视觉图像采集系统的转盘中心上，开启视觉图像采集系统采集待分类物品的图像；
[0010](2)将各图像采集设备采集到的图像分别输入第一处理模型得到各图像采集设备对应的预测概率矩阵；
[0011](3)对步骤(2)获得的各预测概率矩阵进行融合得到融合矩阵；
[0012](4)将步骤(3)获得的融合矩阵输入第二处理模型即得到待分类物品的分类结果；
[0013]所述视觉图像采集系统，包括一用于放置待分类物品的转盘，所述转盘与转盘驱动装置连接，在转盘驱动装置的驱动下可水平旋转；
[0014]围绕所述转盘布置有两个以上视野中心对准转盘中心的图像采集设备，所述图像采集设备位于所述转盘的上方，所述图像采集设备布置在所述转盘的不同方位上且其与转盘间的高度差不同；
[0015]所述图像采集设备、转盘驱动装置分别与中央处理单元连接；
[0016]每个第一处理模型均与图像采集设备一一对应，第一处理模型为Densenet模型，其训练过程即以已知类别的物品图像为输入，以物品的对应类别概率为理论输出，不断调整模型参数的过程，训练的终止条件为达到训练次数上限；
[0017]所述第二处理模型为BP神经网络(其中初始化权重W为采用高斯分布随机初始化)，其训练过程即以已知类别的物品各图像融合矩阵为输入，以物品的对应类别概率为理论输出，不断调整模型参数的过程，训练的终止条件为达到训练次数上限(如50次)，所述已知类别的物品各图像融合矩阵是指将已知类别的物品的各图像输入第一处理模型后得到的各预测概率矩阵融合后得到的矩阵。其中BP神经网络采用Adam优化器，学习率为0.001。
[0018]转盘可控制零件的方位，增加数据丰富性与可靠性，相比于传统机器视觉中只采用俯视图像进行识别，多视角的图像能提供更多的零件信息，有利于深度学习模型学习到更为完整的零件信息，并且可以防止过拟合，提升模型泛化能力。
[0019]本专利技术的基于多通道模型融合的深度学习物体分类方法，针对当前待分类物体的几何结构具有较高的相似度，并且在大类别相同的种类中物体的俯视图可以达到完全一样，有不少工业物料仅从单个角度拍摄照片区分度较低的问题，使用通用式视觉图像采集系统采用多角度采集图像的方式获取物品图像(提取特征能力更强，采集的特征多)，然后采用特定的Densenet模型对各图像采集设备采集的图像(各Densenet模型与图像采集设备一一对应)进行处理后，融合后再将其输入到BP神经网络，完成基于多模型融合的深度学习实现物品识别，其分类准确率高，极具应用前景。
[0020]作为优选的技术方案：
[0021]如上所述的一种基于多通道模型融合的深度学习物体分类方法，所述已知类别的物品图像是将已知类别的物品放置在视觉图像采集系统的转盘中心上开启视觉图像采集系统采集得到的，即其对应的类别概率是确定的。
[0022]如上所述的一种基于多通道模型融合的深度学习物体分类方法，所述中央处理器通过旋转转盘驱动装置后即可通过图像采集设备获取待采集图像件不同角度的图片，对采集到的待采集图像件不同角度的图片进行处理后即可完成数据增强。
[0023]即应用以上方法进行数据扩充：
[0024]将图像预处理为80*80像素大小，对每一张图像进行数据增强处理，即将每张图像看作80*80的矩阵，对每张图像随机进行偏移、旋转、镜像、翻折操作，使其偏移、翻折都在一定范围(使用逆时针旋转和顺时针旋转范围在10度之内，比例为0.1范围之内的水平偏移或者垂直偏移)之内，每张图像经过处理后将生成全新的N张图像，即数据库扩充了N倍(如可扩展到10倍)。
[0025]如上所述的一种基于多通道模型融合的深度学习物体分类方法，所述增强后的数据对应的状态相比于增强对象对应的状态左右或上下平移小于等于20％或者顺或逆时针的随机旋转角度小于等于30
°
，此处仅给出一种可行的技术方案，本领域技术人员可根据实际需求通过平移和旋转操作生成增强数据。
[0026]如上所述的一种基于多通道模型融合的深度学习物体分类方法，所述转盘布置在一框架内，所述图像采集设备固定在框架上，框架上还固定有光源；
[0027]所述转盘下布置黑色背板；
[0028]所述转盘驱动装置为驱动电机。
[0029]如上所述的一种基于多通道模型融合的深度学习物体分类方法，所述光源布置在转盘的上方，所述框架外套有柔光罩；
[0030]所述框架为方形框架；
[0031]所述图像采集设备共有三个，分别布置在框架的A侧、B侧及顶部，且三个图像采集设备与转盘的高度差均不相同，A侧与B侧相互垂直。
[0032]如上所述的一种基于多通道模型融合的深度学习物体分类方法，所述框架的转角处圆角过渡；所述框架由多根铝合金方管固定拼接而成。
[0033]如上所述的一种基于多通道模型融合的深度学习物体分类方法，所述第一处理模型具体为Densenet121网络模型；其以Densenet为基础，网络总共121层，其采用Input
‑<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多通道模型融合的深度学习物体分类方法，其特征在于，其步骤如下：(1)将待分类物品放在视觉图像采集系统的转盘中心上，开启视觉图像采集系统采集待分类物品的图像；(2)将各图像采集设备采集到的图像分别对应输入与图像采集设备对应的多个第一处理模型得到各图像采集设备对应的预测概率矩阵；(3)对步骤(2)获得的各预测概率矩阵进行融合得到融合矩阵；(4)将步骤(3)获得的融合矩阵输入第二处理模型即得到待分类物品的分类结果；所述视觉图像采集系统，包括一用于放置待分类物品的转盘，所述转盘与转盘驱动装置连接，在转盘驱动装置的驱动下可水平旋转；围绕所述转盘布置有两个以上视野中心对准转盘中心的图像采集设备，所述图像采集设备位于所述转盘的上方，所述图像采集设备布置在所述转盘的不同方位上且其与转盘间的高度差不同；所述图像采集设备、转盘驱动装置分别与中央处理单元连接；每个第一处理模型均与图像采集设备一一对应，第一处理模型为Densenet模型，其训练过程即以已知类别的物品图像为输入，以物品的对应类别概率为理论输出，不断调整模型参数的过程，训练的终止条件为达到训练次数上限；所述第二处理模型为BP神经网络，其训练过程即以已知类别的物品各图像融合矩阵为输入，以物品的对应类别概率为理论输出，不断调整模型参数的过程，训练的终止条件为达到训练次数上限，所述已知类别的物品各图像融合矩阵是指将已知类别的物品的各图像输入第一处理模型后得到的各预测概率矩阵融合后得到的矩阵。2.根据权利要求1所述的一种基于多通道模型融合的深度学习物体分类方法，其特征在于，所述已知类别的物品图像是将已知类别的物品放置在视觉图像采集系统的转盘中心上开启视觉图像采集系统采集得到的。3.根据权利要求1所述的一种基于多通道模型融合的深度学习物体分类方法，其特征在于，所述中央处理器通过旋转转盘驱动装...

【专利技术属性】
技术研发人员：安康，李国承，林雪松，刘翔鹏，李一染，
申请(专利权)人：上海师范大学，
类型：发明
国别省市：