基于多源信息融合的一体化智能验布方法及系统技术方案

本发明专利技术公开了一种基于多源信息融合的一体化智能验布方法及系统，属于智能检验领域，设计一种智能验布系统，内部集成了智能验布方法，通过获取合成革表面的二维图像信息和三维形貌信息，对二维图像信息和三维形貌信息进行融合后，再进行识别，得到二维图像信息和三维形貌信息合成革表面的检验结果

【技术实现步骤摘要】
基于多源信息融合的一体化智能验布方法及系统


[0001]本专利技术涉及智能检验
，特别涉及一种基于多源信息融合的一体化智能验布方法及系统
。

技术介绍

[0002]合成革是经过涂覆
、
压延等多重工艺形成的塑料制品，随着工艺水平的不断提升，其从结构外观质感
、
物理特性和穿着舒适性等方面都几乎能与高级天然皮革媲美
。
此外，其在耐化学性
、
质量均一性
、
大生产加工适应性以及防水
、
防霉变性等方面更超过了天然皮革
。
目前，市场对合成革的需求量在不断攀升，对合成革的质量的要求也在不断提升
。
[0003]目前合成革检测通常使用人工肉眼检测的方式，即在特殊设计的机械装置
(
如验布机
)
上，以卷对卷方式高速驱动合成革产品运动，人眼在此过程中检查合成革表面上的数十种缺陷，存在着检测效率低
、
误检
/
漏检率高
、
标准难以统一，自动化程度差和成本高等一系列问题
。
此外，由于观测空间限制，人眼智能对合成革的单面进行检测，如果要对另一面进行检测，需要重新放卷
、
收卷，大幅度降低了瑕疵检测效率
。

技术实现思路

[0004]本专利技术提供一种基于多源信息融合的一体化智能验布方法及系统，以通过特殊的机构设计，基于高速线扫图像传感器采集卷对卷验布线上合成革两面的表面图像信息，结合深度学习智能算法，对瑕疵进行智能自动化识别
。
[0005]本专利技术第一方面实施例提供一种基于多源信息融合的一体化智能验布方法，包括以下步骤：
[0006]在柱状镜头两侧的光源同步发光时，通过柱状镜头在接触式图像传感器上成像，得到合成革表面的二维图像信息；
[0007]在柱状镜头两侧的光源异步发光时，通过任一个柱状镜头在所述接触式图像传感器上成像，采集不同角度下的所述合成革表面的图像信息，通过光度立体法获取所述合成革表面高度信息，根据所述不同角度下的所述合成革表面的图像信息和所述合成革表面高度信息得到所述合成革表面的三维形貌信息；
[0008]通过检测图像局部关键点生成关键点描述子表示所述二维图像信息的二维局部特征描述子，生成所述三维形貌信息的三维点云信息，通过关键点检测
、
关键点方位分配以及关键点特征描述得到所述三维形貌信息的三维局部特征描述子；
[0009]利用
BOW
模型分别得到所述二维局部特征描述子和所述三维局部特征描述子的特征向量，利用平均加权融合法将所述二维局部特征描述子和所述三维局部特征描述子的特征向量进行特征级融合，得到新的特征向量，基于判别函数根据所述新的特征向量概率值中最大的概率值识别所述合成革表面的缺陷类型
。
[0010]可选地，在本专利技术的一个实施例中，通过检测图像局部关键点生成关键点描述子表示所述二维图像信息的二维局部特征描述子，包括：
[0011]首先利用图像与不同尺度的高斯核函数卷积生成尺度空间进行关键点检测，通过检测高斯差函数的极点值获得关键点；
[0012]根据图像局部特性为每个关键点分配主方向以保证旋转不变性，根据关键点邻域像素的梯度方向分布特性为毎个关键点确定主方向和辅助方向，得到所述二维图像信息的二维局部特征描述子
。
[0013]可选地，在本专利技术的一个实施例中，通过关键点检测
、
关键点方位分配以及关键点特征描述得到所述三维形貌信息的三维局部特征描述子，包括：
[0014]基于二维局部特征描述子的生成过程，利用高斯差分函数代替尺度归一化的髙斯拉普拉斯算子进行极值检测，关键点由
DoG
空间局部极值点组成，将每一个关键点和它所有的相邻点比较，判断其是否为该邻域范围内的极大值或极小值；
[0015]利用点云的局部特征为每一个关键点分配一个基准方向，检测出的含有位置
、
尺度和方向的关键点为该点云的
3D SIFT
特征点；
[0016]为每个关键点建立一个描述子，利用一组向量描述关键点，使关键点不随环境变化而改变，描述子包括关键点及关键点周围对关键点有贡献的点；
[0017]对于三维点云模型，统计关键点邻域局部空间关系，通过计算关键点邻域内各角度直方图，生成
3D SIFT
特征向量，表示关键点及其领域局部特性
。
[0018]可选地，在本专利技术的一个实施例中，利用
BOW
模型分别得到所述二维局部特征描述子和所述三维局部特征描述子的特征向量，之前还包括：
[0019]获取多类别的合成革表面的二维图像信息和三维形貌信息，建立物体图像数据库和物体点云数据库；
[0020]通过检测图像局部关键点生成关键点描述子表示所述二维图像信息的二维局部特征描述子，得到图像视觉单词库；
[0021]生成所述三维形貌信息的三维点云信息，通过关键点检测
、
关键点方位分配以及关键点特征描述得到所述三维形貌信息的三维局部特征描述子，得到点云视觉单词库；
[0022]基于所述图像视觉单词库和所述点云视觉单词库利用
BOW
模型完成物体描述和分类器训练，并得到对应缺陷的判别函数
。
[0023]本专利技术第二方面实施例提供一种基于多源信息融合的一体化智能验布系统，包括：
[0024]自动放卷模块，用于自动放置待检测的合成革；
[0025]张力自适应控制模块，用于控制双浮动辊与合成革间的张力；
[0026]3D
形貌测量系统，用于在柱状镜头两侧的光源异步发光时，通过任一个柱状镜头在所述接触式图像传感器上成像，采集不同角度下的所述合成革表面的图像信息，通过光度立体法获取所述合成革表面高度信息，根据所述不同角度下的所述合成革表面的图像信息和所述合成革表面高度信息得到所述合成革表面的三维形貌信息；
[0027]CIS
成像系统，用于在柱状镜头两侧的光源同步发光时，通过柱状镜头在接触式图像传感器上成像，得到合成革表面的二维图像信息；
[0028]检验模块，用于通过检测图像局部关键点生成关键点描述子表示所述二维图像信息的二维局部特征描述子，生成所述三维形貌信息的三维点云信息，通过关键点检测
、
关键点方位分配以及关键点特征描述得到所述三维形貌信息的三维局部特征描述子；利用
BOW
模型分别得到所述二维局部特征描述子和所述三维局部特征描述子的特征向量，利用平均加权融合法将所述二维局部特征描述子和所述三维局部特征描述子的特征向量进行特征级融合，得到新的特征向量，基于判别函数根据所述新的特征向量概率值中最大的概率值识别所述合成革表面的缺陷类型；
[0029]分卷模块，用于根据检验结果本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多源信息融合的一体化智能验布方法，其特征在于，包括以下步骤：在柱状镜头两侧的光源同步发光时，通过柱状镜头在接触式图像传感器上成像，得到合成革表面的二维图像信息；在柱状镜头两侧的光源异步发光时，通过任一个柱状镜头在所述接触式图像传感器上成像，采集不同角度下的所述合成革表面的图像信息，通过光度立体法获取所述合成革表面高度信息，根据所述不同角度下的所述合成革表面的图像信息和所述合成革表面高度信息得到所述合成革表面的三维形貌信息；通过检测图像局部关键点生成关键点描述子表示所述二维图像信息的二维局部特征描述子，生成所述三维形貌信息的三维点云信息，通过关键点检测
、
关键点方位分配以及关键点特征描述得到所述三维形貌信息的三维局部特征描述子；利用
BOW
模型分别得到所述二维局部特征描述子和所述三维局部特征描述子的特征向量，利用平均加权融合法将所述二维局部特征描述子和所述三维局部特征描述子的特征向量进行特征级融合，得到新的特征向量，基于判别函数根据所述新的特征向量概率值中最大的概率值识别所述合成革表面的缺陷类型
。2.
根据权利要求1所述的方法，其特征在于，通过检测图像局部关键点生成关键点描述子表示所述二维图像信息的二维局部特征描述子，包括：首先利用图像与不同尺度的高斯核函数卷积生成尺度空间进行关键点检测，通过检测高斯差函数的极点值获得关键点；根据图像局部特性为每个关键点分配主方向以保证旋转不变性，根据关键点邻域像素的梯度方向分布特性为毎个关键点确定主方向和辅助方向，得到所述二维图像信息的二维局部特征描述子
。3.
根据权利要求2所述的方法，其特征在于，通过关键点检测
、
关键点方位分配以及关键点特征描述得到所述三维形貌信息的三维局部特征描述子，包括：基于二维局部特征描述子的生成过程，利用高斯差分函数代替尺度归一化的髙斯拉普拉斯算子进行极值检测，关键点由
DoG
空间局部极值点组成，将每一个关键点和它所有的相邻点比较，判断其是否为该邻域范围内的极大值或极小值；利用点云的局部特征为每一个关键点分配一个基准方向，检测出的含有位置
、
尺度和方向的关键点为该点云的
3D SIFT
特征点；为每个关键点建立一个描述子，利用一组向量描述关键点，使关键点不随环境变化而改变，描述子包括关键点及关键点周围对关键点有贡献的点；对于三维点云模型，统计关键点邻域局部空间关系，通过计算关键点邻域内各角度直方图，生成
3D SIFT
特征向量，表示关键点及其领域局部特性
。4.
根据权利要求1所述的方法，其特征在于，利用
BOW
模型分别得到所述二维局部特征描述子和所述三维局部特征描述子的特征向量，之前还包括：获取多类别的合成革表面的二维图像信息和三维形貌信息，建立物体图像数据库和物体点云数据库；通过检测图像局部关键点生成关键点描述子表示所述二维图像信息的二维局部特征描述子，得到图像视觉单词库；生成所述三维形貌信息的三维点云信息，通过关键点检测
、
关键点方位分配以及关键
点特征描述得到所述三维形貌信息的三维局部特征描述子，得到点云视觉单词库；基于所述图像视觉单词库和所述点云视觉单词库利用
BOW
模型完成物体描述和分类器训练，并得到对应缺陷的判别函数
。5.
一种基于多源信息融合的一体化智能验布系统，其特征在于，自动放卷模块，用于自动放置待检测的合成革；张力自适应...

【专利技术属性】
技术研发人员：朱海斌，邹武林，马世成，曹金锋，李京华，
申请(专利权)人：迈沐智能科技南京有限公司，
类型：发明
国别省市：