跨模态成像特征融合方法及装置制造方法及图纸

本发明专利技术公开了一种跨模态成像特征融合方法及装置，其中该方法包括：获取三种模态中每一个跨模态单帧成像数据，进行特征提取；根据每一个跨模态单帧成像特征数据，计算三种模态之间单帧成像特征数据的相似度，生成融合后的特征数据；获取三种模态的成像数据和双模态成像数据；将双模态成像数据输入到训练好的卷积神经网络中，输出双模态成像特征数据；采用已有的三维点云网络对三维点云成像数据进行特征提取并分类，筛选三维点云成像数据，提取三维点云成像特征数据；将双模态成像特征数据与筛选后的三维点云成像特征数据进行数据融合，得到融合后的跨模态成像特征数据。本发明专利技术可以实现可见光、红外、三维点云三种不同视觉模态数据的视觉检测。

【技术实现步骤摘要】

本专利技术涉及多模态融合检测，尤其涉及跨模态成像特征融合方法及装置。

技术介绍

1、本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

2、机器视觉检测技术是一种无接触、无损伤的自动化检测技术，具有非接触式检测、安全可靠、检测效率高等突出优点。机器视觉检测系统通过适当的光源和图像传感器(ccd摄像机)获取产品的图像，利用定制的图像处理算法提取图像的特征信息，然后根据特征信息进行表面缺陷的定位、识别、分级等判别和统计、存储、查询等操作。机器视觉检测技术广泛用于工业品、食品、药品、化妆品等各行各业的产品检测。

3、早期的机器视觉检测主要采用视频或者可见光图像拍摄记录被检测对象状态，然后通过模式识别技术对图像进行处理来发现缺陷。目前机器视觉检测的效果和精度容易受到检测环境的光照、被测对象光反射特性等因素影响。

4、近年来随着传感技术的发展，机器视觉检测成像模态和手段不断丰富，许多新的成像手段用于视觉检测技术。比如采用红外成像技术获得被测对象的红外光谱图像，采用激光雷本文档来自技高网...

【技术保护点】

1.一种跨模态成像特征融合方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，根据相似度计算结果，对可见光单帧成像特征数据、红外单帧成像特征数据和三维点云单帧成像特征数据进行特征融合处理，生成融合后的特征数据，包括：

3.如权利要求2所述的方法，其特征在于，还包括：

4.如权利要求1所述的方法，其特征在于，筛选出在可见光成像光锥范围内的三维点云成像数据，包括：

5.一种跨模态成像特征融合装置，其特征在于，包括：

6.如权利要求5所述的装置，其特征在于，特征融合处理模块，具体用于：

7.如权利要求6所述的...

【技术特征摘要】

1.一种跨模态成像特征融合方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，根据相似度计算结果，对可见光单帧成像特征数据、红外单帧成像特征数据和三维点云单帧成像特征数据进行特征融合处理，生成融合后的特征数据，包括：

3.如权利要求2所述的方法，其特征在于，还包括：

4.如权利要求1所述的方法，其特征在于，筛选出在可见光成像光锥范围内的三维点云成像数据，包括：

5.一种跨模态成像特征融合装置，其特征在于，包括：

6.如权利要求5所述的装置，其特征在于，特征融合处理模块，具体用于：

7.如权利要求6所述的装置，其...

【专利技术属性】
技术研发人员：戴鹏，韩强，宋浩然，王乐，任盛伟，刘俊博，李海浪，王胜春，顾子晨，王浩然，
申请(专利权)人：中国铁道科学研究院集团有限公司，
类型：发明
国别省市：