【技术实现步骤摘要】
一种异源数据融合方法及装置、存储介质
本专利技术涉及图像处理
，具体涉及一种异源数据融合方法及装置、存储介质。
技术介绍
在当今的制造业中，装配过程所用的时间、所花费的资金都比较多，为了提高生产效率，降低人力成本，人们开始探索利用机器人实现自动化装配。零件识别与抓取位置规划作为自动化装配过程中不可缺少的重要环节，对装配的质量有至关重要的影响，基于视觉的零件位姿判定与抓取位置规划可以明显提高产品装配的自动化程度、灵活度，减少耗时并降低成本，从而提高生产制造效率。机器人自动化装配涉及两项关键技术：零件识别与自动抓取。目前，位姿识别主要采用二维图像数据或者三维图像数据，基于模板信息进行姿态估计，该方法对于场景的适应性差，每次更换目标物体和标志物之后都需要重新学习和训练模板数据，致使产品换型和调试周期加长，无法满足现在的“多品类小批量”生产和产品及时更新换代的需求。常用的三维数据表示方法有三种：(1)多视角方式，通过多视角二维图像组合为三维物体，此方法将传统CNN应用于多张二维视角的图像集合，特征通过视角池化聚合形成三...
【技术保护点】
1.一种异源数据融合方法，其特征在于，包括：/n获取目标物体的二维图像数据和三维点云数据；/n提取所述二维图像数据的语义信息以得到颜色空间特征，以及提取所述三维点云数据的点云特征以得到几何空间特征；/n将所述颜色空间特征和所述几何空间特征进行融合处理，得到像素级融合特征；/n通过对所述像素级融合特征进行池化处理得到全局特征；/n对所述像素级融合特征和所述全局特征进行拼接，得到密集融合特征；所述密集融合特征用于所述目标物体的表面特征点检测。/n
【技术特征摘要】
1.一种异源数据融合方法，其特征在于，包括：
获取目标物体的二维图像数据和三维点云数据；
提取所述二维图像数据的语义信息以得到颜色空间特征，以及提取所述三维点云数据的点云特征以得到几何空间特征；
将所述颜色空间特征和所述几何空间特征进行融合处理，得到像素级融合特征；
通过对所述像素级融合特征进行池化处理得到全局特征；
对所述像素级融合特征和所述全局特征进行拼接，得到密集融合特征；所述密集融合特征用于所述目标物体的表面特征点检测。
2.如权利要求1所述的方法，其特征在于，所述提取所述二维图像数据的语义信息以得到颜色空间特征，包括：
对所述二维图像数据所对应图像的感兴趣区域进行分割，获得掩膜数据；
根据所述掩膜数据通过裁剪所述二维图像数据所对应的图像，得到区域图像；将所述区域图像中的各像素点映射到颜色空间，得到低级的语义信息和/或高级的语义信息；
根据所述低级的语义信息和/或所述高级的语义信息得到颜色空间特征。
3.如权利要求2所述的方法，其特征在于，所述提取所述三维点云数据的点云特征以得到几何空间特征，包括：
将所述掩膜数据对应的像素点映射到几何空间，并在所述几何空间内与所述三维点云数据进行数据匹配，得到点云掩膜数据；
对所述点云掩膜数据进行特征变换，得到局部的点云特征和全局的点云特征；
通过结合所述局部的点云特征和所述全局的点云特征得到几何空间特征。
4.如权利要求3所述的方法，其特征在于，所述将所述掩膜数据对应的像素点映射到几何空间，并在所述几何空间内与所述三维点云数据进行数据匹配，得到点云掩膜数据，包括：
判断所述三维点云数据为有序点云的情况下，获取所述掩膜数据对应的像素点映射到几何空间的像素索引；
将所述像素索引作为所述三维点云数据映射到几何空间的数据索引，利用所述数据索引从所述三维点云数据中获取点云掩膜数据。
5.如权利要求3所述的方法，其特征在于，所述将所述掩膜数据对应的像素点映射到几何空间，并在所述几何空间内与所述三维点云数据进行数据匹配，得到点云掩膜数据，包括：
判断所述三维点云数据为无序点云的情况下，获取所述掩膜数据对应的像素点映射到几何空间的像素坐标；
根据预设的相机内参矩阵对所述像素坐标进行数值转换，得到点云坐标，利用所述点云坐标从所述三维点云数据中获取点云掩膜数据；
所述相机内参矩阵用公式表示为
其中，fx、fy均为过程参数且满...
【专利技术属性】
技术研发人员：杨洋，
申请(专利权)人：深圳市华汉伟业科技有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。