【技术实现步骤摘要】
本专利技术涉及矿石破碎，具体涉及一种基于双目立体视觉感知的矿石破碎方法。
技术介绍
1、为实现矿山企业安全生产和经济效益，矿山智能化程度不断提高，智能矿山可大幅提升生产效率、降低运营成本。在矿山企业的矿石破碎流程中常在矿仓入料口安装筛网来控制破碎机的入料粒径，以此提高破碎机的工作效率，对于未通过筛网的大矿石采用人工操作机械臂进行破碎，利用工人的双眼确定待破碎堵塞矿石的大致位置，然后操作控制台改变机械臂的位置以及姿态，利用机械臂尖端的冲击锤破碎矿石。
2、现有的方法具有以下缺点：
3、(1)破碎现场环境恶劣，会对工人的身体健康造成伤害，工人不能24小时不间断的工作，且操作机械手破碎需要耗费大量人力，效率低，影响后续破碎流程。
4、(2)现有的二维矿石分割算法模型复杂度高，内存占用大，计算复杂度高，且需要大量的训练数据才能达到较好的性能，在矿山采集大量数据的难度较大，并且对于矿山企业来说，计算资源有限，现有深度学习方法需要的计算资源较大。
5、(3)现有的利用双目相机对矿石进行三维重建的方法是采用sift特征点提取与匹配，现有方法计算量大，处理速度较慢，不适合在实时环境中使用。
6、(4)由于矿石体积较大且外形不规则，现有方法只能定位矿石的破碎点三维坐标，从垂直方向利用破碎锤进行击打，而无法根据矿石外形特征确定破碎锤的击打角度，当矿石存在尖点以及斜面时，破碎锤会产生滑移而不能有效的破碎矿石。
技术实现思路
1、针对现有技术的不
2、为了解决上述技术问题，本专利技术实施例提供了这样一种基于双目立体视觉感知的矿石破碎方法，包括如下步骤：
3、s1、利用matlab工具箱对双目相机进行标定，获取内外参数以及畸变系数，利用双目相机拍摄左右图像，利用立体校正算法对拍摄的左右图像进行立体校正以去除畸变，最后将图像传输到矿石检测模块中。
4、s2、在矿石检测模块中利用训练好的mask rcnn实例分割网络对图像中矿石进行检测，分割矿石区域，去除图像中其他区域的像素，并计算每个矿石的二维形心位置，以便简化后续计算。
5、s3、将包含矿石区域的左右图像利用sgm立体匹配算法进行立体匹配，获得包含矿石区域的视差图。
6、s4、根据双目立体相机的参数对视差图进行三维重建，获取矿石的三维点云，三维点云是由大量的三维坐标点组成的集合，每个点都有其在三维空间中的坐标和属性信息。这些点可以表示真实世界中的矿石表面每个位置的三维坐标；并通过双目相机成像原理，将矿石三维点云坐标由相机坐标转化为机械手坐标。
7、s5、先利用向量法求出每个矿石的质心坐标，然后将三维点云存储为kd-tree数据结构并搜索质心指定半径球域内的点云，对搜索出来的点云采用ransac算法进行平面拟合，拟合出的平面的中心即为破碎点，拟合出的平面的法线作为破碎锤的破碎方向。
8、s6、根据步骤s5获得的破碎点以及破碎锤的破碎方向，对机械手进行轨迹规划并控制破碎锤对矿石进行破碎。
9、作为本专利技术的一些实施例，步骤s1中利用立体校正算法对拍摄的左右图像进行立体校正以去除畸变的具体操作为：
10、s11、准备标定板：选择一个已知尺寸和形状的标定板，如棋盘格标定板，确保标定板在整个相机视野范围内都可见，并且标定板的角点可以被准确检测到。
11、s12、拍摄标定图像：使用双目相机拍摄一系列包含标定板的图像，在拍摄过程中，应该保持相机位置和姿态的变化，以覆盖不同的视角和距离，将左右相机的图像分别保存。
12、s13、进行相机标定：将左右相机的图像和标定板的信息导入到matlab中，使用matlab的相机标定工具箱对左右相机进行标定。
13、在标定完成后，可以查看包括旋转矩阵和平移向量等外参信息的标定结果。
14、s14、立体校正：根据对左右相机的标定信息，使用matlab的stereorectify函数对左右相机进行立体校正(stereorectify是对标定过的摄像机进行校正，该函数是开源视觉库opencv的库函数)，从而去除畸变。
15、作为本专利技术的一些实施例，步骤s2中，对mask rcnn实例分割算法采用制作的数据集进行训练后，可以识别矿石的位置，并为每个矿石分配一个掩膜，通过计算掩膜的形心，即可估计获得矿石的二维形心坐标，具体过程为：
16、s21、模型建立：mask rcnn算法的损失函数是：
17、loss＝lrpn+lfast-rcnn+lmask
18、
19、其中，loss表示分类损失(class loss)，用于区分不同类别的物体；lrpn表示区域提议网络损，包括对区域建议的分类(是物体还是背景)和边界框回归损失；lfast-rcnn和rpn类似，也包括分类和边界框回归；lmask表示对每个类别的掩膜的交叉熵损失；lcls表示交叉熵类别损失，用于区分正类和负类提议；λ表示平衡分类损失和回归损失的权重系数；lreg()表示边界框回归损失，用于精确地调整提议框的位置；pi表示第i个anchor预测为真实标签的概率；当为正样本时为1，当为负样本时为0；ti表示预测第i个anchor的边界框回归参数；表示第i个anchor对应的gtbox的边界框回归参数；ncls表示一个mini-batch中的所有样本的数量；nreg表示anchor位置的个数。
20、采用二值交叉熵损失进行计算：
21、
22、
23、
24、其中，表示在边界框回归中常用的损失函数；ti包含四个量，分别是候选框到预测框的中心点x方向偏移量、中心点y方向偏移量、长度偏移量和宽度偏移量；也包含四个量，分别是候选框到真实标签中框的中心点x方向偏移量、中心点y方向偏移量、长度偏移量和宽度偏移量：
25、tx＝(x-xa)/wa ty＝(y-ya)/ha,
26、tw＝log(w/wa) th＝log(h/ha),
27、
28、
29、其中，(xa,ya,wa,ha)是rpn网络得到的建议框的尺寸，(x,y,w,h)是预测框的尺寸，(x*,y*,w*,h*)是真实的标签中框的尺寸。
30、fast-rcnn损失为：
31、lfast-rcnn(p,u,tu,v)＝lcls(p,u)+λ[u≥1]lloc(tu,v)
32、其中，p是分类器预测的softmax概率分布，p＝(p0,...,pk)；u对应目标真实类别标签；tu对应边界框回归器预测的对应类别u的回归参数v对应真实目标的边界框回本文档来自技高网...
【技术保护点】
1.一种基于双目立体视觉感知的矿石破碎方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于双目立体视觉感知的矿石破碎方法，其特征在于，步骤S1中利用立体校正算法对拍摄的左右图像进行立体校正以去除畸变的具体操作为：
3.根据权利要求1所述的一种基于双目立体视觉感知的矿石破碎方法，其特征在于，步骤S2的具体过程为：
4.根据权利要求3所述的一种基于双目立体视觉感知的矿石破碎方法，其特征在于，步骤S3中利用SGM立体匹配算法进行立体匹配过程为：
5.根据权利要求4所述的一种基于双目立体视觉感知的矿石破碎方法，其特征在于，步骤S4中利用视差图进行三维重建获取矿石三维点云的具体步骤为：
6.根据权利要求5所述的一种基于双目立体视觉感知的矿石破碎方法，其特征在于，手眼标定的具体步骤如下：
7.根据权利要求5所述的一种基于双目立体视觉感知的矿石破碎方法，其特征在于，步骤S5的具体步骤如下：
8.根据权利要求7所述的一种基于双目立体视觉感知的矿石破碎方法，其特征在于，步骤S53中KD-tree半径搜
9.根据权利要求8所述的一种基于双目立体视觉感知的矿石破碎方法，其特征在于，搜索半径小于矿石尺寸的1/3。
10.根据权利要求7所述的一种基于双目立体视觉感知的矿石破碎方法，其特征在于，步骤S542中算法参数为：迭代次数N＝50、阈值T＝100、距离阈值K＝100mm、样本数量M＝30。
...【技术特征摘要】
1.一种基于双目立体视觉感知的矿石破碎方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于双目立体视觉感知的矿石破碎方法，其特征在于，步骤s1中利用立体校正算法对拍摄的左右图像进行立体校正以去除畸变的具体操作为：
3.根据权利要求1所述的一种基于双目立体视觉感知的矿石破碎方法，其特征在于，步骤s2的具体过程为：
4.根据权利要求3所述的一种基于双目立体视觉感知的矿石破碎方法，其特征在于，步骤s3中利用sgm立体匹配算法进行立体匹配过程为：
5.根据权利要求4所述的一种基于双目立体视觉感知的矿石破碎方法，其特征在于，步骤s4中利用视差图进行三维重建获取矿石三维点云的具体步骤为：
6.根据...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。