一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法技术

本申请提供了一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法，其包括以下步骤：对双目多目标图像进行匹配，得到有效坐标点匹配对的组合；对得到的有效坐标点匹配对的组合进行三维重建，得到多个同时出现在双目立体视觉系统中的乒乓球的空间坐标点；利用多个同时出现在双目立体视觉系统中的乒乓球的空间坐标点进行多目标筛选，得到有效运动目标乒乓球的空间坐标点。本申请用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法通过对目标进行匹配、重建和多目标筛选，能够在复杂的多乒乓球场景中定位和筛选出有效运动目标，可以同时适用于普通的单球对打场景以及乒乓球多球训练场景。

【技术实现步骤摘要】
一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法
本申请属于机器视觉
，具体涉及一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法。
技术介绍
双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。现有的乒乓球轨迹捕捉中使用的双目立体视觉系统大多用于乒乓球机器人的回球场景。在乒乓球机器人的回球场景中，只能在视野中只有单个乒乓球的情况下使用，而无法用于多乒乓球的情况。
技术实现思路
为至少在一定程度上克服相关技术中存在的问题，本申请提供了一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法。根据本申请实施例的第一方面，本申请提供了一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法，其包括以下步骤：对双目多目标图像进行匹配，得到有效坐标点匹配对的组合；对得到的有效坐标点匹配对的组合进行三维重建，得到多个同时出现在双目立体视觉系统中的乒乓球的空间坐标点；利用多个同时出现在双目立体视觉系统中的乒乓球的空间坐标点进行多目标筛选，得到有效运动目标乒乓球的空间坐标点。上述用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法中，所述步骤对双目多目标图像进行匹配的具体过程为：利用双目立体视觉系统采集某一帧图像对，该图像对包括左相机图像和右相机图像；并分别在左相机图像和右相机图像中检测乒乓球的坐标点；利用双目立体视觉系统的标定参数，分别对应将检测到的左相机图像和右相机图像中的乒乓球的坐标点转换成左相机校正图中的坐标点和右相机校正图中的坐标点；遍历搜索所有左相机校正图中的坐标点与右相机校正图中的坐标点的组合；计算每对组合中坐标点之间的极线距离；判断极线距离是否满足极线约束，并记录满足极线约束的组合中的坐标点；遍历记录的满足极线约束的坐标点匹配对的组合，通过唯一性约束和次序约束从该坐标点匹配对的组合中筛选出有效的坐标点匹配对的组合。进一步地，所述将检测到的左相机图像中的乒乓球的坐标点转换成左相机校正图中的坐标点的具体过程为：假设左相机图像中的乒乓球的坐标点PL[i],i＝1,2,3,L,m的坐标为(u0,v0)，左相机校正图中的坐标点PRL[i],i＝1,2,3,L,m的坐标为(u,v)，则：式中，ML表示左相机的3*3内参数矩阵，ProjL表示左相机的3*4校正图投影矩阵，ML-1表示矩阵ML的逆矩阵，u1,v1,z1,u2,v2,u3,v3,z3均为中间计算数值。进一步地，所述步骤计算每对组合中坐标点之间的极线距离的具体过程为：假设左相机校正图中的坐标点PRL[i]的坐标为(xl[i],yl[i])，右相机校正图中的坐标点PRR[j]的坐标为(xr[j],yr[j])，则坐标点PRL[i]与PRR[j]之间的极线距离PE为：PE＝|yr[j]-yl[i]|。进一步地，所述步骤判断极线距离是否满足极线约束的具体过程为：预设极线约束阈值thresh1；将坐标点PRL[i]与PRR[j]之间的极线距离PE与极线约束阈值thresh1进行比较，如果坐标点PRL[i]与PRR[j]之间的极线距离PE小于极线约束阈值thresh1，则判定坐标点PRL[i]与PRR[j]之间的极线距离PE满足极线约束。进一步地，所述通过唯一性约束和次序约束从满足极线约束的坐标点匹配对的组合中筛选出有效的坐标点匹配对的组合的具体过程为：所述唯一性约束为：左相机校正图中的每个坐标点最多只存在一个右相机校正图中的坐标点与之有效匹配对应；所述次序约束为：同一根极线附近的坐标点匹配对在左相机校正图中的出现顺序与在右相机校正图中的出现顺序相同；依次筛选记录的满足极线约束的坐标点匹配对的组合Record中的左相机校正图中的坐标点，如果仅存在一个右相机校正图中的坐标点与之匹配，则将该坐标点匹配对的组合作为有效组合并记录，同时在组合Record中删除该坐标点匹配对的组合中的两个坐标点；依次筛选剩下的组合Record中的左相机校正图中的坐标点，对每个左相机校正图中的坐标点PRL[i]，找出所有与之匹配的右相机校正图中的坐标点的集合{PRRjm}，然后对坐标点集合{PRRjm}中的每个右相机校正图坐标点PRRjm，找到所有与之匹配的左相机校正图中坐标点的集合{PRLin}；按照左相机校正图中坐标点的x轴坐标的大小，对左相机校正图中坐标点集合{PRLin}中的坐标点进行排序；按照右相机校正图中坐标点的x轴坐标的大小，对右相机校正图中坐标点集合{PRRjm}中的坐标点进行排序；按顺序遍历搜索排序后的坐标点集合{PRLin}和{PRRjm}，对每一个左相机校正图中的坐标点PRLin，将找到的第一个与之满足极线约束的右相机校正图中的坐标点PRRjm与该坐标点PRLin作为有效组合，记录该有效组合，并在组合Record中删除该有效组合中的两个坐标点；遍历完毕后，找到并记录所有k个有效坐标点匹配对的组合。上述用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法中，对得到的有效坐标点匹配对的组合进行三维重建的具体过程为：假设有效坐标点匹配对的组合(PRLin[k],PRRjm[k])中坐标点PRLin[k]的坐标为(ul,vl)，坐标点PRRjm[k]的坐标为(ur,vr)，则乒乓球的空间坐标点Pk(xk,yk,zk)为：式中，ML表示左相机的3*3内参数矩阵，PLR表示右相机相对于左相机的4*4外参数矩阵，x0,y0,z0,w0,xc,yc,zc均为中间计算数值，Htable表示在左相机坐标系下球桌坐标系的4*4变换矩阵，Htable-1为矩阵Htable的逆矩阵。上述用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法中，所述利用多个同时出现在双目立体视觉系统中的乒乓球的空间坐标点进行多目标筛选的具体过程为：遍历本帧图像中k个同时出现在双目立体视觉系统中的乒乓球的空间坐标点P1(x1,y1,z1),P2(x2,y2,z2),L,Pk(xk,yk,zk)，找出空间坐标点Pi1(xi1,yi1,zi1)(i1＝1,2,L,k)与上一帧图像中k′个同时出现在双目立体视觉系统中的乒乓球的空间坐标点Pj1(xj′1,yj′1,z′j1)(j1＝1,2,L,k′)之间的最小距离dis；找出最小距离dis的最大值dismax及其对应的序号i1，如果最大值dismax大于预设的阈值thresh2，则将序号i1对应的空间坐标点Pi1(xi1,yi1,zi1)作为有效运动目标。根据本申请实施例的第二方面，本申请还提供了一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选装置，其包括：存储器和处理器，所述处理器被配置为基于存储在存储器中的指令，执行上述任一项所述的用于乒乓球轨迹捕捉的双本文档来自技高网...

【技术保护点】
1.一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法，其特征在于，包括以下步骤：/n对双目多目标图像进行匹配，得到有效坐标点匹配对的组合；/n对得到的有效坐标点匹配对的组合进行三维重建，得到多个同时出现在双目立体视觉系统中的乒乓球的空间坐标点；/n利用多个同时出现在双目立体视觉系统中的乒乓球的空间坐标点进行多目标筛选，得到有效运动目标乒乓球的空间坐标点。/n

【技术特征摘要】
1.一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法，其特征在于，包括以下步骤：
对双目多目标图像进行匹配，得到有效坐标点匹配对的组合；
对得到的有效坐标点匹配对的组合进行三维重建，得到多个同时出现在双目立体视觉系统中的乒乓球的空间坐标点；
利用多个同时出现在双目立体视觉系统中的乒乓球的空间坐标点进行多目标筛选，得到有效运动目标乒乓球的空间坐标点。


2.如权利要求1所述的用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法，其特征在于，所述步骤对双目多目标图像进行匹配的具体过程为：
利用双目立体视觉系统采集某一帧图像对，该图像对包括左相机图像和右相机图像；并分别在左相机图像和右相机图像中检测乒乓球的坐标点；
利用双目立体视觉系统的标定参数，分别对应将检测到的左相机图像和右相机图像中的乒乓球的坐标点转换成左相机校正图中的坐标点和右相机校正图中的坐标点；
遍历搜索所有左相机校正图中的坐标点与右相机校正图中的坐标点的组合；
计算每对组合中坐标点之间的极线距离；
判断极线距离是否满足极线约束，并记录满足极线约束的组合中的坐标点；
遍历记录的满足极线约束的坐标点匹配对的组合，通过唯一性约束和次序约束从该坐标点匹配对的组合中筛选出有效的坐标点匹配对的组合。


3.根据权利要求2所述的用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法，其特征在于，所述将检测到的左相机图像中的乒乓球的坐标点转换成左相机校正图中的坐标点的具体过程为：
假设左相机图像中的乒乓球的坐标点PL[i],i＝1,2,3,L,m的坐标为(u0,v0)，左相机校正图中的坐标点PRL[i],i＝1,2,3,L,m的坐标为(u,v)，则：



式中，
ML表示左相机的3*3内参数矩阵，ProjL表示左相机的3*4校正图投影矩阵，ML-1表示矩阵ML的逆矩阵，u1,v1,z1,u2,v2,u3,v3,z3均为中间计算数值。


4.根据权利要求2所述的用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法，其特征在于，所述步骤计算每对组合中坐标点之间的极线距离的具体过程为：
假设左相机校正图中的坐标点PRL[i]的坐标为(xl[i],yl[i])，右相机校正图中的坐标点PRR[j]的坐标为(xr[j],yr[j])，则坐标点PRL[i]与PRR[j]之间的极线距离PE为：
PE＝|yr[j]-yl[i]|。


5.根据权利要求2所述的用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法，其特征在于，所述步骤判断极线距离是否满足极线约束的具体过程为：
预设极线约束阈值thresh1；
将坐标点PRL[i]与PRR[j]之间的极线距离PE与极线约束阈值thresh1进行比较，如果坐标点PRL[i]与PRR[j]之间的极线距离PE小于极线约束阈值thresh1，则判定坐标点PRL[i]与PRR[j]之间的极线距离PE满足极线约束。


6.根据权利要求2所述的用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法，其特征在于，所述通过唯一性约束和次序约束从满足极线约束的坐标点匹配对的组合中筛选出有效的坐标点匹配对的组合的具体过程为：
所述唯一性约束为：左相机校正图中的每个坐标点最多只存在一个右相机校正图中的坐标点与之有效匹配对应；
所述次序约束为：同一根极线附近的坐标点匹配对在左相机校正图中的出现顺序与在右相机校正图中的出现顺序相同；
依次筛选记录的满足极线约...

【专利技术属性】
技术研发人员：贺琪欲，张海波，杨跞，许楠，张文，
申请(专利权)人：上海庞勃特科技有限公司，
类型：发明
国别省市：上海;31