一种多相机小尺寸物体识别、定位方法和系统，其方法包括：S1:相机之间外参标定S2:小目标视觉检测S3:小目标的点云背景过滤S4:两相机的联合定位S5:目标中心位置估计补偿。本发明专利技术通过多个相机同时工作，提供多视角下观察到的目标信息，并进一步通过卷积神经网络、点云过滤、空间聚类等手段，提高小尺寸目标识别、定位的鲁棒性和准确度。位的鲁棒性和准确度。位的鲁棒性和准确度。
【技术实现步骤摘要】
一种多相机小目标识别、联合定位方法和系统
[0001]本专利技术涉及机器视觉领域，尤其涉及一种多相机小目标识别、联合定位方法和系统。
技术介绍
[0002]多相机小目标识别和联合定位是计算机视觉领域中的重要研究方向。在实际应用中，例如视频监控、自动驾驶等场景下，需要对小目标进行准确的识别和定位，以便进行后续的处理和决策。然而，在复杂的环境中，单个相机往往难以完成对小目标的精确定位和识别任务，因此需要多个相机进行联合处理。
[0003]多相机小目标识别和联合定位的研究面临着一些挑战。首先，由于不同相机之间的视角和光照等条件不同，导致生成的图像存在较大差异，这会影响模型的性能。其次，小目标的尺寸和形状多样，加之噪声和遮挡等因素干扰，使得对小目标的识别和定位变得更加困难。此外，如何进行相机之间的配准和数据融合等问题也需要被解决。
[0004]为了解决上述问题，研究者们提出了一系列方法来实现多相机小目标识别和联合定位。例如，一些研究者使用多任务学习的方法，同时对小目标的分类和定位进行处理，以提高模型的准确性，但是这两种方法标注难度高，需要花费大量时间在数据标注上。其他研究者则利用深度学习等技术进行特征提取和匹配，从而实现多相机数据的配准和融合，该方法存在由于相机内、外参改变而迁移困难的问题。
技术实现思路
[0005]本专利技术要克服现有技术的上述缺点，提供一种通过机器人的多个相机对小目标进行识别、定位的方法。
[0006]本专利技术的一种多相机小目标识别、联合定位方法，包括
[0007]S1:相机之间外参标定；
[0008]S2:检测小目标视觉；
[0009]S3:过滤小目标的点云背景；
[0010]S4:联合定位两相机；
[0011]S5:估计补偿目标中心位置。
[0012]其中，S1具体包括：
[0013]选择用深度对齐到RGB图像输出，并将右目的RGB相机通过外参标定对齐到左目的RGB相机。
[0014]标定过程如下：
[0015]首先，使用标定板粗略标定左目和右目间的外参；然后，以第一次标定的值作为ICP的初值，进一步利用重叠区间的点云，通过结合颜色的ICP匹配算法进行二次标定，获得更加准确的标定参数。
[0016]其中，为了使得ICP匹配获得良好的结果，在重叠地带布置特征明显的参考物。
[0017]进一步，所述的参考物是按近低远高布置几个颜色特征明显的箱子。
[0018]其中，步骤S2具体为：
[0019]首先在进行相机配置时，选择像素较大的配置如1280*720作为输出照片尺寸；同时，在照片输入卷积网络时，用滑动窗口采样；采用的神经网络模型yolox的输入尺寸为640*640，分割滑窗。
[0020]其中，步骤S3具体包括：
[0021]采用以下方法进行背景滤除：
[0022]假设目标点云obj_points，数据格式为三维矩阵，矩阵尺寸为[a,b,3]，a、b为检测框的长、宽，3为点云的x(相机水平方向),y(相机垂直方向),z(远离相机方向)的值，滤除背景方法是首先计算点云第三通道中值，再以中值为中心，删除z方向前后1cm以外的点云，采用python描述：
[0023]zs ＝ obj_points[:, 2]ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0024]z ＝ np.median(zs)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0025]obj_points＝np.delete(obj_points, np.where((zs < z
ꢀ‑ꢀ
0.01) | (zs > z + 0.01)),axis＝0)
ꢀꢀ
(11)。
[0026]其中，步骤S4具体为：
[0027]获得两个相机的目标点云后，对同一个目标的点云进行合并，通过多方位的观察点云获得更加丰富的物体描述，并对合并的点云进一步计算物体抓取中心。
[0028]首先计算单个相机下目标的包络框，用框的中心表示目标的中心，进一步对目标的中心在空间上进行聚类，判断距离1cm以内的目标中心为同一个目标，以此为判断依据合并点云。
[0029]其中，步骤S5具体包括：
[0030]对目标中心位置进行一定补偿的依据为越近的目标能看到更多顶面，中心估计越准确，越远的目标只能看到正面，估计的中心偏近；再依据目标的宽度，远的目标往远的方向补偿一定比例量，这里最大补偿量为目标宽度的1/3，以此方法进行位置补偿。假设目标位置为：
[0031]P＝[x,y,z]ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0032]其中x超前，y侧面，z朝上。
[0033]目标尺寸为：
[0034]Size＝[d1,d2,d3]ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0035]首先对x方向进行补偿：
[0036]x_offset＝(e
‑
e^(0.4
‑
x))/e*d2/3
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0037]假设目标尺寸d2＝0.03,补偿值x_offset曲线在近处斜率大，在远处斜率小，并且在无穷远处逼近目标尺寸1/3。
[0038]其次，对y方向进行补偿：
[0039]y_offset＝y/|y|*(1
‑
e^(
‑
|y|))/e*d2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0040]补偿值y_offset曲线在绝对值小的地方斜率大，在绝对值大的地方斜率小，在y方向
±
1米处补偿量为7mm左右。
[0041]x1＝x+x_offset
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0042]y1＝y+y_offset
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0043]z1＝z
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0044]补偿后的目标中心位置P1为：
[0045]P1＝[x1,y1,z1]ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0046]其中e为自然常数。
[0047]本专利技术的第二个方面涉及一种多相机小目标识别、联合定位系统，包括
[0048]相机之间外参标定模块，用于标定相机之间外参；
[0049]小目标视觉检测模块，用于检测小目标视觉；
[0050]小目标的点云背景过滤模块，用于检测小目标的点云背景；
[0051]两相机的联合定位模块，用于联合定位两个相机；
[0052]目标中心位置估计补偿模块，用于估计补偿目标中心位置本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种多相机小目标识别、联合定位方法，其特征在于，包括S1:相机之间外参标定；S2:检测小目标视觉；S3:过滤小目标的点云背景；S4:联合定位两相机；S5:估计补偿目标中心位置。2.根据权利要求1所述的一种多相机小目标识别、联合定位方法，其特征在于，S1具体包括：选择用深度对齐到RGB图像输出，并将右目的RGB相机通过外参标定对齐到左目的RGB相机。标定过程如下：首先，使用标定板粗略标定左目和右目间的外参；然后，以第一次标定的值作为ICP的初值，进一步利用重叠区间的点云，通过结合颜色的ICP匹配算法进行二次标定，获得更加准确的标定参数。3.根据权利要求2所述的一种多相机小目标识别、联合定位方法，其特征在于，为了使得ICP匹配获得良好的结果，在重叠地带布置特征明显的参考物。4.根据权利要求3所述的一种多相机小目标识别、联合定位方法，其特征在于，所述的参考物是按近低远高布置几个颜色特征明显的箱子。5.根据权利要求1所述的一种多相机小目标识别、联合定位方法，其特征在于，S2具体为：首先在进行相机配置时，选择像素较大的配置如1280*720作为输出照片尺寸；同时，在照片输入卷积网络时，用滑动窗口采样；采用的神经网络模型yolox的输入尺寸为640*640，分割滑窗。6.根据权利要求1所述的一种多相机小目标识别、联合定位方法，其特征在于，步骤S3具体包括：采用以下方法进行背景滤除：假设目标点云obj_points，数据格式为三维矩阵，矩阵尺寸为[a,b,3]，a、b为检测框的长、宽，3为点云的x(相机水平方向),y(相机垂直方向),z(远离相机方向)的值，滤除背景方法是首先计算点云第三通道中值，再以中值为中心，删除z方向前后1cm以外的点云，采用python描述：zs ＝ obj_points[:, 2]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)z ＝ np.median(zs)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)obj_points＝np.delete(obj_points, np.where((zs < z
ꢀ‑ꢀ
0.01) | (zs > z + 0.01)),axis＝0) (11)。7.根据权利要求1所述的一种多相机小目标识别、联合定位方法，其特征在于，步骤S4具体为：获得两个相机的目标点云后，对同一个目标的点云进行合并，通过多方位的观察点云获得更加丰富的物体描述，并对合并的点云进一步计算物体抓取中心。首先计算单个相机下目标的包络框，用框的中心表示目标的中心，进一步对目标的中
心在空间上进行聚类，判断距离1cm以内的目标中心为同一个目标，以此为判断依据合并点云。8...
【专利技术属性】
技术研发人员：喻源，李月华，周洋，朱世强，
申请(专利权)人：之江实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。