一种多相机无人系统的目标检测方法技术方案

本发明专利技术属于图像检测技术领域，具体公开了一种多相机无人系统的目标检测方法，包括如下步骤：创建具有四个特征尺度的卷积神经网络模型，并进行压缩，以降低所述卷积神经网络模型在无人系统的内存占用；在所述无人系统与目标的相对运动过程中，通过压缩后的卷积神经网络模型基于多个相机同时进行目标检测，分别获得带有置信度的目标图像；对同一时刻下所有的目标图像和置信度进行融合，并输出融合后的目标图像；具有如下优点：球形系统的多个相机通过基于多尺度融合的卷积神经网络检测目标；并考虑实际的硬件部署条件压缩模型大小；融合多相机数据以获得最终的检测结果，保证球形系统进行目标检测任务的实时性和可靠性

【技术实现步骤摘要】
一种多相机无人系统的目标检测方法


[0001]本专利技术涉及图像检测
，具体而言，涉及一种多相机无人系统的目标检测方法
。

技术介绍

[0002]近些年来，随着科学技术的发展，移动机器人逐渐进入现代社会生活，并开始在工业
、
农业
、
医疗
、
生活等领域发挥越来越重要的作用
。
例如，家用机器人已经开始进入家庭和办公室，用于替代人类从事清扫
、
洗刷
、
安保等工作；配备有医疗诊断专家系统的医疗机器人，能够有效的帮助医生进行一系列的医疗诊断和辅助治疗，在有效的缓解医疗资源紧张的问题下推动医疗信息化的发展
。
[0003]随着机器人市场的急速扩张和人工智能领域的发展，基于移动机器人的各类目标检测
、
识别或追踪技术也得到越来越多的研究者的关注
。
这其中，采用单个相机工作的系统受制于自身的硬件约束，如视频分辨率
、
传输问题等，尤其是其视野范围的限制，导致传统的获取视频图像技术无法满足对数据数量与质量的需求；相比之下，多相机协同工作可以弥补单个相机在工作时的局限性，但是存在多相机无人系统进行运动目标检测时，单相机视角受限，无法提供对目标的准确认知的问题
。
[0004]为此提出一种多相机无人系统的目标检测方法，以解决上述提出的问题
。

技术实现思路

[0005]本专利技术旨在提供一种多相机无人系统的目标检测方法，以解决或改善多相机无人系统进行运动目标检测时，单个相机获取到的信息十分有限，无法提供对目标的准确认知的问题
。
[0006]有鉴于此，本专利技术的第一方面在于提供一种多相机无人系统的目标检测方法
。
[0007]本专利技术的第二方面在于提供一种多相机无人系统
。
[0008]本专利技术的第一方面提供了一种多相机无人系统的目标检测方法，包括如下步骤：
S1
，创建具有四个特征尺度的卷积神经网络模型，并进行压缩，以降低所述卷积神经网络模型在无人系统的内存占用；
S2
，在所述无人系统与目标的相对运动过程中，通过压缩后的卷积神经网络模型基于多个相机同时进行目标检测，分别获得带有置信度的目标图像；
S3
，对同一时刻下所有的目标图像和置信度进行融合，并输出融合后的目标图像；其中，所述置信度为目标图像中的目标是检测的目标的概率
。
[0009]本专利技术提供的一种多相机无人系统的目标检测方法，能够获得多个视角的信息，由于传统单个相机的工作模式大多是定点拍摄，导致视角固定，因此获取到的单视角信息无法提供对目标的准确认知，而在本专利的无人系统在球形钢体上多个位置上分别安装不同方向和视角的相机，能够获得相同目标的不同视角的信息，能够弥补单个相机相对角度变化时丢失的正面信息，也对遮挡问题提供了有效的解决途径；
[0010]扩大了观测范围，相比单个相机受制于自身视角范围，多个相机提供的视野信息
会更丰富，并且使用多个空间位置不同的相机来采集视角不同的图像和视频，通过组合获取更丰富的不同维度和尺度的场景信息，获得更大的视角范围和更符合实际视觉效果的图像，在执行运动目标检测等任务时相比单相机系统具有明显优势；
[0011]并考虑实际的硬件部署条件，对卷积神经网络模型进行压缩，以见底模型在无人系统中内存占用大小，设计多相机同步及数据融合算法，融合多相机数据以获得最终的检测结果，保证球形系统进行目标检测任务的实时性和可靠性；
[0012]对具有四个特征尺度的卷积神经网络模型进行模型压缩，由于球形无人多相机系统平台的能力限制，其搭载的机载处理器的计算能力有限，而基于深度学习的目标检测算法虽然相对于传统的目标检测，在目标检测精度和速率方面都有很大的提升；但是，深度学习算法在运算资源有限且条件复杂的机载平台上移植时，必须要考虑运算资源占用的问题，因此，需要对目标检测算法进行优化，对神经网络模型进行轻量化处理，对模型进行压缩以减少参数量，在精度下降不大的情况下提高检测速度，以更好地适应机载平台硬件的特殊需求，完成目标检测任务；
[0013]对多相机同步及数据融合，融合多相机数据以获得最终的检测结果
。
对于多相机无人系统而言，协同多个相机进行目标检测能够获得多个不同视角的信息，为了更好的完成目标检测任务，需要对多个相机的数据经过特定算法进行融合处理，要对多相机提供的多源数据进行合理的支配与使用，以获取单个相机相对角度变化时丢失的目标的正面信息，得到当前时刻准确的目标检测结果
。
因此，针对球形无人多相机系统采用多相机同步及数据融合，能够提高目标检测的精度与可信度，并增加系统的容错能力
。
[0014]另外，根据本专利技术的实施例提供的技术方案还可以具有如下附加技术特征：
[0015]上述任一技术方案中，所述
S1
中压缩的步骤，具体包括：在所述卷积神经网络模型中的卷积层和激活层之间添加
BN
层，并进行归一化处理；将归一化中的参数作为所述卷积神经网络模型的筛选参数，对所述卷积神经网络模型进行通道剪裁
。
[0016]在该技术方案中，卷积神经网络模型随着网络深度的增加容易出现梯度爆炸和梯度消失的情况，而在卷积神经网络模型中的卷积层和激活层之间引入
BN
层进行归一化可以加快收敛速度，加快模型训练的速度，训练神经网络模型时，会根据训练过程中的损失函数是否收敛到一个足够小的数值，来判断模型是否完成训练，从而提高神经网络的泛化能力；
[0017]模型压缩具体方法为通道剪枝，模型中存在大量冗余参数，而过度参数化会导致卷积神经网络在预测目标时占用较多内存空间，降低检测速度，在使用数据集训练神经网络的过程中，采用通道剪枝的方法去除多余的网络参数
、
节点和权重连接，使网络结构更加精简；通道剪枝不是对个别权重进行修剪，而是对网络结构的一部分做剪枝或稀疏化
。
[0018]具体地，首先是制作训练所用的目标数据集，利用数据集进行基础训练；然后设置学习率，对网络进行稀疏化训练，网络中许多缩放因子会趋近于零；之后进行通道剪枝，对缩放因子进行排序，并设置剪枝率，剪掉值较小的缩放因子对应的通道；最后根据剪枝前后的模型精度变化情况，决定是否使用再训练进行微调，这样就可以得到压缩后更加紧凑的卷积神经网络模型
。
[0019]上述任一技术方案中，所述归一化处理采用下述公式进行：上述任一技术方案中，所述归一化处理采用下述公式进行：上述任一技术方案中，所述归一化处理采用下述公式进行：其中，
z
in
为给
BN
层的输入值，由卷积层输出
、z
out
为
BN
层的输出值，并输入到
激活层
、
μ
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种多相机无人系统的目标检测方法，其特征在于，如下步骤：
S1
，创建具有四个特征尺度的卷积神经网络模型，并进行压缩，以降低所述卷积神经网络模型在无人系统的内存占用；
S2
，在所述无人系统与目标的相对运动过程中，通过压缩后的卷积神经网络模型基于多个相机同时进行目标检测，分别获得带有置信度的目标图像；
S3
，对同一时刻下所有的目标图像和置信度进行融合，并输出融合后的目标图像；其中，所述置信度为目标图像中的目标是检测目标的概率
。2.
根据权利要求1所述的一种多相机无人系统的目标检测方法，其特征在于，所述
S1
中压缩的步骤，具体包括：在所述卷积神经网络模型中的卷积层和激活层之间添加
BN
层，并进行归一化处理；将归一化中的参数作为所述卷积神经网络模型的筛选参数，对所述卷积神经网络模型进行通道剪裁
。3.
根据权利要求2所述的一种多相机无人系统的目标检测方法，其特征在于，所述归一化处理采用下述公式进行：其中，
z
in
为给
BN
层的输入值，由卷积层输出
、z
out
为
BN
层的输出值，并输入到激活层
、
μ
为当前小批量数据的平均值
、
σ
为当前小批量数据的标准差
、
γ
为归一化中缩放参数
、
β
为归一化中平移参数
、
对输入进行归一化得到的值
、
ε
为引入的偏差量
。4.
根据权利要求3所述的一种多相机无人系统的目标检测方法，其特征在于，所述通道剪裁的步骤，具体包括：对所述卷积神经网络模型的每个通道进行稀疏化训练，并获取
γ
变化后的数值；设置筛选阈值并将变化后...

【专利技术属性】
技术研发人员：蔡志浩，牛钰，王英勋，赵江，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：