【技术实现步骤摘要】
本申请属于无人系统目标识别的，尤其涉及一种训练目标检测模型的方法、装置及电子设备。
技术介绍
1、基于无人系统视觉的目标检测具有广泛的应用领域，基于深度学习的目标检测和识别得到深入的研究。目前，基于深度学习的目标检测算法分为端到端和两阶段算法。两阶段算法将目标检测任务分成两步：基于区域建议网络首先对图片提取特征并提取出可能存在目标的区域，然后再从提取出来的区域，进行内容的分类和目标边框的回归。端到端算法省略区域建议网络，直接由特征图预测目标类别的分类和位置框的回归。在相同能力计算下，两种算法皆有利弊，单阶段的网络比两阶段网络的检测速度更快，两阶段网络比端到端网络的检测精度更高。但对于微纳无人系统来说，大部分的目标检测神经网络模型计算量庞大，参数过多，很难实现算法的部署。
2、在无人系统等端侧设备应用目标识别算法时，一般将视觉传感器采集的原始数据(bayer格式数据)经过isp等图像处理模块转为rgb图像(涉及图像编解码、白平衡等过程)，再传输到神经网络模型中做推理和计算。但对于微纳型无人系统，机身重量通常限制在百克以下，可适配的芯片通常内存小、计算量有限，考虑到重量和资源分配等问题通常仅装配视觉传感器，且可选取的图像传感器通常不再配置特定的isp处理模块，导致获取的图像质量较低，极大地影响检测效果。此外，若想使得深度学习跟踪算法达到高实时性的要求，需要将模型的计算量限制在1gflops以下，参数量限制在2m以下，整套算法耗时控制在100ms以内。”
3、因此，如何在微纳无人系统上占用存算资源少、运算时间短
技术实现思路
1、本申请的目的是提供一种训练目标检测模型的方法、装置及电子设备，以解决如何在微纳无人系统上占用存算资源少、运算时间短的实现目标检测的问题。
2、为解决上述技术问题，根据一些实施例，本申请提供的一种训练目标检测模型的方法，包括：
3、获取bayer图像数据，生成所述bayer图像数据对应的第一标签，获取rgb图像数据，生成所述rgb图像数据对应的第二标签，所述bayer图像数据和所述rgb图像数据为相同视角下的图像数据；
4、从所述bayer图像数据提取第一训练集，从所述rgb图像数据提取第二训练集，所述第一训练集的第一标签与所述第二训练集的第二标签根据相同视角关系一一对应；利用所述第一训练集训练bayer目标检测模型；利用所述第二训练集训练rgb目标检测模型；
5、通过所述bayer目标检测模型识别bayer待测图像，得到第一目标识别结果，通过所述rgb目标检测模型识别rgb图像待测数据，得到第二目标识别结果；所述bayer待测图像和rgb图像待测数据为相同设定角度捕捉的图像；
6、判断所述第一目标识别结果和所述第二目标识别结果是否一致，若是，则将确定所述bayer目标检测模型为目标检测模型，若否，则重新训练bayer目标检测模型和所述rgb目标检测模型，直到所述第一目标识别结果和所述第二目标识别结果一致为止。
7、进一步地，通过所述bayer目标检测模型识别bayer待测图像得到第一目标识别结果包括：将所述bayer目标检测模型的输出结果进行非极大值抑制处理，得到第一目标识别结果，所述第一目标识别结果包括：bayer目标检测框坐标、bayer目标置信度和bayer目标类别；
8、所述通过所述rgb目标检测模型识别rgb图像待测数据，得到第二目标识别结果，包括：非极大值抑制处理所述rgb目标检测模型的输出结果，得到第二目标识别结果，所述第二目标识别结果包括：rgb目标检测框坐标、rgb目标置信度和rgb目标类别。
9、进一步地，所述获取rgb图像数据，包括：从coco数据集中，提取所述rgb图像数据；所述coco数据集中包含多个目标类别和多个场景的图像数据。
10、进一步地，通过单目摄像设备捕捉所述bayer待测图像。
11、进一步地，所述bayer目标检测模型的类型为深度神经网络，所述深度神经网络包括网络主干和检测头；
12、所述网络主干包括17层卷积网络层、17层归一化层和2层池化层；
13、所述检测头包括5层卷积网络层、5层归一化层、3层池化层和1层下采样层。
14、进一步地，所述卷积神经网络的算子为卷积算子、平均池化算子、批归一化算子、激活函数算子和下采样算子。
15、进一步地，在每一层所述卷积网络层中包括激活函数层。
16、进一步地，所述利用所述第一训练集训练bayer目标检测模型包括：
17、随机初始化所述深度神经网络中的神经元偏置和权重值；
18、使用损失函数通过梯度下降法，通过所述第一训练集、前向传播和反向传播更新权重和偏置，训练所述bayer目标检测模型。
19、进一步地，所述损失函数为以下公式1：
20、l ＝ lbox+lobj+lcis 公式1；
21、其中，lbox为目标检测框的损失函数，lobj为目标置信度的损失函数，lcis为目标类别的损失函数。
22、进一步地，使用损失函数通过梯度下降法，通过所述第一训练集、前向传播和反向传播更新权重和偏置包括：
23、在前向传播后固定bayer目标检测模型中神经元的偏置和权重值；
24、通过所述第一训练集，获取输出层损失函数的梯度；
25、获取每一层卷积网络层对应的梯度；
26、根据所述每一层卷积网络层对应的梯度，通过梯度下降法，更新每个神经元的偏置和权重值。
27、进一步地，所述rgb图像待测数据与所述bayer待测图像为相同场景和相同视角的图像数据；或，所述rgb图像待测数据由bayer待测图像转化而成。
28、进一步地，所述bayer目标检测模型与所述rgb目标检测模型的网络结构相同。
29、进一步地，所述通过第一训练集训练bayer目标检测模型与所述通过第二训练集训练rgb目标检测模型的训练步骤相同。
30、本申请的另一方面提出了一种目标检测模型训练装置，采用如上述任一技术方案中的训练目标检测模型的方法对模型进行训练。
31、本申请的又一方面提出了一种电子设备，包括存储器、显示器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一技术方案中训练目标检测模型的方法的步骤。
32、本申请的上述技术方案至少具有如下有益的技术效果：
33、本申请提出的一种训练目标检测模型的方法得到的微模型，可直接使用摄像头传感器获得的原始数据(bayer格式数据)进行计算，无需图像的更多的传输、存储及编码、解码过程；相对于利用rgb图像数据，减少数据占用内存约67％，减轻图像质量对检测效果的影响；设计的bayer目标检测模型大幅减少计算本文档来自技高网...
【技术保护点】
1.一种训练目标检测模型的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述通过所述Bayer目标检测模型识别Bayer待测图像，得到第一目标识别结果包括：
3.根据权利要求1所述的方法，其特征在于，所述获取RGB图像数据，包括：从COCO数据集中提取所述RGB图像数据，所述COCO数据集中包含多个目标类别和多个场景的图像数据。
4.根据权利要求1所述的方法，其特征在于，通过单目摄像设备捕捉所述Bayer待测图像。
5.根据权利要求1所述的方法，其特征在于，所述Bayer目标检测模型的类型为深度神经网络，所述深度神经网络包括网络主干和检测头；
6.根据权利要求5所述的方法，其特征在于，所述卷积神经网络的算子为卷积算子、平均池化算子、批归一化算子、激活函数算子和下采样算子。
7.根据权利要求5所述的方法，其特征在于，在每一层所述卷积网络层中包括激活函数层。
8.根据权利要求5所述的方法，其特征在于，所述利用所述第一训练集训练Bayer目标检测模型包括：
9.根据权利
10.根据权利要求5所述的方法，其特征在于，使用损失函数通过梯度下降法，通过所述第一训练集、前向传播和反向传播更新权重和偏置包括：
11.根据权利要求1所述的方法，其特征在于，所述RGB图像待测数据与所述Bayer待测图像为相同场景和相同视角的图像数据；或，所述RGB图像待测数据由Bayer待测图像转化而成。
12.根据权利要求11所述的方法，其特征在于，所述Bayer目标检测模型与所述RGB目标检测模型的网络结构相同。
13.根据权利要求11所述的方法，其特征在于，所述通过第一训练集训练Bayer目标检测模型与所述通过第二训练集训练RGB目标检测模型的训练步骤相同。
14.一种目标检测模型训练装置，其特征在于，采用如权利要求1-13任一项所述训练目标检测模型的方法对模型进行训练。
15.一种电子设备，其特征在于，包括存储器、显示器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-13中任意一项所述训练目标检测模型的方法的步骤。
...【技术特征摘要】
1.一种训练目标检测模型的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述通过所述bayer目标检测模型识别bayer待测图像，得到第一目标识别结果包括：
3.根据权利要求1所述的方法，其特征在于，所述获取rgb图像数据，包括：从coco数据集中提取所述rgb图像数据，所述coco数据集中包含多个目标类别和多个场景的图像数据。
4.根据权利要求1所述的方法，其特征在于，通过单目摄像设备捕捉所述bayer待测图像。
5.根据权利要求1所述的方法，其特征在于，所述bayer目标检测模型的类型为深度神经网络，所述深度神经网络包括网络主干和检测头；
6.根据权利要求5所述的方法，其特征在于，所述卷积神经网络的算子为卷积算子、平均池化算子、批归一化算子、激活函数算子和下采样算子。
7.根据权利要求5所述的方法，其特征在于，在每一层所述卷积网络层中包括激活函数层。
8.根据权利要求5所述的方法，其特征在于，所述利用所述第一训练集训练bayer目标检测模型包括：
9.根据权利要求8所述的方法...
【专利技术属性】
技术研发人员：尤政，史慧宇，戴宇翔，纪兴龙，浦一雯，丁皓伦，韩毓，邢飞，鲁文帅，
申请(专利权)人：启元实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。