一种多目标检测方法、装置、系统、设备及可读存储介质制造方法及图纸

本发明专利技术公开了一种多目标检测方法、装置、系统、设备及可读存储介质，其中，该多目标检测方法包括：获取输入图像在多个尺度下的特征图；将多个尺度的特征图输入多尺度特征融合层进行融合，分别得到输入图像在多个尺度下的各目标对应的预测位置和预测类别；将各目标对应的预测位置和预测类别进行合并，得到目标位置和目标类别。通过实施本发明专利技术，提升了尺度范围较大时的多目标检测能力，无需进行复杂的特征提取操作，保证了目标检测的实时性。

【技术实现步骤摘要】
一种多目标检测方法、装置、系统、设备及可读存储介质
本专利技术涉及自动驾驶
，具体涉及一种多目标检测方法、装置、系统、设备及可读存储介质。
技术介绍
目标检测是自动驾驶领域的一个重要任务。主要检测的目标分为两类：静止目标和运动目标。静止目标如交通灯、交通标识等，运动目标如车辆、行人、非机动车等。目标检测的精度和速度缺一不可，较低的检测精度或者过大的计算延迟都会造成致命的危险。基于yolo系列的实时检测算法兼具较好的检测实时性和准确度，因此被广泛采用和改进。然而，该网络是一个端到端的全卷积结构，使用大量的跳层连接可以实现较深的网络层次，在实时目标检测方面取得了一定的成就，但其检测精度不足；虽然通过增大输入图像的分辨率可以提高检测精度，但同时会导致计算量大幅增加，无法满足实时性。而在实际的应用中，需要同时对多类目标进行检测，且类别之间目标的像素尺度差异较大，对于像素尺度范围较大的复杂场景，现有检测算法无法同时满足检测精度和实时性的需求。
技术实现思路
因此，本专利技术要解决的技术问题在于克服现有技术中的检测算法无法兼顾检测精度和实时性的缺陷，从而提供一种多目标检测方法、装置、系统、设备及可读存储介质。根据第一方面，本专利技术实施例提供一种多目标检测方法，包括：获取输入图像在多个尺度下的特征图；将所述多个尺度的特征图输入多尺度特征融合层进行融合，分别得到所述输入图像在多个尺度下的各目标对应的预测位置和预测类别；将所述各目标对应的预测位置和预测类别进行合并，得到目标位置和目标类别。<br>结合第一方面，在第一方面的第一实施方式中，所述获取输入图像的多个尺度的特征图，包括：将所述输入图像输入至卷积神经网络，提取所述输入图像的图像浅层特征数据，将所述图像浅层特征数据嵌入到高维度特征空间中，得到对应的第一特征；将所述第一特征输入至残差神经网络，对第一特征进行不同次数的下采样处理和深层嵌入处理，得到多个不同尺度的特征图。结合第一方面第一实施方式，在第一方面的第二实施方式中，所述将所述第一特征输入至残差神经网络，对第一特征进行不同次数的下采样处理和深层嵌入处理，得到多个不同尺度的特征图，包括：将所述第一特征输入至第一残差神经网络，对第一特征进行第一预设次数的下采样处理和深层非线性嵌入处理，得到第一特征图；将所述第一特征图输入至第二残差神经网络，对第一特征图进行第二预设次数的下采样处理和深层嵌入处理，得到第二特征图，所述第二特征图的尺度大于所述第一特征图的尺度；将所述第二特征图输入至第三残差神经网络，对第二特征图进行第三预设次数的下采样处理和深层嵌入处理，得到第三特征图，所述第三特征图的尺度大于所述第二特征图的尺度。结合第一方面第二实施方式，在第一方面的第三实施方式中，所述将所述多个尺度的特征图输入多尺度特征融合层进行融合，分别得到所述输入图像在多个尺度下的各目标对应的预测位置和预测类别，包括：分别将所述第一特征图、所述第二特征图和所述第三特征图输入至第一多尺度特征融合层、第二多尺度特征融合层和第三多尺度特征融合层进行多尺度特征融合，对应得到第一融合图、第二融合图和第三融合图；将所述第一融合图、所述第二融合图和所述第三融合图分别输入至第一卷积组合神经网络、第二卷积组合神经网络和第三卷积组合神经网络进行高维非线性嵌入，得到所述第一融合图对应的第一预测位置和第一预测类别、所述第二融合图对应的第二预测位置和第二预测类别和所述第三融合图对应的第三预测位置和第三预测类别。结合第一方面第三实施方式，在第一方面的第四实施方式中，在将所述第二特征图输入至第二多尺度特征融合层进行融合之前，还包括：将所述第三融合图与所述第二残差神经网络输出的所述第二特征图进行第一拼接，生成第一拼接图，将所述第一拼接图作为第二多尺度特征融合层的输入。结合第一方面第四实施方式，在第一方面的第五实施方式中，在将所述第一特征图输入至第一多尺度特征融合层进行融合之前，还包括：将所述第二融合图与所述第一残差神经网络输出的所述第一特征图进行第二拼接，生成第二拼接图，将所述第二拼接图作为第一多尺度特征融合层的输入。结合第一方面第三实施方式，在第一方面的第六实施方式中，所述将所述各目标对应的预测位置和预测类别进行合并，得到目标位置和目标类别，包括：将所述第一预测位置和第一预测类别通过矩阵变换算法转化为第一矩阵；将所述第二预测位置和第二预测类别通过所述矩阵变换算法转化为第二矩阵；将所述第三预测位置和第三预测类别通过所述矩阵变换算法转化为第三矩阵；将所述第一矩阵、所述第二矩阵和所述第三矩阵合并为目标矩阵；根据所述目标矩阵得到目标位置和目标类别。结合第一方面第六实施方式，在第一方面的第七实施方式中，所述根据所述目标矩阵得到目标位置和目标类别，包括：通过预设算法对所述目标矩阵中包含的各目标对应的预测位置和预测类别进行筛选处理；根据筛选后的目标矩阵得到目标位置和目标类别。根据第二方面，本专利技术实施例提供一种多目标检测装置，包括：获取模块，用于获取输入图像在多个尺度下的特征图；融合模块，用于将所述多个尺度的特征图输入多尺度特征融合层进行融合，分别得到所述输入图像在多个尺度下的各目标对应的预测位置和预测类别；合并模块，用于将所述各目标对应的预测位置和预测类别进行合并，得到目标位置和目标类别。根据第三方面，本专利技术实施例提供一种多目标检测系统，包括：图像数据获取模块，用于采集输入图像，按照采集时间生成输入图像序列，并创建输入图像队列，将采集的所述输入图像逐帧输入至所述输入图像队列中；输入预处理模块，用于从所述输入图像队列中获取所述输入图像，对所述输入图像进行预处理，得到预处理图像，并创建模型图像队列，将所述预处理图像输入至所述模型图像队列中；多目标检测装置，用于从所述模型图像队列中获取所述预处理图像，对所述预处理图像进行特征提取，得到所述预处理图像的多个尺度的特征图，对多个尺度的特征图输入多尺度特征融合层进行融合，得到预处理图像在多个尺度下的各目标对应的预测位置和预测类别，对所述各目标对应的预测位置和预测类别进行合并，创建输出队列，将所述预测位置和预测类别输入至所述输出队列中，对所述预测位置和预测类别进行筛选处理，得到目标位置和目标类别；输出模块，用于创建检测结果输出队列，将所述目标输出结果输入至所述检测结果输出队列；格式输出接口模块，用于对所述检测结果输出队列中的目标位置和目标类别进行格式调整，输出目标格式数据。根据第四方面，本专利技术实施例提供一种计算机设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或第一方面任一实施方式中所述的多目标检测方法。根据第五方面，本专利技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行第一方面或第一方面任一实施方式中所述的多目标检测方法。本专利技术技术方案，具有如下优点：1.本专利技术提供的多目标检测方法和装置，通过获取输入图像在多个尺度下本文档来自技高网...

【技术保护点】
1.一种多目标检测方法，其特征在于，包括：/n获取输入图像在多个尺度下的特征图；/n将所述多个尺度的特征图输入多尺度特征融合层进行融合，分别得到所述输入图像在多个尺度下的各目标对应的预测位置和预测类别；/n将所述各目标对应的预测位置和预测类别进行合并，得到目标位置和目标类别。/n

【技术特征摘要】
1.一种多目标检测方法，其特征在于，包括：
获取输入图像在多个尺度下的特征图；
将所述多个尺度的特征图输入多尺度特征融合层进行融合，分别得到所述输入图像在多个尺度下的各目标对应的预测位置和预测类别；
将所述各目标对应的预测位置和预测类别进行合并，得到目标位置和目标类别。


2.根据权利要求1所述的方法，其特征在于，所述获取输入图像在多个尺度下的特征图，包括：
将所述输入图像输入至卷积神经网络，提取所述输入图像的图像浅层特征数据，将所述图像浅层特征数据嵌入到高维度特征空间中，得到对应的第一特征；
将所述第一特征输入至残差神经网络，对第一特征进行不同次数的下采样处理和深层嵌入处理，得到多个不同尺度的特征图。


3.根据权利要求2所述的方法，其特征在于，所述将所述第一特征输入至残差神经网络，对第一特征进行不同次数的下采样处理和深层嵌入处理，得到多个不同尺度的特征图，包括：
将所述第一特征输入至第一残差神经网络，对第一特征进行第一预设次数的下采样处理和深层非线性嵌入处理，得到第一特征图；
将所述第一特征图输入至第二残差神经网络，对第一特征图进行第二预设次数的下采样处理和深层嵌入处理，得到第二特征图，所述第二特征图的尺度大于所述第一特征图的尺度；
将所述第二特征图输入至第三残差神经网络，对第二特征图进行第三预设次数的下采样处理和深层嵌入处理，得到第三特征图，所述第三特征图的尺度大于所述第二特征图的尺度。


4.根据权利要求3所述的方法，其特征在于，所述将所述多个尺度的特征图输入多尺度特征融合层进行融合，分别得到所述输入图像在多个尺度下的各目标对应的预测位置和预测类别，包括：
分别将所述第一特征图、所述第二特征图和所述第三特征图输入至第一多尺度特征融合层、第二多尺度特征融合层和第三多尺度特征融合层进行多尺度特征融合，对应得到第一融合图、第二融合图和第三融合图；
将所述第一融合图、所述第二融合图和所述第三融合图分别输入至第一卷积组合神经网络、第二卷积组合神经网络和第三卷积组合神经网络进行高维非线性嵌入，得到所述第一融合图对应的第一预测位置和第一预测类别、所述第二融合图对应的第二预测位置和第二预测类别和所述第三融合图对应的第三预测位置和第三预测类别。


5.根据权利要求4所述的方法，其特征在于，在将所述第二特征图输入至第二多尺度特征融合层进行融合之前，还包括：
将所述第三融合图与所述第二残差神经网络输出的所述第二特征图进行第一拼接，生成第一拼接图，将所述第一拼接图作为第二多尺度特征融合层的输入。


6.根据权利要求5所述的方法，其特征在于，在将所述第一特征图输入至第一多尺度特征融合层进行融合之前，还包括：
将所述第二融合图与所述第一残差神经网络输出的所述第一特征图进行第二拼接，生成第二拼接图，将所述第二拼接图作为第一多尺度特征融合...

【专利技术属性】
技术研发人员：赵盼，李军，林昱，张庆，温悦，
申请(专利权)人：国汽北京智能网联汽车研究院有限公司，
类型：发明
国别省市：北京;11