基于CNN和Transformer的目标检测方法技术

本发明专利技术公开了一种基于CNN和Transformer的目标检测方法，包括：获取待检测图像；采用预先构建的目标检测模型对待检测图像进行检测，获得标记有目标检测框的目标图像；目标检测模型包括Backbone、Neck和Head三部分，Backbone部分基于CNN网络和Transformer网络对所述待检测图像进行特征提取，得到多个不同尺度的特征；Neck部分基于Ghost

【技术实现步骤摘要】
基于CNN和Transformer的目标检测方法


[0001]本专利技术涉及自动驾驶
，尤其涉及一种基于CNN和Transformer的目标检测方法。

技术介绍

[0002]目标检测是自动驾驶领域核心技术之一。目标检测主要是通过对车辆实时采集到的路面图像进行分析，从而识别出路面图像上的物体并框选出来。目标检测可以为自动驾驶功能的实现提供技术支持，以保证行车安全。
[0003]目前，常规的目标检测是采用卷积神经网络(CNN)。与传统方法相比，CNN可以准确地提取出合适的特征，无需额外设计特定的特征。但是现有的基于CNN的检测方法，例如Yolov5，虽然因为其网络深度较浅因而速度更快，但同时其目标识别精度也有所下降，在实际应用时无法保证识别的可靠性。

技术实现思路

[0004]本专利技术实施例提供一种基于CNN和Transformer的目标检测方法，其能实现模型轻量化，提高目标检测的精度。
[0005]本专利技术实施例提供一种基于CNN和Transformer的目标检测方法，包括：
[0006]获取待检测图像；
[0007]采用预先构建的目标检测模型对所述待检测图像进行检测，获得标记有目标检测框的目标图像；
[0008]其中，所述目标检测模型包括Backbone、Neck和Head三部分，Backbone部分基于CNN网络和Transformer网络对所述待检测图像进行特征提取，得到多个不同尺度的特征；Neck部分基于Ghost
‑
BiFPN网络对相应多个不同尺度的特征进行特征融合，并将得到的融合特征输入到Head部分进行预测，得到所述目标图像。
[0009]作为上述方案的改进，Backbone部分包括依次连接的三层不同尺度的、基于CNN网络的特征提取模块和一层基于Transformer网络的特征提取模块；第一层基于CNN网络的特征提取模块以所述待检测图像为输入进行特征提取，依次连接的另两层基于CNN网络的特征提取模块分别对上一层特征提取模块输出的特征继续进行特征提取，基于Transformer网络的特征提取模块对最末层基于CNN网络的特征提取模块输出的特征继续进行特征提取。
[0010]作为上述方案的改进，各层特征提取模块的下采样倍数自第一层基于CNN网络的特征提取模块起依次为2、4、8、16。
[0011]作为上述方案的改进，各层特征提取模块中的特征提取单元的数量配比依次为2：3：4：4。
[0012]作为上述方案的改进，各层基于CNN网络的特征提取模块中的特征提取单元采用ShuffleNetv2网络。
[0013]作为上述方案的改进，基于Transformer网络的特征提取模块中的特征提取单元采用Conv
‑
Pool网络。
[0014]作为上述方案的改进，所述Ghost
‑
BiFPN网络包括第一融合层、第二融合层以及第三融合层，所述第一融合层与基于Transformer网络的特征提取模块和所述第二融合层连接；所述第二融合层与第三层基于CNN网络的特征提取模块、所述第一融合层和第三融合层连接；所述第三融合层与第二层基于CNN网络的特征提取模块和第二融合层连接。
[0015]作为上述方案的改进，所述第一融合层包括第一特征融合单元以及第一特征卷积提取单元；所述第二融合层包括第一下采样单元、第一上采样单元、第二特征融合单元、第三特征融合单元、第二特征卷积提取单元、第三特征卷积提取单元；所述第三融合层包括第二下采样单元、第二上采样单元、第四特征融合单元和第四特征卷积提取单元；
[0016]其中，所述第四特征卷积提取单元用于对第二层基于CNN网络的特征提取模块输出的特征进行特征提取，所述第二下采样单元用于对第二层基于CNN网络的特征提取模块输出的特征进行下采样，所述第二上采样单元用于对所述第二融合层输出的融合特征进行上采样，所述第四特征融合单元用于对第二层基于CNN网络的特征提取模块输出的特征、所述第四特征卷积提取单元输出的特征以及所述第二上采样单元输出的特征进行特征融合；
[0017]所述第二特征卷积提取单元用于对第三层基于CNN网络的特征提取模块输出的特征进行特征提取，所述第二特征融合单元用于对所述第二下采样单元输出的特征和所述第二特征卷积提取单元输出的特征进行特征融合，所述第一下采样单元用于对所述第二特征融合单元输出的特征进行下采样，所述第三特征卷积提取单元用于对所述第二特征融合单元输出的特征进行特征提取，所述第一上采样单元用于对所述第一特征融合单元输出的融合特征进行上采样，所述第三特征融合单元用于对第三层基于CNN网络的特征提取模块输出的特征、所述第三特征卷积提取单元输出的特征以及所述第一上采样单元输出的特征进行特征融合；
[0018]所述第一特征卷积提取单元用于对基于Transformer网络的特征提取模块输出的特征进行特征提取，所述第一特征融合单元用于对基于Transformer网络的特征提取模块输出的特征、所述第一下采样单元输出的特征以及所述第一特征卷积提取单元输出的特征进行特征融合。
[0019]作为上述方案的改进，所述第一特征卷积提取单元、所述第二特征卷积提取单元、所述第三特征卷积提取单元以及第四特征卷积提取单元均采用Ghost网络进行特征提取。
[0020]相对于现有技术，本专利技术实施例的有益效果在于：通过采用预先构建的目标检测模型对获取的待检测图像进行检测，获得标记有目标检测框的目标图像；其中，所述目标检测模型包括Backbone、Neck和Head三部分，Backbone部分基于CNN网络和Transformer网络对所述待检测图像进行特征提取，得到多个不同尺度的特征；Neck部分基于Ghost
‑
BiFPN网络相应对多个不同尺度的特征进行特征融合，并将得到的融合特征输入到Head部分进行预测，得到所述目标图像；本专利技术实施例基于CNN网络、Transformer网络和Ghost
‑
BiFPN网络对车辆采集的待检测图像进行目标检测，可以在实现模型轻量化以提升目标检测速度的同时，可以提高目标检测的精度。
附图说明
[0021]为了更清楚地说明本专利技术的技术方案，下面将对实施方式中所占据要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]图1是本专利技术实施例提供的一种基于CNN和Transformer的目标检测方法的流程图；
[0023]图2是本专利技术实施例提供的目标检测模型的结构示意图；
[0024]图3(a)是本专利技术实施例提供的ShuffleNetv2 Block的一种结构示意图；
[0025]图3(b)是本专利技术实施例提供的ShuffleNetv2 Block的另一种结构示意图；
[0026]图4是本专利技术实施例提供的Conv<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于CNN和Transformer的目标检测方法，其特征在于，包括：获取待检测图像；采用预先构建的目标检测模型对所述待检测图像进行检测，获得标记有目标检测框的目标图像；其中，所述目标检测模型包括Backbone、Neck和Head三部分，Backbone部分基于CNN网络和Transformer网络对所述待检测图像进行特征提取，得到多个不同尺度的特征；Neck部分基于Ghost
‑
BiFPN网络相应对多个不同尺度的特征进行特征融合，并将得到的融合特征输入到Head部分进行预测，得到所述目标图像。2.如权利要求1所述的基于CNN和Transformer的目标检测方法，其特征在于，Backbone部分包括依次连接的三层不同尺度的、基于CNN网络的特征提取模块和一层基于Transformer网络的特征提取模块；第一层基于CNN网络的特征提取模块以所述待检测图像为输入进行特征提取，依次连接的另两层基于CNN网络的特征提取模块分别对上一层特征提取模块输出的特征继续进行特征提取，基于Transformer网络的特征提取模块对最末层基于CNN网络的特征提取模块输出的特征继续进行特征提取。3.如权利要求2所述的基于CNN和Transformer的目标检测方法，其特征在于，各层特征提取模块的下采样倍数自第一层基于CNN网络的特征提取模块起依次为2、4、8、16。4.如权利要求3所述的基于CNN和Transformer的目标检测方法，其特征在于，各层特征提取模块中的特征提取单元的数量配比依次为2：3：4：4。5.如权利要求4所述的基于CNN和Transformer的目标检测方法，其特征在于，各层基于CNN网络的特征提取模块中的特征提取单元采用ShuffleNetv2网络。6.如权利要求4所述的基于CNN和Transformer的目标检测方法，其特征在于，基于Transformer网络的特征提取模块中的特征提取单元采用Conv
‑
Pool网络。7.如权利要求3所述的基于CNN和Transformer的目标检测方法，其特征在于，所述Ghost
‑
BiFPN网络包括第一融合层、第二融合层以及第三融合层，所述第一融合层与基于Transformer网络的特征提取模块和所述第二融合层...

【专利技术属性】
技术研发人员：龚心满，
申请(专利权)人：华人运通上海自动驾驶科技有限公司，
类型：发明
国别省市：