目标检测系统技术方案

本申请适用于机器学习技术领域，提供了目标检测系统

【技术实现步骤摘要】
目标检测系统、方法、装置、设备及介质


[0001]本申请属于机器学习
，尤其涉及目标检测系统
、
方法
、
装置
、
设备及介质
。

技术介绍

[0002]目标检测是计算机视觉领域的核心问题之一，其任务就是找出图像中所有感兴趣的目标，确定他们的类别和位置
。
近年来，随着机器学习技术的迅速发展，目标检测取得了显著的成绩，并越来越多地用于自动驾驶
、
智能交通
、
工业质量检测
、
目标跟踪和人脸检测等众多领域，可以理解的是，对于一些领域而言，目标检测任务执行时的准确度和实时性尤为重要
。
[0003]为提高目标检测的准确度，一种可行的方法是通过提高目标检测模型的复杂度，提高目标检测模型特征提取时的精确度
。
然而，随着目标检测模型的层数增加，参数规模随之增大，计算耗时将会显著增加
。
[0004]反之，通过单纯地精简模型结构，虽然能够提升推理速度，但准确性将会不可避免地产生损失
。
[0005]因此，亟需提供一种方法，可以使目标检测任务在执行时能够兼顾准确率与实时性
。

技术实现思路

[0006]本申请实施例提供了目标检测系统
、
方法
、
装置
、
设备及介质，可以解决目标检测准确性与实时性兼顾的问题
。
[0007]第一方面，本申请实施例提供了一种目标检测系统，包括控制模块和协处理器，所述控制模块和所述协处理器通信连接；
[0008]所述控制模块用于根据待检测目标图像和
/
或根据所述协处理器发送的数据，执行目标检测模型的至少一部分运算，得到一个或多个第一结果，所述第一结果包括用于发送至所述协处理器的数据结果；
[0009]所述协处理器用于根据所述待检测目标图像和
/
或根据所述控制模块发送的数据执行所述目标检测模型的至少一部分运算，得到一个或多个第二结果，所述第二结果包括用于发送至所述控制模块的数据结果；
[0010]其中，所述目标检测模型是初始模型根据样本训练后得到的机器学习模型；所述第一结果和所述第二结果中，至少存在一个用于获得所述待检测目标图像的目标检测结果的数据结果
。
[0011]在第一方面的一种可能的实施方式中，所述初始模型包括第一采样模块，所述第一采样模块用于提取图像特征，且所述第一采样模块包括至少两个尺寸不同的卷积分支；所述目标检测模型包括第二采样模块，所述第二采样模块是所述第一采样模块的各卷积分支融合后得到的
。
[0012]在第一方面的一种可能的实施方式中，所述控制模块还用于发送运算指令至所述
协处理器；所述协处理器用于根据所述运算指令执行所述目标检测模型指令部分的运算，得到所述第二结果；其中，所述运算指令与所述指令部分一一对应
。
[0013]在第一方面的一种可能的实施方式中，所述协处理器包括指令存储器，所述指令存储器用于存储所述运算指令
。
[0014]在第一方面的一种可能的实施方式中，所述第二结果还包括用于作为输入参数执行所述目标检测模型的至少一部分运算的数据结果
。
[0015]在第一方面的一种可能的实施方式中，所述协处理器包括张量存储器；所述张量存储器用于存储：
[0016]所述控制模块发送至所述协处理器的张量形式的第一结果；和
/
或，
[0017]用于执行所述目标检测模型的至少一部分运算的张量形式的第二结果
。
[0018]在第一方面的一种可能的实施方式中，所述协处理器还包括协控制器，所述协控制器能够用于解码所述指令存储器中的所述运算指令，得到指令解码信息
。
[0019]在第一方面的一种可能的实施方式中，所述协处理器还包括运算单元，所述运算单元用于调用所述张量存储器中的数据作为输入数据，根据所述指令解码信息执行所述目标检测模型指令部分的运算，得到所述第二结果并写入所述张量存储器
。
[0020]在第一方面的一种可能的实施方式中，所述卷积分支包括第一类分支，所述第一类分支包括依次连接的卷积层和归一化层
。
[0021]在第一方面的一种可能的实施方式中，所述协处理器包括运算单元，所述运算单元包括用于执行所述第一类分支中卷积层运算的卷积子单元
。
[0022]在第一方面的一种可能的实施方式中，所述卷积子单元由预设数量的乘加器阵列构成，所述预设数量匹配于所述目标检测模型的特征图尺寸
。
[0023]在第一方面的一种可能的实施方式中，所述协处理器包括运算单元，所述运算单元包括后处理子单元，所述后处理子单元能够用于执行所述第一类分支中归一化层的运算
。
[0024]在第一方面的一种可能的实施方式中，所述卷积分支包括第二类分支，所述第二类分支为直连分支，所述直连分支用于将所述直连分支输入端的值映射至所述直连分支的输出端
。
[0025]在第一方面的一种可能的实施方式中，所述协处理器包括运算单元，所述运算单元包括用于执行所述第二类分支中直连运算的直连子单元
。
[0026]在第一方面的一种可能的实施方式中，所述直连子单元由移位寄存器和流水线单元构成；通过所述移位寄存器，多个所述流水线单元能够缓存邻域像素并得到卷积结果；
[0027]所述流水线单元由第一数量的乘法器和第二数量的加法器构成；其中，第一数量等于所述目标检测模型中任一特征图的单通道卷积核操作数的最大值；第二数量等于所述目标检测模型中最大卷积核的卷积权重数减一
。
[0028]在第一方面的一种可能的实施方式中，所述第一采样模块包括：
[0029]由两个第一类分支构成的第一降采样结构；和，
[0030]由两个第一类分支和一个第二类分支构成的第一特征提取结构
。
[0031]在第一方面的一种可能的实施方式中，所述第一降采样结构的输出端连接有激活函数层
。
[0032]在第一方面的一种可能的实施方式中，所述协处理器包括运算单元，所述运算单元包括后处理子单元，所述后处理子单元能够用于执行所述激活函数层的运算
。
[0033]在第一方面的一种可能的实施方式中，所述初始网络包括依次连接的
N
个降维层，
N
为大于2的整数；所述
N
个降维层包括：
[0034]由单个所述第一降采样结构构成的降维层；
[0035]由依次连接一个所述第一降采样结构和两个所述第一特征提取结构构成的降维层；以及，
[0036]由依次连接一个所述第一降采样结构和三个所述第一特征提取结构构成的降维层
。
[0037]在第一方面的一种可能的实施方式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种目标检测系统，其特征在于，包括控制模块和协处理器，所述控制模块和所述协处理器通信连接；所述控制模块用于根据待检测目标图像和
/
或根据所述协处理器发送的数据，执行目标检测模型的至少一部分运算，得到一个或多个第一结果，所述第一结果包括用于发送至所述协处理器的数据结果；所述协处理器用于根据所述待检测目标图像和
/
或根据所述控制模块发送的数据执行所述目标检测模型的至少一部分运算，得到一个或多个第二结果，所述第二结果包括用于发送至所述控制模块的数据结果；其中，所述目标检测模型是初始模型根据样本训练后得到的机器学习模型；所述第一结果和所述第二结果中，至少存在一个用于获得所述待检测目标图像的目标检测结果的数据结果
。2.
如权利要求1所述的目标检测系统，其特征在于，所述初始模型包括第一采样模块，所述第一采样模块用于提取图像特征，且所述第一采样模块包括至少两个尺寸不同的卷积分支；所述目标检测模型包括第二采样模块，所述第二采样模块是所述第一采样模块的各卷积分支融合后得到的
。3.
如权利要求1或2所述的目标检测系统，其特征在于，所述控制模块还用于发送运算指令至所述协处理器；所述协处理器用于根据所述运算指令执行所述目标检测模型指令部分的运算，得到所述第二结果；其中，所述运算指令与所述指令部分一一对应
。4.
如权利要求3所述的目标检测系统，其特征在于，所述协处理器包括指令存储器，所述指令存储器用于存储所述运算指令
。5.
如权利要求3或4所述的目标检测系统，其特征在于，所述第二结果还包括用于作为输入参数执行所述目标检测模型的至少一部分运算的数据结果
。6.
如权利要求5所述的目标检测系统，其特征在于，所述协处理器包括张量存储器；所述张量存储器用于存储：所述控制模块发送至所述协处理器的张量形式的第一结果；和
/
或，用于执行所述目标检测模型的至少一部分运算的张量形式的第二结果
。7.
如权利要求6所述的目标检测系统，其特征在于，所述协处理器还包括协控制器，所述协控制器能够用于解码所述指令存储器中的所述运算指令，得到指令解码信息
。8.
如权利要求7所述的目标检测系统，其特征在于，所述协处理器还包括运算单元，所述运算单元用于调用所述张量存储器中的数据作为输入数据，根据所述指令解码信息执行所述目标检测模型指令部分的运算，得到所述第二结果并写入所述张量存储器
。9.
如权利要求2至8中任一项所述的目标检测系统，其特征在于，所述卷积分支包括第一类分支，所述第一类分支包括依次连接的卷积层和归一化层
。10.
如权利要求9所述的目标检测系统，其特征在于，所述协处理器包括运算单元，所述运算单元包括用于执行所述第一类分支中卷积层运算的卷积子单元
。11.
如权利要求
10
所述的目标检测系统，其特征在于，所述卷积子单元由预设数量的乘加器阵列构成，所述预设数量匹配于所述目标检测模型的特征图尺寸
。12.
如权利要求9所述的目标检测系统，其特征在于，所述协处理器包括运算单元，所述运算单元包括后处理子单元，所述后处理子单元能够用于执行所述第一类分支中归一化层
的运算
。13.
如权利要求9所述的目标检测系统，其特征在于，所述卷积分支包括第二类分支，所述第二类分支为直连分支，所述直连分支用于将所述直连分支输入端的值映射至所述直连分支的输出端
。14.
如权利要求
13
所述的目标检测系统，其特征在于，所述协处理器包括运算单元，所述运算单元包括用于执行所述第二类分支中直连运算的直连子单元
。15.
如权利要求
14
所述的目标检测系统，其特征在于，所述直连子单元由移位寄存器和流水线单元构成；通过所述移位寄存器，多个所述流水线单元能够缓存邻域像素并得到卷积结果；所述流水线单元由第一数量的乘法器和第二数量的加法器构成；其中，第一数量等于所述目标检测模型中任一特征图的单通道卷积核操作数的最大值；第二数量等于所述目标检测模型中最大卷积核的卷积权重数减一
。16.
如权利要求
13
所述的目标检测系统，其特征在于，所述第一采样模块包括：由两个第一类分支构成的第一降采样结构；和，由两个第一类分支和一个第二类分支构成的第一特征提取结构
。17.
如权利要求
16
所述的目标检测系统，其特征在于，所述第一降采样结构的输出端连接有激活函数层
。18.
如权利要求
17
所述的目标检测系统，其特征在于，所述协处理器包括运算单元，所述运算单元包括后处理子单元，所述后处理子单元能够用于执行所述激活函数层的运算
。19.
如权利要求
16
所述的目标检测系统，其特征在于，初始网络包括依次连接的
N
个降维层，
N
为大于2的整数；所述
N
个降维层包括：由单个所述第一降采样结构构成的降维层；由依次连接一个所述第一降采样结构和两个所述第一特征提取结构构成的降维层；以及，由依次连接一个所述第一降采样结构和三个所述第一特征提取结构构成的降维层
。20.
如权利要求
19
所述的目标检测系统，其特征在于，所述初始网络还包括：依次连接的
N
个升维层，所述
N
个升维层包括：由依次连接的池化层
、CBL
层以及上采样层构成的池化升维层；由依次连接的特征融合层
、CBL
融合层
、CBL
层以及上采样层构成的融合升维层；由依次连接的
CBL
层
、
特征融合层
、CBL
融合层以及卷积层构成的输出层；以及，由依次连接的特征融合层
、CBL
融合层以及卷积层构成的输出层；其中，所述
CBL
融合层包括第一
CBL
分支
、
第二
CBL
分支以及
CBL
融合输出结构，所述第一
CBL
分支和所述第二
CBL
分支的输出端于所述
CBL
融合输出结构的输入端连接；所述第一
CBL
分支和所述第二
CBL
分支均由多个
CBL
子层构成，且所述第一
CBL
分支和所述第二
CBL
分支的
CBL
子层数量不同，所述
CBL
融合输出结构包括依次连接的特征融合子层和
CBL
子层
。21.
如权利要求
20
所述的目标检测系统，其特征在于，对于第一指定范围内的任一
i
取值，第
i
个所述降维层的输出端与第
j
个所述升维层中的特征融合层连接，其中，
i+j
＝
N+1。22.
如权利要求
20
所述的目标检测系统，其特征在于，对于第二指定范围内的任一
k
取值，第
k
个所述升维层中
CBL
层的输出端与第
l
个所述升维层中的特征融合层连接，其中，
k+l
＝
N+1。23.
如权利要求
20
至
22
中任一项所述的目标检测系统，其特征在于，所述输出层用于输出指定尺寸的所述目标检测结果；第
N
个所述降维层的输出端与所述池化升维层的输入端连接，所述融合升维层设置在所述池化升维层后，所述输出层设置在所述融合升维层后
。24.
如权利要求
16
至
23
中任一项所述的目标检测系统，其特征在于，所述协处理器还包括协控制器，所述协控制器能够用于：根据所述控制模块发送的指令，执行所述初始模型的训练运算，得到训练结果并传输至所述控制模块
。25.
如权利要求
24
所述的目标检测系统，其特征在于，所述控制模块还能够用于：根据所述训练结果更新所述初始模型的参数，得到训练后的初始模型；和，将训练后的初始模型中第一类分支的卷积层运算和归一化层运算合并，得到合并分支
。26.
如权利要求
25
所述的目标检测系统，其特征在于，所述控制模块还能够用于：以第一预设方式将所述训练后的初始模型的第一降采样结构中合并分支的卷积核调整为相同尺寸；和
/
或，以第二预设方式将所述训练后的初始模型的第一特征提取结构中合并分支和第二类分支调整为具有相同卷积核尺寸的卷积结构
。27.
如权利要求8至
23
中任一项所述的目标检测系统，其特征在于，所述运算单元包括后处理子单元，所述后处理子单元包括备用运算组件，所述备用运算组件能够用于执行非卷积运算且非激活函数运算的指定运算任务
。28.
如权利要求
12、18、27
中任一项所述的目标检测系统，其特征在于，所述后处理子单元由如下组件构成：用于将整数转换为浮点数的第一组件；用于将浮点数转换为整数的第二组件；用于执行浮点数乘加运算的第三组件；以及，用于执行激活函数层运算的第四组件
。29.
如权利要求6至
23
中任一项所述的目标检测系统，其特征在于，所述张量存储器包括：存储空间匹配于所述待检测目标图像的输入缓存部分；存储空间匹配于特征图张量的特征缓存部分，所述特征图张量是所述目标检测模型任一降维层或升维层的输出数据的至少一部分；存储空间匹配于所述目标检测模型的模型权重参数量的权重缓存部分；以及，存储空间匹配于指定尺寸的所述目标检测结果的输出缓存部分
。30.
如...

【专利技术属性】
技术研发人员：涂宏斌，高晨，张鲁峰，易广，周庆飞，吴燕琴，廖城，章翔，郑懿，谭洋，
申请(专利权)人：中国长城科技集团股份有限公司，
类型：发明
国别省市：