一种多摄像头行人检测加速结构制造技术

本发明专利技术特别涉及一种多摄像头行人检测加速结构。该多摄像头行人检测加速结构，采用Mobilenetv1

【技术实现步骤摘要】
一种多摄像头行人检测加速结构


[0001]本专利技术涉及卷积神经网络的硬件加速
，特别涉及一种多摄像头行人检测加速结构。

技术介绍

[0002]行人检测与跟踪作为计算机视觉领域中的热门研究方向有很多子任务，其中对于公共场所监控视频中行人检测与跟踪问题的研究，若能取得一定的成果，不仅是工程技术上的突破，也能解决实际生活中的许多问题。例如，对监控视频中的行人进行检测分析可以及时得到当前行人的流动数据，便于交通管理以减少安全事故的发生；而且当发生儿童走失时，通过行人检测跟踪算法可以更快的确定走失儿童的方位以及活动轨迹。
[0003]主流行人检测的硬件加速方式，主要基于FPGA、AISC、GPU、DPU等方式，但这些方式都主要用于单个摄像头输入的硬件加速，灵活性较低。
[0004]为了解决上述问题，本专利技术提出了一种多摄像头行人检测加速结构。

技术实现思路

[0005]本专利技术为了弥补现有技术的缺陷，提供了一种简单高效的多摄像头行人检测加速结构。
[0006]本专利技术是通过如下技术方案实现的：
[0007]一种多摄像头行人检测加速结构，其特征在于：采用Mobilenetv1
‑
SSD神经网络模型，包括摄像头模组、DDR存储模块、卷积加速kernal模块、嵌入式RISC
‑
V计算单元、资源调度模块和显示单元；所述摄像头模组、DDR存储模块、卷积加速kernal模块和嵌入式RISC
‑
V计算单元分别通过总线连接到资源调度模块，所述显示单元连接到嵌入式RISC
‑
V计算单元；
[0008]通过所述资源调度模块为各个卷积加速kernal模块分配到不同的摄像头模组，以同时实现多个摄像头模组输入图像的卷积加速，满足360度全方位并行的行人检测需求。
[0009]所述DDR存储模块用于存储Mobilenetv1
‑
SSD神经网络模型的权重、偏移量和量化参数，并加载缓存到FPGA芯片的片上缓存资源中，实现分层卷积的作用；缓存摄像头模组采集的图片和卷积加速kernal模块的中间计算结果，以降低片上缓存的资源占用；
[0010]所述卷积加速kernal模块中的各个kernal用于实现Mobilenetv1
‑
SSD模型的加速计算；
[0011]所述资源调度模块用于控制卷积加速kernal模块与摄像头模组的分配结构以及卷积加速的加速过程；
[0012]所述嵌入式RISC
‑
V计算单元用于实现资源调度模块的寄存器和指令配置。
[0013]所述Mobilenetv1
‑
SSD模型的加速计算包括但不限于卷积计算阵列的计算、relu、池化与量化处理；
[0014]所述卷积计算阵列采用N
×
N的PE计算结构，每个PE计算结构包含一个加法器和一
个乘法器，用于实现卷积计算过程中的乘累加。
[0015]所述资源调度模块通过总线结构和调度选择的多路选择器，将摄像头模组和卷积加速kernal模块进行一一对应，实现FPGA内部卷积加速kernal模块的配置。
[0016]所述嵌入式RISC
‑
V计算单元为各个摄像头模组配置不同数量的卷积加速kernal模块，每个摄像头模组分配至少一个卷积加速kernal模块，并将配置信息写入资源调度模块。
[0017]所述资源调度模块通过控制指令读取DDR存储模块中的输入特征图、权重、偏移量和量化参数，逐层写入卷积加速kernal模块中的卷积计算阵列，实现对各个卷积加速kernal模块的利用。
[0018]所述嵌入式RISC
‑
V计算单元还用于实现对检测结果的标记，并控制显示单元的分区显示或独立显示。
[0019]将各个摄像头模组的多个卷积加速kernal模块分别进行合并，各个摄像头模组分别得到各自对应的卷积加速kernal，大卷积加速kernal的卷积计算阵列为N
×
mN或mN
×
N的PE计算结构，其中m为摄像头模组分配的卷积加速kernal模块的个数；
[0020]各个摄像头模组采集的图像数据均通过总线存入DDR存储模块；
[0021]所述资源调度模块顺序读取各个摄像头模组的输入特征图，将各个摄像头模组的输入特征图分别进行独立缓存，并从独立缓存中分别读取参数，分配到对应的摄像头模组缓存；
[0022]然后，资源调度模块分别读取各个摄像头模组的独立缓存和对应的参数，放入绑定的大卷积加速kernal，进行分层卷积加速计算；
[0023]最后，将计算结果输出到嵌入式RISC
‑
V计算单元，由嵌入式RISC
‑
V计算单元通过后处理算法进行标记打框，并同时分区显示到显示单元中。
[0024]本专利技术的有益效果是：该多摄像头行人检测加速结构，采用多路摄像头流水线输入的方式，可同时实现多个摄像头输入图像的卷积加速计算，满足360度全方位并行的行人检测需求；同时，采用开源指令集架构的嵌入式RISC
‑
V加速单元，具有较高的自主可控性。
附图说明
[0025]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0026]图1为本专利技术资源均分的卷积加速结构示意图。
[0027]图2为本专利技术资源不均分的卷积加速结构示意图。
具体实施方式
[0028]为了使本
的人员更好的理解本专利技术中的技术方案，下面将结合本专利技术实施例，对本专利技术实施例中的技术方案进行清楚，完整的描述。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0029]该多摄像头行人检测加速结构，采用Mobilenetv1
‑
SSD神经网络模型，包括摄像头模组、DDR存储模块、卷积加速kernal模块、嵌入式RISC
‑
V计算单元、资源调度模块和显示单元；所述摄像头模组、DDR存储模块、卷积加速kernal模块和嵌入式RISC
‑
V计算单元分别通过总线连接到资源调度模块，所述显示单元连接到嵌入式RISC
‑
V计算单元；
[0030]通过所述资源调度模块为各个卷积加速kernal模块分配到不同的摄像头模组，以同时实现多个摄像头模组输入图像的卷积加速，满足360度全方位并行的行人检测需求。
[0031]所述DDR存储模块用于存储Mobilenetv1
‑
SSD神经网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多摄像头行人检测加速结构，其特征在于：采用Mobilenetv1
‑
SSD神经网络模型，包括摄像头模组、DDR存储模块、卷积加速kernal模块、嵌入式RISC
‑
V计算单元、资源调度模块和显示单元；所述摄像头模组、DDR存储模块、卷积加速kernal模块和嵌入式RISC
‑
V计算单元分别通过总线连接到资源调度模块，所述显示单元连接到嵌入式RISC
‑
V计算单元；通过所述资源调度模块为各个卷积加速kernal模块分配到不同的摄像头模组，以同时实现多个摄像头模组输入图像的卷积加速，满足360度全方位并行的行人检测需求。2.根据权利要求1所述的多摄像头行人检测加速结构，其特征在于：所述DDR存储模块用于存储Mobilenetv1
‑
SSD神经网络模型的权重、偏移量和量化参数，并加载缓存到FPGA芯片的片上缓存资源中，实现分层卷积的作用；缓存摄像头模组采集的图片和卷积加速kernal模块的中间计算结果，以降低片上缓存的资源占用；所述卷积加速kernal模块中的各个kernal用于实现Mobilenetv1
‑
SSD模型的加速计算；所述资源调度模块用于控制卷积加速kernal模块与摄像头模组的分配结构以及卷积加速的加速过程；所述嵌入式RISC
‑
V计算单元用于实现资源调度模块的寄存器和指令配置。3.根据权利要求2所述的多摄像头行人检测加速结构，其特征在于：所述Mobilenetv1
‑
SSD模型的加速计算包括但不限于卷积计算阵列的计算、relu、池化与量化处理；所述卷积计算阵列采用N
×
N的PE计算结构，每个PE计算结构包含一个加法器和一个乘法器，用于实现卷积计算过程中的乘累加。4.根据权利要求2所述的多摄像头行人检测加速结构，其特征在于：所述资源调度模块通过总线结构...

【专利技术属性】
技术研发人员：王帅，魏朝飞，于帆，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：