【技术实现步骤摘要】
一种可变形卷积加速器和可变形卷积加速方法
[0001]本申请涉及卷积神经网络
，尤其涉及一种可变形卷积加速器和可变形卷积加速方法。
技术介绍
[0002]可变形卷积在目标检测工作中具有重要的应用。自可变形卷积理论被提出以后，多种目标检测模型都应用了可变形卷积，以达到更高的检测精度和速度。在普通的卷积网络中，与卷积核大小相同的窗口在输入特征图上滑动，窗口对应位置的数值被选取出来与卷积核相乘，并累加得到当前位置的输出。而可变形卷积在普通卷积的基础上，根据输入特征图动态生成偏移量，在输入特征图上选取数值与卷积核相乘时，滑动窗口所对应的位置被当作基地址，在基地址上加上对应的偏移量，得到新地址，再使用新地址在输入特征图上取值。由于偏移量不是整数，因此新地址往往也不是整数，当新地址超出输入特征图的地址范围，返回的输入值为零；而当新地址在输入特征图的地址范围内时，则采用双线性插值法，寻找距离新地址坐标最近的四个点来计算该新地址的输入值，将新地址的输入值与卷积核相乘，并累加得到可变形卷积的输出。
[0003]为了便于硬件设计，...
【技术保护点】
【技术特征摘要】
1.一种可变形卷积加速器，其特征在于，包括软件端和硬件端；所述软件端，用于实现所述可变形卷积加速器的整体架构，并用于将原始模型参数从片外存储器加载到硬件端，所述原始模型参数包括原始输入值、偏移量、量化尺度、掩码和卷积权重；还用于将硬件端的输出值读取到片外存储器；所述硬件端包括：控制模块，用于从软件端获取原始输入值、偏移量、量化尺度、掩码和卷积权重；以及用于根据基地址与所述偏移量获得实际地址，并将实际地址分离成整数部分和小数部分；还用于输出控制信号，控制映射模块、寄存器模块、掩码模块、卷积模块、输入缓存模块、输出缓存模块和权重缓存模块及各模块之间的数据交互；以及还用于将输出值传输至软件端；输入缓存模块，用于存储原始输入值；寄存器模块，用于转换所述原始输入值的存取并行维度，获得并行输入值，并存储并行输入值；映射模块，用于根据所述量化尺度、所述整数部分和所述小数部分，获得实际地址及实际地址对应的插值权重；以及用于根据并行输入值和插值权重，进行双线性插值处理，获得真实输入值；掩码模块，用于存储所述掩码，以及根据真实输入值和掩码，获得规则化输入值；权重缓存模块，用于存储卷积权重；卷积模块，用于根据卷积权重和规则化输入值，进行卷积计算，获得输出值；输出缓存模块，用于存储卷积模块计算获得的输出值。2.根据权利要求1所述的一种可变形卷积加速器，其特征在于，所述卷积模块包括乘法单元、加法单元和累加单元；所述乘法单元，包括乘法器，用于将所述规则化输入值与所述卷积权重相乘，获得单位输入值；所述加法单元，包括进位保存加法器和加法器，用于对所有单位输入值进行逐级加法操作，获得单位累加值；所述累加单元，包括累加器，用于将所有单位累加值进行累加，获得输出值。3.根据权利要求2所述的一种可变形卷积加速器，其特征在于，所述加法单元包括预处理层、中间层和输出层；所述预处理层，用于根据卷积核大小选择相应的进位保存加法器，并根据所述进位保存加法器对输入值的要求，对所有单位输入值进行分组；以及用于通过进位保存加法器对分组后的单位输入值进行加法操作，输出一级和值和一级进位值；还用于根据所述一级进位值与所述一级和值，通过加法器获得暂存值；所述中间层，用于将上一层输出的暂存值作为下一层的输入，并通过进位保存加法器和加法器进行逐级累加操作，获得单位累加值；所述输出层，用于将所述单位累加值传输至累加器。4.根据权利要求1所述的一种可变形卷积加速器，其特征在于，所述寄存器模块包括读阵列和写阵列，所述读阵列用于为所述映射模块提供并行输入值进行双线性插值，所述写阵列用于存储并行输入值，所述读阵列和所述写阵列的功能可相互交替。5.根据权利要求4所述的一种可变形卷积加速器，其特征在于，所述读阵列和所述写阵
列采用乒乓操作，实现读取动作和存储动作的并行处理。6.根据权利要求5任一项所述的一种可变形卷积加速器，其特征在于，所述寄存器模块的存取并行维度设置为36。7.根据权利要求1所述的一种可变...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。