自动驾驶辅助控制方法、系统及其AI计算方法、装置制造方法及图纸

本发明专利技术提供了一种自动驾驶辅助控制方法、系统及其AI计算方法、装置，结合混合二进制和随机计算，实现了一种高性能高精度乘法器，对传统定点乘法器进行优化设计，进而应用于对于精度和延迟要求较高的自动驾驶感知场景。本发明专利技术引入随机计算思想，优化传统二进制乘法器的高硬件开销；深度融合二进制和随机计算，解决传统随机计算乘法器的高延迟缺陷；优化随机计算引入的随机误差，使其满足自动驾驶感知场景需求；可以替换传统二进制乘法器，有效降低计算单元的逻辑开销；可以在引入随机计算降低硬件开销的前提下，尽可能保持近似准确的运算结果；可以降低乘法器功耗，提升计算单元的硬件效率。效率。效率。

【技术实现步骤摘要】
自动驾驶辅助控制方法、系统及其AI计算方法、装置


[0001]本专利技术涉及自动驾驶
的一种AI计算技术，具体地，涉及一种自动驾驶辅助控制方法、系统及其AI(人工智能)计算方法、装置。

技术介绍

[0002]传统定点乘法器可以实现准确量化计算，但是由于目前神经网络结构具有一定的冗余性，且网络任务多为分类等基于相对结果大小的比较，整体网络计算具有一定的容错性，每个乘法并不需要完全bit精确。
[0003]随机计算乘法器通过随机bit流相与和累加来计算得到结果，将乘法器的逻辑开销大幅度降低到一个与门和一个累加器。但是传统随机计算乘法器的串行运算，导致运算延迟无法满足自动驾驶处理器的实时处理需求；随机计算引入的随机误差在较为复杂的运算任务中会引来较大的精度损失，不符合自动驾驶安全性的要求。
[0004]经过检索发现：
[0005]1、Z.Xia,J.Chen,Q.Huang,J.Luo and J.Hu,"Neural Synaptic Plasticity
‑
Inspired Computing:A High Computing Efficient Deep Convolutional Neural Network Accelerator,"in IEEE Transactions on Circuits and Systems I:Regular Papers,vol.68,no.2,pp.728
‑
740,Feb.2021,doi:10.1109/TCSI.2020.3039346.，提出了一种基于线扩的设计思路，对输入二进制数的每个bit根据其所带的二进制权重进行对应的bit扩展，得到在该模式下的计算序列。之后根据另一个乘数的数值大小对扩展后的bit进行选取，得到最后的乘法结果。如图1所示。
[0006]该技术不具备灵活性，乘法器的其中一个乘数变成固定的数字，由于bit展开的策略固定型，导致在硬件实现的时候，网络结构和权重值是确定的，这样无法支持其他的应用。另外，在支持大网络结构的时候，由于层数增加会导致硬件面积增大到几十平方毫米，不符合现实实现情况。
[0007]2、S.Asadi,M.H.Najafi and M.Imani,"A Low
‑
Cost FSM
‑
based Bit
‑
Stream Generator for Low
‑
Discrepancy Stochastic Computing,"2021Design,Automation&Test in Europe Conference&Exhibition(DATE),2021,pp.908
‑
913,doi:10.23919/DATE51398.2021.9474143.，提出了一种基于低相关性的sobol序列生成器，基于一个8状态的有限状态机来指示当前应该选取原二进制输入的哪个bit，节省了传统随机计算乘法器的比较器开销。如图2所示。
[0008]该技术随机序列的产生仍然需要串行生成，一个乘法器的运算会因为序列生成器而增大到64
‑
128个周期，从而导致整体硬件的延迟大幅度增加，严重影响硬件的能效。
[0009]3、Y.Zhang,R.Wang,X.Zhang,Y.Wang and R.Huang,"Parallel Hybrid Stochastic
‑
Binary
‑
Based Neural Network Accelerators,"in IEEE Transactions on Circuits and Systems II:Express Briefs,vol.67,no.12,pp.3387
‑
3391,Dec.2020,doi:10.1109/TCSII.2020.2994464.，提出了一种基于温度计编码的随机计算产生器与计
算单元，可以实现一个周期并行生成所有数据，并且实现精确运算。如图3所示。
[0010]该技术必须进行全精度运算，不支持近似随机运算，实际硬件开销是要比二进制乘法器高的，但是实际上的神经网络运算是不需要全精度运算的。

技术实现思路

[0011]本专利技术针对现有技术中传统定点乘法器硬件开销大和随机计算乘法器延迟较高精度较差的问题，提供了一种自动驾驶辅助控制方法、系统及其AI(人工智能)计算方法、装置，结合混合二进制和随机计算，实现了一种高性能高精度乘法器，对传统定点乘法器进行优化设计，进而应用于对于精度和延迟要求较高的自动驾驶感知场景。
[0012]本专利技术是通过以下技术方案实现的。
[0013]根据本专利技术的一个方面，提供了一种用于自动驾驶辅助的AI计算方法，包括：
[0014]构建并行加权随机序列生成器和混合二进制
‑
随机计算乘法器，其中，所述混合二进制
‑
随机计算乘法器包括：二进制乘法器、随机计算乘法器和移位加法器；
[0015]通过所述并行加权随机序列生成器，在一个时钟周期内，获取自动驾驶感知神经网络输入特征图x和权重数据y，并按照位宽划分为x
high
，x
low
，y
high
和y
low
，并将所述x
low
和y
low
数据生成所需要的均匀分布和集中分布随机序列，与所述x
high
和y
high
构成均匀分布或集中分布的用于计算的随机序列；其中，下标high和low分别表示高位宽部分和低位宽部分；
[0016]通过所述随机计算乘法器对输入的所述用于计算的随机序列中的x
high
，x
low
，y
high
和y
low
进行随机计算近似乘法操作，得到近似乘法结果；
[0017]通过所述二进制乘法器对输入的所述用于计算的随机序列中的x
high
和y
high
进行准确乘法操作，得到精确乘法结果；
[0018]通过所述移位累加器对所述随机计算乘法器和所述二进制乘法器的计算结果根据各自在计算中的二进制权重进行移位累加，得到自动驾驶感知神经网络中的乘累加运算结果，所述乘累加运算结果作为自动驾驶过程中的目标检测、车道线检测和/或轨迹预测任务的参考数据。
[0019]可选地，所述并行加权随机序列生成器，根据固定位宽的输入数据中每个bit在均匀分布和集中分布情况下的序列bit排列情况进行合并和加权，从而得到更短的随机序列，所述更短的序列长度用于降低对应的与门和累加器的逻辑开销；
[0020]所述获取自动驾驶感知神经网络输入特征图x和权重数据y，并按照位宽划分为x
high
、x...

【技术保护点】

【技术特征摘要】
1.一种用于自动驾驶辅助的AI计算方法，其特征在于，包括：构建并行加权随机序列生成器和混合二进制
‑
随机计算乘法器，其中，所述混合二进制
‑
随机计算乘法器包括：二进制乘法器、随机计算乘法器和移位加法器；通过所述并行加权随机序列生成器，在一个时钟周期内，获取自动驾驶感知神经网络输入特征图x和权重数据y，并按照位宽划分为x
high
，x
low
，y
high
和y
low
，并将所述x
low
和y
low
数据生成所需要的均匀分布和集中分布随机序列，与所述x
high
和y
high
构成均匀分布或集中分布的用于计算的随机序列；其中，下标high和low分别表示高位宽部分和低位宽部分；通过所述随机计算乘法器对输入的所述用于计算的随机序列中的x
high
，x
low
，y
high
和y
low
进行随机计算近似乘法操作，得到近似乘法结果；通过所述二进制乘法器对输入的所述用于计算的随机序列中的x
high
和y
high
进行准确乘法操作，得到精确乘法结果；通过所述移位累加器对所述随机计算乘法器和所述二进制乘法器的计算结果根据各自在计算中的二进制权重进行移位累加，得到自动驾驶感知神经网络中的乘累加运算结果，所述乘累加运算结果作为自动驾驶过程中的目标检测、车道线检测和/或轨迹预测任务的参考数据。2.根据权利要求1所述的用于自动驾驶辅助的AI计算方法，其特征在于，所述并行加权随机序列生成器，根据固定位宽的输入数据中每个bit在均匀分布和集中分布情况下的序列bit排列情况进行合并和加权，从而得到随机序列，用于降低对应的与门和累加器的逻辑开销；所述获取自动驾驶感知神经网络输入特征图x和权重数据y，并按照位宽划分为x
high
、x
low
、y
high
和y
low
，并将所述x
low
和y
low
数据生成所需要的均匀分布和集中分布随机序列，包括：将所述自动驾驶感知神经网络中的输入特征图x和权重数据y按照位宽bw划分为高bw/2bits部分数据和低bw/2bits部分数据；将所述低bw/2bits部分数据在均匀分布和集中分布情况下进行序列相与计算，得到每个bit在新的序列中对应的二进制权重，得到所需要的均匀分布和集中分布随机序列。3.根据权利要求1所述的用于自动驾驶辅助的AI计算方法，其特征在于，所述随机计算近似乘法操作，包括：x
high
×
y
low
和x
low
×
y
high
。4.根据权利要求1所述的用于自动驾驶辅助的AI计算方法，其特征在于，所述准确乘法操作，包括：x
high
×
y
high
。5.根据权利要求1所述的用于自动驾驶辅助的AI计算方法，其特征在于，所述通过所述移位累加器对所述随机计算乘法器和所述二进制乘法器的计算结果根据各自在计算中的二进制权重进行移位累加，包括：以每个bit在随机序列中出现的频率作为权重，得到每个计算结果bit的权重；根据所述每个计算结果bit的权重，对所述随机计算乘法器和所述二进制乘法器的计算结果进行带权相与累加。6.根据权利要求1
‑
...

【专利技术属性】
技术研发人员：贺光辉，张浩，任一帆，董中飞，黄腾，
申请(专利权)人：辉羲智能科技上海有限公司，
类型：发明
国别省市：