一种数据处理方法、装置、设备和介质制造方法及图纸

本申请涉及数据处理的领域，特别是涉及一种数据处理方法、装置、设备和介质，方法包括：将注意力机制模块进行调整，具体为将参数矩阵中的K矩阵的转置矩阵转换为第一卷积层，以及，将参数矩阵中的C矩阵转换为第二卷积层；将第一卷积层与参数矩阵中的Q矩阵对应的q张量进行卷积运算，得到第一张量；并将第一张量和第二卷积层进行卷积运算得到第二张量；将第二张量进行reshape操作得到目标矩阵；利用包含注意力机制模块的具有至少两段子模型的训练模型进行模型训练，得到数据处理模型。通过等效替换注意力机制中大计算量的算子，使得一些性能强劲的算子计算量简化，能够在小算力芯片上部署。

【技术实现步骤摘要】

本申请涉及数据处理的领域，特别是涉及一种数据处理方法、装置、设备和介质。

技术介绍

1、目前很多场景使用的是中小算力芯片，例如，自动驾驶感知场景。由于包括注意力机制的神经网络模型复杂度和参数量较大，将该神经网络模型部署在该中小算力芯片上时，由于参数量太大，导致在芯片端实际运行时帧率过低、延时过大，导致无法部署。

2、因此，如何在不显著降低性能的情况下，将包括注意力机制的神经网络模型快速部署地部署到小算力芯片上，是本领域技术人员亟待解决的问题。

技术实现思路

1、本申请目的是提供一种数据处理方法、装置、设备和介质，能够在不显著降低性能的情况下，将包括注意力机制的神经网络模型快速部署地部署到小算力芯片。

2、第一方面，提供了一种数据处理方法，包括：

3、获取包含注意力机制模块的训练模型和训练集，其中，所述注意力机制模块的输入数据为参数矩阵，输出数据为目标矩阵；注意力机制模块用于：将参数矩阵中的k矩阵的转置矩阵转换为第一卷积层，以及，将参数矩阵中的c矩阵转换为第二卷积层；将第一卷本文档来自技高网...

【技术保护点】

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的数据处理方法，其特征在于，获取包含注意力机制模块的训练模型，包括：

3.根据权利要求2所述的数据处理方法，其特征在于，所述获取多个候选预训练模型，包括：

4.根据权利要求2所述的数据处理方法，其特征在于，利用所述训练集对所述训练模型进行训练，得到数据处理模型之后，还包括：

5.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理模型为车辆感知模型，所述数据处理模型能够部署在车载芯片上。

6.根据权利要求1至5任一项所述的数据处理方法，其特征在于，获取包含注意...

【技术特征摘要】

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的数据处理方法，其特征在于，获取包含注意力机制模块的训练模型，包括：

3.根据权利要求2所述的数据处理方法，其特征在于，所述获取多个候选预训练模型，包括：

4.根据权利要求2所述的数据处理方法，其特征在于，利用所述训练集对所述训练模型进行训练，得到数据处理模型之后，还包括：

5.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理模型为车辆感知模型，所述数据处理模型能够部署在车载芯片上。

【专利技术属性】
技术研发人员：关挺，宋阳，卢玉坤，
申请(专利权)人：知行汽车科技苏州股份有限公司，
类型：发明
国别省市：