一种数据处理方法及其装置制造方法及图纸

本申请公开了一种数据处理方法，涉及人工智能领域，包括：获取第一神经网络对应的第一查询query，以及第二神经网络对应的第二query；所述第一query为对所述第一神经网络对应的query的信息熵最大化后得到的query；所述第一神经网络为对所述第二神经网络进行压缩得到的模型；所述第一神经网络和所述第一神经网络用于进行目标检测；根据所述第一query以及所述第二query，确定第一损失；所述第一损失指示最小化所述第二query和所述第一query之间的信息差异；根据所述第一损失，更新所述第一神经网络以及所述第一query。本申请通过最小化学生模型和老师模型的查询query之间的信息差距，使得学生模型与教师模型之间的信息差距最小化，从而提高了压缩模型的模型精度。从而提高了压缩模型的模型精度。从而提高了压缩模型的模型精度。

【技术实现步骤摘要】
一种数据处理方法及其装置


[0001]本申请涉及人工智能领域，尤其涉及一种数据处理方法及其装置。

技术介绍

[0002]目标检测旨在从输入图像中定位和分类视觉目标。在早期的工作中，这项任务通常是通过结合卷积神经网络来处理输入图像的区域特征来实现的。最近，提出了基于transformer的目标检测器，其中目标检测被视为集合预测任务，并且可以端到端地训练。它们极大地简化了目标检测任务，用户无需对手工设计组件进行繁琐的调整，例如anchor的尺寸和比例。虽然目标检测器具有出色的能力，但其通常有较大的参数量和浮点运算操作(FLOPs)。例如，在以ResNet
‑
50为骨干网络的目标检测器(DETR
‑
R50)中，39.8M的参数占用了159MB的内存并消耗了86GFLOPs的计算量，在推理过程中所需的大量内存和计算力，限制了模型在资源有限平台上的部署。
[0003]为了实现高效的在线推理，已经有大量的工作试图压缩和加速神经网络，包括紧凑网络设计、网络剪枝、低阶分解、量化和知识蒸馏等。其中量化和剪枝尤其适用于在AI芯片上部署，减少了网络参数和激活值的数量，能实现高效推理。然而，压缩前后的模型的参数变化较大，导致了模型精度的下降。特别是当量化到超低位(4位或更低)时，性能会急剧下降。

技术实现思路

[0004]本申请提供了一种数据处理方法，可以提高压缩后的视觉检测模型的模型精度。
[0005]第一方面，本申请提供了一种数据处理方法，所述方法包括：获取第一神经网络对应的第一查询query，以及第二神经网络对应的第二query；所述第一query为对所述第一神经网络对应的query的信息熵最大化后得到的query；所述第一神经网络为对所述第二神经网络进行压缩得到的模型；所述第一神经网络和所述第一神经网络用于进行目标检测；根据所述第一query以及所述第二query，确定第一损失；所述第一损失指示最小化所述第二query和所述第一query之间的信息差异；根据所述第一损失，更新所述第一神经网络以及所述第一query。
[0006]本申请通过最小化学生模型和老师模型的查询query之间的信息差距，使得学生模型与教师模型之间的信息差距最小化，从而提高了压缩模型的模型精度。
[0007]例如，第一神经网络可以是对第二神经网络进行量化得到的模型，也可以是剪枝、结构重设计等得到的比第二神经网络更小更快速的网络。
[0008]在一种可能的实现中，所述第一神经网络为对所述第二神经网络进行2、3或者4比特的量化得到的。
[0009]在一种可能的实现中，所述方法还包括：根据所述第一query以及所述第一神经网络，对目标图像进行目标检测，得到M个第一检测框的信息；获取所述目标图像对应的检测结果真值，所述检测结果真值包括多个第二检测框；根据所述第一检测框和所述第二检测
框之间的位置关系，从所述M个第一检测框中确定M1个第一检测框，所述M1个第一检测框中的每个第一检测框对应于一个第二检测框，且所述M1个第一检测框中的每个第一检测框与对应的第二检测框之间的位置关系满足第一预设条件，所述第一预设条件与检测框所在区域之间的重叠度有关；所述第一query为所述M1个第一检测框对应的query。
[0010]在一种可能的实现中，所述方法还包括：根据所述第二query以及所述第二神经网络，对所述目标图像进行目标检测，得到N个第三检测框的信息；根据所述M1个第一检测框中每个第一检测框和所述第三检测框之间的位置关系，从所述N个第三检测框中确定M1个第三检测框，所述M1个第一检测框中的每个第一检测框对应于一个第二检测框，且所述M1个第一检测框中的每个第一检测框与对应的第三检测框之间的位置关系满足第二预设条件，所述第二预设条件与检测框所在区域之间的重叠度有关；所述第二query为所述M1个第三检测框对应的query。
[0011]条件熵的最小化要求学生模型和老师模型的检测结果一对一匹配，也就是需要将学生模型输出的每个检测框和老师模型输出的检测框进行一一对应。在确定学生模型和老师模型的检测结果的对应关系时，可以首先确定学生模型的检测结果和图像检测结果的真值之间的对应关系。
[0012]由于算法匹配的离散性和模型训练的随机性，导致真值ground
‑
truth的匹配(也就是将学生模型的输出和图像的图像检测结果真值之间的匹配)变成了一个动态的、不稳定的过程，例如，图像检测结果的真值包括5个检测框，学生模型的检测结果包括8个检测框。本申请实施例提出了前景感知查询匹配来解决这个问题。具体来说，将图像检测结果的真值与学生模型输出的检测结果进行匹配，从学生模型输出的检测结果中确定能和图像检测结果的真值中匹配上的检测框(例如位置关系满足预设条件的检测框)，并将确定出的检测框和图像检测结果的真值之间建立一一对应关系，也就是选择学生模型输出的检测框中具有更准确的前景感知能力的检测框。
[0013]在一种可能的实现中，所述第一检测框和所述第三检测框的信息包括检测框的位置、大小和检测框的图像内容对应的类别。
[0014]在一种可能的实现中，所述第一query为对所述第一神经网络对应的query的分布调整为预设类型的分布得到的。
[0015]在一种可能的实现中，所述预设类型的分布为高斯分布。
[0016]在一种可能的实现中，所述信息差异通过L2范数或者条件熵表示。
[0017]在一种可能的实现中，所述第一神经网络包括第一主干网络、第一编码器和第一解码器；所述第二神经网络包括第二主干网络、第二编码器和第二解码器；
[0018]所述根据所述第一query以及所述第一神经网络，对目标图像进行目标检测，包括：
[0019]根据所述目标图像，通过所述第一主干网络和所述第一编码器，得到第一中间输出；
[0020]通过所述第一解码器，对所述第一query以及所述第一中间输出进行处理；
[0021]所述根据所述第二query以及所述第二神经网络，对所述目标图像进行目标检测，包括：
[0022]根据所述目标图像，通过所述第二主干网络和所述第二编码器，得到第二中间输
出；
[0023]通过所述第二解码器，对所述第二query以及所述第二中间输出进行处理。
[0024]第二方面，本申请提供了一种数据处理方法，所述方法包括：
[0025]获取图像；
[0026]通过如第一方面任一得到的更新后的第一神经网络和更新后的第一query，对所述图像进行目标检测，得到处理结果。
[0027]第三方面，本申请提供了一种数据处理装置，所述装置包括：
[0028]获取模块，用于获取第一神经网络对应的第一查询query，以及第二神经网络对应的第二query；所述第一query为对所述第一神经网络对应的query的信息熵最大化后得到的query；所述第一神经网络为对所述第二神经网络进行压缩得到的模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取第一神经网络对应的第一查询query，以及第二神经网络对应的第二query；所述第一query为对所述第一神经网络对应的query的信息熵最大化后得到的query；所述第一神经网络为对所述第二神经网络进行压缩得到的模型；所述第一神经网络和所述第一神经网络用于进行目标检测；根据所述第一query以及所述第二query，确定第一损失；所述第一损失指示最小化所述第二query和所述第一query之间的信息差异；根据所述第一损失，更新所述第一神经网络以及所述第一query。2.根据权利要求1所述的方法，其特征在于，所述第一神经网络为对所述第二神经网络进行2、3或者4比特的量化得到的。3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：根据所述第一query以及所述第一神经网络，对目标图像进行目标检测，得到M个第一检测框的信息；获取所述目标图像对应的检测结果真值，所述检测结果真值包括多个第二检测框；根据所述第一检测框和所述第二检测框之间的位置关系，从所述M个第一检测框中确定M1个第一检测框，所述M1个第一检测框中的每个第一检测框对应于一个第二检测框，且所述M1个第一检测框中的每个第一检测框与对应的第二检测框之间的位置关系满足第一预设条件，所述第一预设条件与检测框所在区域之间的重叠度有关；所述第一query为所述M1个第一检测框对应的query。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：根据所述第二query以及所述第二神经网络，对所述目标图像进行目标检测，得到N个第三检测框的信息；根据所述M1个第一检测框中每个第一检测框和所述第三检测框之间的位置关系，从所述N个第三检测框中确定M1个第三检测框，所述M1个第一检测框中的每个第一检测框对应于一个第二检测框，且所述M1个第一检测框中的每个第一检测框与对应的第三检测框之间的位置关系满足第二预设条件，所述第二预设条件与检测框所在区域之间的重叠度有关；所述第二query为所述M1个第三检测框对应的query。5.根据权利要求3或4所述的方法，其特征在于，所述第一检测框和所述第三检测框的信息包括检测框的位置、大小和检测框的图像内容对应的类别。6.根据权利要求1至5任一所述的方法，其特征在于，所述第一query为对所述第一神经网络对应的query的分布调整为预设类型的分布得到的。7.根据权利要求6所述的方法，其特征在于，所述预设类型的分布为高斯分布。8.根据权利要求1至7任一所述的方法，其特征在于，所述信息差异通过L2范数或者条件熵表示。9.根据权利要求3至8任一所述的方法，其特征在于，所述第一神经网络包括第一主干网络、第一编码器和第一解码器；所述第二神经网络包括第二主干网络、第二编码器和第二解码器；所述根据所述第一query以及所述第一神经网络，对目标图像进行目标检测，包括：根据所述目标图像，通过所述第一主干网络和所述第一编码器，得到第一中间输出；
通过所述第一解码器，对所述第一query以及所述第一中间输出进行处理；所述根据所述第二query以及所述第二神经网络，对所述目标图像进行目标检测，包括：根据所述目标图像，通过所述第二主干网络和所述第二编码器，得到第二中间输出；通过所述第二解码器，对所述第二query以及所述第二中间输出进行处理。10.一种数据处理方法，其特征在于，所述方法包括：获取图像；通过如权利要求1至9任一得到的更新后的第一神经网络和更新后的第一query，对所述图像进行目标检测，得到处理结果。11.一种数据处理装置，其特征在于，所述装置包括：获取模块，用于获取第一神经网络对应的第一查询query，以及第二神经网络对应的第二query；所述第一query为对所述第一神经网络对应的query的信息熵最大化后得到的query；所述第一神经网络为对所述第二神经网络进行...

【专利技术属性】
技术研发人员：刘传建，韩凯，张宝昌，徐昇，李炎静，王云鹤，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：