面向目标检测任务的数据处理方法和数据处理装置制造方法及图纸

本申请提供了一种面向目标检测任务的数据处理方法和面向目标检测任务的数据处理装置、计算机存储介质。该面向目标检测任务的数据处理方法包括：实时读取待处理数据；按照待处理数据的读取顺序获取若干组数据集，其中，数据集中包括第一预设数量的第一数据子集和第二预设数量的第二数据子集；将第二数据子集输入选择模块，以获取第二数据子集中的满足预设条件的选择数据；将第一数据子集输入算框模块进行整理，以及基于选择数据确定整理后的第一数据子集是否需要进行预设处理。通过上述方式，本申请的面向目标检测任务的数据处理方法通过数据分发机制实现数据的快速处理，降低了处理成本的功耗，提高了数据处理效率。提高了数据处理效率。提高了数据处理效率。

【技术实现步骤摘要】
面向目标检测任务的数据处理方法和数据处理装置


[0001]本申请涉及数据处理
，特别是涉及一种面向目标检测任务的数据处理方法和数据处理装置、计算机存储介质。

技术介绍

[0002]深度学习的后处理部分是指将神经网络中最后一层卷积结果变成实际检测的目标框和类别置信度等信息的计算过程，由于在不同的检测网络可能会使用不同的后处理方法，导致这部分很难像那些计算量大的主流算子一样被一个通用硬件实现，
[0003]主流AI加速器使用的是片上系统SoC模式，将灵活性相对较高的后处理部分使用价格昂贵的多核ARM/RISC
‑
V处理器进行计算，而该类CPU在神经网络计算时多为空载，导致巨大的能耗、设计与制造成本的浪费。

技术实现思路

[0004]本申请提供了一种面向目标检测任务的数据处理方法和数据处理装置、计算机存储介质。
[0005]本申请提供了一种面向目标检测任务的数据处理方法，所述面向目标检测任务的数据处理方法包括：
[0006]实时读取待处理数据；
[0007]按照所述待处理数据的读取顺序获取若干组数据集，其中，所述数据集中包括第一预设数量的第一数据子集和第二预设数量的第二数据子集；
[0008]将所述第二数据子集输入选择模块，以获取所述第二数据子集中的满足预设条件的选择数据；
[0009]将所述第一数据子集输入算框模块进行整理，以及基于所述选择数据确定整理后的所述第一数据子集是否需要进行预设处理。
[0010]其中，所述将所述第二数据子集输入选择模块，以获取所述第二数据子集中的满足预设条件的选择数据，包括：
[0011]采用所述选择模块，选择出所述第二数据子集中的最大值作为选择数据。
[0012]其中，所述面向目标检测任务的数据处理方法，还包括：
[0013]将所述第二数据子集按照所述选择模块的处理数量划分为若干组第三数据子集；
[0014]将第一组第三数据子集输入所述选择模块中，选择出第一组第三数据子集的第一最大值；
[0015]将第二组第三数据子集输入所述选择模块中，选择出第二组第三数据子集的第二最大值，以及比较所述第一最大值和所述第二最大值，并保留两者中的较大值；
[0016]遍历所述第二数据子集中的所有组第三数据子集，直至选择出所述第二数据子集中的最大值，作为所述选择数据。
[0017]其中，所述待处理数据为卷积数据，所述第一数据子集为所述卷积数据中的坐标
框数据，所述第二数据子集为所述卷积数据中的多个置信度数据；
[0018]所述将所述第二数据子集输入选择模块，以获取所述第二数据子集中的满足预设条件的选择数据，包括：
[0019]将所述多个置信度数据输入所述选择模块，以选择出所述第二数据子集中的最大置信度。
[0020]其中，所述按照所述待处理数据的读取顺序获取若干组数据集，包括：
[0021]按照所述读取顺序在实时读取的待处理数据中，读取第一预设数量的待处理数据，组成所述第一数据子集；
[0022]读取第二预设数量的待处理数据，组成所述第二数据子集；
[0023]判断所述第二数据子集是否满足按照所述选择模块的处理数量划分组别的要求；
[0024]若否，则在所述第二数据子集的末尾补0，直至满足划分组别的要求；
[0025]由一个所述第一数据子集和一个所述第二数据子集组成为一组所述数据集。
[0026]其中，所述算框模块包括第一选择模块和第二选择模块；
[0027]所述面向目标检测任务的数据处理方法，还包括：
[0028]将当前组数据集的第二数据子集输入所述第一选择模块，以获取所述当前组数据集的第二数据子集中的最大置信度；
[0029]将下一组数据集的第二数据子集输入所述第二选择模块，以获取所述下一组数据集的第二数据子集中的最大置信度。
[0030]其中，所述基于所述选择数据确定整理后的所述第一数据子集是否需要进行预设处理，包括：
[0031]判断所述第二数据子集中的最大置信度是否大于等于预设置信度；
[0032]若是，将所述最大置信度加入所述第一数据子集，并进行保存；
[0033]若否，删除所述最大置信度以及所述第一数据子集。
[0034]其中，所述面向目标检测任务的数据处理方法，还包括：
[0035]获取保存的所有坐标框及其置信度；
[0036]在保存的坐标框中选择出置信度最大的坐标框；
[0037]遍历剩下的所有坐标框，删除与置信度最大的坐标框交并比大于等于预设交并比阈值的坐标框；
[0038]在未处理的坐标框中选择出置信度最大的坐标框，重复执行：遍历剩下的所有坐标框，删除与置信度最大的坐标框交并比大于等于预设交并比阈值的坐标框；直至对保存的所有坐标框均进行处理。
[0039]本申请还提供了一种面向目标检测任务的数据处理装置，所述面向目标检测任务的数据处理装置包括存储器和处理器，其中，所述存储器与所述处理器耦接；
[0040]其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的面向目标检测任务的数据处理方法。
[0041]本申请还提供了一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现上述的面向目标检测任务的数据处理方法。
[0042]本申请的有益效果是：面向目标检测任务的数据处理装置实时读取待处理数据；按照待处理数据的读取顺序获取若干组数据集，其中，数据集中包括第一预设数量的第一
数据子集和第二预设数量的第二数据子集；将第二数据子集输入选择模块，以获取第二数据子集中的满足预设条件的选择数据；将第一数据子集输入算框模块进行整理，以及基于选择数据确定整理后的第一数据子集是否需要进行预设处理。通过上述方式，本申请的面向目标检测任务的数据处理方法通过数据分发机制实现数据的快速处理，降低了处理成本的功耗，提高了数据处理效率。
附图说明
[0043]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
[0044]图1是本申请提供的面向目标检测任务的数据处理方法一实施例的流程示意图；
[0045]图2是本申请提供的面向目标检测任务的数据处理方法另一实施例的流程示意图；
[0046]图3是本申请提供的数据分发机制一实施例的框架示意图；
[0047]图4是本申请提供的选择模块运行过程的框架示意图；
[0048]图5是图4所示选择模块运行的基础思路的示意图；
[0049]图6是本申请提供的算框模块运行过程的框架示意图；
[0050]图7是本申请提供的面向目标检测任务的数据处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向目标检测任务的数据处理方法，其特征在于，所述面向目标检测任务的数据处理方法包括：实时读取待处理数据；按照所述待处理数据的读取顺序获取若干组数据集，其中，所述数据集中包括第一预设数量的第一数据子集和第二预设数量的第二数据子集；将所述第二数据子集输入选择模块，以获取所述第二数据子集中的满足预设条件的选择数据；将所述第一数据子集输入算框模块进行整理，以及基于所述选择数据确定整理后的所述第一数据子集是否需要进行预设处理。2.根据权利要求1所述的面向目标检测任务的数据处理方法，其特征在于，所述将所述第二数据子集输入选择模块，以获取所述第二数据子集中的满足预设条件的选择数据，包括：采用所述选择模块，选择出所述第二数据子集中的最大值作为选择数据。3.根据权利要求2所述的面向目标检测任务的数据处理方法，其特征在于，所述面向目标检测任务的数据处理方法，还包括：将所述第二数据子集按照所述选择模块的处理数量划分为若干组第三数据子集；将第一组第三数据子集输入所述选择模块中，选择出第一组第三数据子集的第一最大值；将第二组第三数据子集输入所述选择模块中，选择出第二组第三数据子集的第二最大值，以及比较所述第一最大值和所述第二最大值，并保留两者中的较大值；遍历所述第二数据子集中的所有组第三数据子集，直至选择出所述第二数据子集中的最大值，作为所述选择数据。4.根据权利要求1所述的面向目标检测任务的数据处理方法，其特征在于，所述待处理数据为卷积数据，所述第一数据子集为所述卷积数据中的坐标框数据，所述第二数据子集为所述卷积数据中的多个置信度数据；所述将所述第二数据子集输入选择模块，以获取所述第二数据子集中的满足预设条件的选择数据，包括：将所述多个置信度数据输入所述选择模块，以选择出所述第二数据子集中的最大置信度。5.根据权利要求4所述的面向目标检测任务的数据处理方法，其特征在于，所述按照所述待处理数据的读取顺序获取若干组数据集，包括：按照所述读取顺序在实时读取的待处理数据中，读取第一预设数量的待处理数据，组成所述第一数据子集；读取第二预设数量的待处理数据，组成所述第二数据子集；判断所述第二数据子集是...

【专利技术属性】
技术研发人员：彭翼，王峥，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：