使用卷积神经网络模型的对象检测方法及对象检测设备技术

一种使用卷积神经网络模型的对象检测方法及对象检测设备。该对象检测方法包含：产生传感器数据；通过使用第一对象检测算法来处理传感器数据以产生第一对象检测结果；通过使用多级稀疏更新映像算法来处理第一对象检测结果以产生多级更新后第一对象检测结果；通过使用各级稀疏更新映像算法之间的多级空间池化算法来处理第一级的更新后第一对象检测结果；执行多级深卷积层算法以提取多个特征结果；以及基于最后一级的特征结果来执行检测预测。

Object detection method and equipment using convolutional neural network model

【技术实现步骤摘要】
使用卷积神经网络模型的对象检测方法及对象检测设备
本专利技术涉及一种对象检测方法及对象检测设备，尤其是涉及一种使用卷积神经网络(convolutionalneuralnetwork，CNN)模型的对象检测方法及对象检测设备。
技术介绍
自驾车开发已是近年来重要的研究和开发项目，且检测或感测设备已尤其重要。可通过提供更可靠的感测数据和通过提供特定环境类型内的关于车身环境的更精确信息来改进检测设备。检测设备还可基于车身环境的传感器读数来产生强化信息。在检测设备的建构中，对象检测是必不可少的技术中的一种。通过安装在车身上的高分辨率摄影机拍摄的影像来识别出现在车辆前部的对象的位置和类型，且还通过组合如计算器视觉和深度学习的技术，车辆可作出精确判定以确定是否规避对象或是否剎车。作出判定可类似于基于其眼睛的观测结果来采取策略的人工智能。然而，各种对象检测可能依赖于深度学习方法。深度学习是用于使用训练数据来修改学习模型的常用术语。深度学习可要求大量计算资源以训练和预测学习模型。当检测设备执行对象检测时，训练模型将用于前向传播计算。计算量在训练阶段和预测阶段两者期间可能很大。在没有具有高计算能力的硬件装置的情况下，此类尝试将几乎不可能，因为每秒的图像处理帧数在极小时间间隔内很大。因此，用于对象检测的算法阶段的持续优化在现阶段将仍然是必要的。当人驾驶车辆时，对象检测算法可帮助自动驾驶车辆(autonomousvehicle)在感测范围内感测任一对象，且所述算法还将提供预测路径规划给其它系统。为了满足这一需求，检测设备必须满足至少三个特点，所述特点包含：大数量(即可识别对象数目)、精确性(即正确地识别对象的类型和对象的位置)以及快速(即达到反应所需的瞬时计算速率)。为了满足以上特征，有必要对现有深度学习模型作出改进和修改。表1表1展示对象检测必须妥协于检测性能和计算复杂度的困境，因为对象检测的较高性能将形成较高计算复杂度。本文中，双阶DL(deeplearning，DL)对象检测模型具有最高检测精确性，但其通常需要最大的计算成本。详细地说，双阶DL对象检测采用与单阶DL对象检测类似的卷积层，区别在于双阶DL在那些卷积层后采用区域建议网络(regionproposalnetwork，RPN)从所提供的特征图(featuremaps)中提出一或多个感兴趣区域(regionofinterest，ROI)。图1说明RPN根据最后一个卷积层提取的特征图提出感兴趣区域。更详细地说，处理器将通过使用RPN来处理一组所提供的特征图(即图1中所说明的输入影像)以在双阶DL对象检测模型中提出一些ROI，其中特征图包含多个未使用特征(unusedfeatures，UNU)。多个未使用特征UNU将需要一定量计算成本，而这成本为无效分配，因为多个未使用特征UNU不贡献任何检测结果。换句话说，双阶DL对象检测模型中的RPN具有降低检测构架效率的两个缺点。第一，RPN分析所提供的特征图建议任一潜在候选ROI，可能存在将不产生任何ROI建议的多个未使用特征UNU，然而这些未使用特征UNU需要一定量计算成本已由RPN计算。在ROI不出现的区域中的操作造成的计算浪费是第一特征不必要的计算部分(即多个未使用特征)。第二，尽管双阶DL对象检测中的RPN的当前位置实现稳健检测性能，但其可形成低效推断。相反，ROI建议可定位于卷积层前部以显着减小网络大小以及其计算工作。
技术实现思路
因此，本专利技术涉及一种使用CNN模型的对象检测方法和对象检测设备。在示范性实施例中的一个中，本专利技术涉及一种使用CNN模型的对象检测方法，所述方法将包含但不限于：通过使用传感器来产生传感器数据；通过使用第一对象检测算法来处理传感器数据以产生第一对象检测结果，其中第一对象检测结果包含包围盒(boundingbox；BB)信息；通过使用多级稀疏更新映像算法来根据包围盒信息处理第一对象检测结果以在CNN模型中产生多级更新后第一对象检测结果；通过使用多级空间池化算法来处理第一级的更新后第一对象检测结果以减小各级稀疏更新映像算法之间的多级更新后第一对象检测结果的空间维度；基于CNN模型中的多级更新后第一对象检测结果来执行多级深卷积层算法以对应地提取多个特征结果；以及基于由最后一级的多级深卷积层算法中产生的最后一级的特征结果来执行检测预测。在示范性实施例中的一个中，本专利技术涉及一种对象检测设备，所述对象检测设备将包含但不限于：传感器，用于产生传感器数据；以及处理器，耦合到传感器且配置成至少进行以下操作：通过使用第一对象检测算法来处理传感器数据以产生第一对象检测结果，其中第一对象检测结果包含包围盒信息；通过使用多级稀疏更新映像算法来根据包围盒信息处理第一对象检测结果以在CNN模型中产生多级更新后第一对象检测结果；通过使用多级空间池化算法来处理第一级的更新后第一对象检测结果以减小各级稀疏更新映像算法之间的多级更新后第一对象检测结果的空间维度；基于CNN模型中的多级更新后第一对象检测结果来执行多级深卷积层算法以对应地提取多个特征结果；以及基于由最后一级的多级深卷积层算法中产生的最后一级的特征结果来执行检测预测。为让本专利技术的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。附图说明图1说明基于提取的特征图的由区域建议网络(RPN)提出的感兴趣区域。图2说明根据本专利技术的示范性实施例中的一个的对象检测设备的硬件方框图。图3说明根据本专利技术的示范性实施例中的一个的使用对象检测设备的自动驾驶车辆。图4是根据本专利技术的示范性实施例中的一个的说明对象检测方法的步骤的流程图。图5说明根据本专利技术的示范性实施例中的一个的对象检测构架的详细方框图。图6说明根据本专利技术的示范性实施例中的一个的第一对象检测算法。图7说明根据本专利技术的示范性实施例中的一个的多级稀疏更新映像算法中的每一级。图8A到图8F说明根据本专利技术的示范性实施例中的一个的多级深卷积层算法中的每一级。图9说明根据本专利技术的示范性实施例中的一个的多级空间池化算法中的每一级。图10说明根据本专利技术的示范性实施例中的一个的对象检测方法的另一实施实例。200、1000：对象检测设备210：传感器220：处理器300、V1010：自动驾驶车辆501：第t个RGB影像数据501a：RGB摄影机数组502：第t个检测后RGB影像数据503：第t个推断结果532：第(t-1)个特征图1533：第t个特征图1542：第(t-1)个特征图2543：第t个特征图2552：第(t-1)个特征图5553：第t个特征图k1001：前置摄影机1003：处理单元BBX1、BBX2、BBX3：包围盒conv1、conv2、conv3、conv4、conv5、convk：卷积算法IC、IC1、IC2：影像区...

【技术保护点】
1.一种使用卷积神经网络模型的对象检测方法，其特征在于，所述方法包括：/n通过使用传感器产生传感器数据；/n通过使用第一对象检测算法来处理所述传感器数据以产生第一对象检测结果，其中所述第一对象检测结果包含包围盒信息；/n通过使用多级稀疏更新映像算法来根据所述包围盒信息处理所述第一对象检测结果以在所述卷积神经网络模型中产生多级更新后第一对象检测结果；/n通过使用多级空间池化算法来处理第一级的所述更新后第一对象检测结果以减小各所述多级稀疏更新映像算法之间的所述多级更新后第一对象检测结果的空间维度；/n基于所述卷积神经网络模型中的所述多级更新后第一对象检测结果来执行多级深卷积层算法以对应地提取多个特征结果；以及/n基于由最后一级的所述多级深卷积层算法中产生的最后一级的特征结果来执行检测预测。/n

【技术特征摘要】
20190213 TW 108104861;20181211 US 16/215,6751.一种使用卷积神经网络模型的对象检测方法，其特征在于，所述方法包括：
通过使用传感器产生传感器数据；
通过使用第一对象检测算法来处理所述传感器数据以产生第一对象检测结果，其中所述第一对象检测结果包含包围盒信息；
通过使用多级稀疏更新映像算法来根据所述包围盒信息处理所述第一对象检测结果以在所述卷积神经网络模型中产生多级更新后第一对象检测结果；
通过使用多级空间池化算法来处理第一级的所述更新后第一对象检测结果以减小各所述多级稀疏更新映像算法之间的所述多级更新后第一对象检测结果的空间维度；
基于所述卷积神经网络模型中的所述多级更新后第一对象检测结果来执行多级深卷积层算法以对应地提取多个特征结果；以及
基于由最后一级的所述多级深卷积层算法中产生的最后一级的特征结果来执行检测预测。


2.根据权利要求1所述的对象检测方法，其特征在于，各所述多级稀疏更新映像算法中包括：
通过将所述包围盒信息映像到框信息图来产生具有多个包围盒的所述框信息图作为所述更新后第一对象检测结果，其中所述框信息图包括多个网格单元，以及所述框信息图中的网格单元数目与所述传感器数据中的像素数目相同。


3.根据权利要求2所述的对象检测方法，其特征在于，各所述多级稀疏更新映像算法中进一步包括：
将与所述包围盒重迭的所述网格单元设置为第一数目区，以及将不含所述包围盒的所述网格单元设置为第二数目区；以及
将所述第一数目区的值设置为第一指数，以及将所述第二数目区的值设置为第二指数，其中所述第一指数以及所述第二指数不同。


4.根据权利要求3所述的对象检测方法，其特征在于，所述第一指数表示的区域需要被更新，以及所述第二指数表示的区域不需被更新。


5.根据权利要求3所述的对象检测方法，其特征在于，各所述多级稀疏更新映像算法中进一步包括：
将任一组空间上重迭的所述包围盒组合为重迭包围盒的单个集合。


6.根据权利要求1所述的对象检测方法，其特征在于，各所述多级深卷积层算法中包括：
基于前一级的所述特征结果，通过使用位置层算法来处理所述多级更新后第一对象检测结果中的前一级的更新后第一对象检测结果以产生带状特征图；
通过使用卷积层算法来处理所述带状特征图以产生卷积后带状特征图；
基于来自所述多级深卷积层算法中较早时间点的先前时间特征结果，通过使用恢复层算法来处理所述卷积后带状特征图以产生所述特征结果；以及
通过使用池化层算法来处理所述特征结果以减小所述特征结果的所述空间维度。


7.根据权利要求6所述的对象检测方法，其特征在于，所述位置层算法包括：
接收所述前一级的更新后第一对象检测结果以及所述前一级的特征结果；
基于所述前一级的特征结果来划分所述前一级的更新后第一对象检测结果以产生具有多个影像区的位置图，其中所述影像区中的每一个由N×N网格单元拼接，以及N是正整数；
将与所述第一数目区重迭的所述影像区的值设置为所述第一指数；以及
将所述位置图卷积到所述带状特征图。


8.根据权利要求7所述的对象检测方法，其特征在于，所述卷积层算法进一步包括：
对所述带状特征图进行卷积以产生卷积后带状特征图。


9.根据权利要求8所述的对象检测方法，其特征在于，所述恢复层算法进一步包括：
接收所述卷积后带状特征图；以及
操作所述卷积后带状特征图以及所述先前时间特征结果以产生所述特征结果。


10.根据权利要求1所述的对象检测方法，其特征在于，通过使用第一对象检测算法来处理所述传感器数据的步骤包括：
基于计算器视觉来检测所述传感器数据以发现感兴趣区域；以及
根据所述感兴趣区域来产生所述包围盒信息。

...

【专利技术属性】
技术研发人员：赖威豪，梁珮蓉，蒋泗得，陈泽民，阮圣彰，
申请(专利权)人：财团法人工业技术研究院，
类型：发明
国别省市：中国台湾;71