级联卷积神经网络训练和图像检测方法、装置及系统制造方法及图纸

本发明专利技术公开一种级联卷积神经网络训练和图像检测方法、装置及系统，其中，所述训练方法包括：将待学习图像至少局部区域的图像数据分别处理成N种不同大小的输入区域的图像数据，N为大于或等于2的整数；分别将N种输入区域的图像数据作为N级级联的卷积神经网络中各级卷积神经网络的输入，对各级卷积神经网络进行训练；将各级卷积神经网络分别输出的至少一训练结果进行关联，并将关联后的训练结果回传至各级卷积神经网络以调整各级神经网络的参数。在将训练结果传播至各级卷积神经网络时，能够调整各级神经网络的参数，使得级联卷积神经网络在训练时能够达到神经网络参数的全局优化。

【技术实现步骤摘要】

本专利技术涉及图像数据处理领域，具体涉及一种级联卷积神经网络训练和图像检测方法、装置及系统。
技术介绍
物体检测即对于输入的图片，精确地检测出所有某类物体的位置，在计算机视觉和模式识别领域中占有重要地位。传统的基于卷积神经网络的物体检测方法，首先在图片上选出一系列位置、大小不同的待检测区域，然后将该区域直接输入一个卷积神经网络，得到分类结果。通过适当设计卷积神经网络的结构，可以让计算机直接学习出图片中的隐藏特征，避免了人工设计特征，能更广泛地应用到各种类别物体的检测中。但是由于卷积神经网络的计算时间往往比人工设计特征的计算时间长许多，因此在检测时会面临检测速度与检测效果不可兼得的矛盾。对于基于卷积神经网络的物体检测方法，目前常见的是单级多层卷积神经网络。由于分类效果较好的单级卷积神经网络结构较复杂，检测每个区域的时间较长，如果在选择待检测区域时采用全面覆盖图片的滑动窗口选择法，则检测速度较慢；如果采用针对图片某些特征设计的算法选择最可能包含物体的少量区域，则检测速度有所提高，但在选择区域阶段可能漏掉某些包含物体的区域。对于物体检测问题，由于数据标注非常耗费人力、时间，数据集中往往负样本很多，正样本很少。在训练时，由于正负样本分布不均衡，训练效果往往较差。级联卷积神经网络通过使用小型的、复杂度递增的多级多层神经网络，可以在使用滑动窗口选择法的同时提高检测速度，并对不同级的网络提供不同比例的正负样本训练，在一定程度上缓解上述的两个问题。但是在传统的级联网络中，不同级的神经网络通常分开训练，只能使每一级神经网络达到局部优化，多级多层神经网络的整体性能不理想。专利
技术实现思路
本专利技术实施例提供一种级联卷积神经网络及其训练和检测方案。根据第一方面，本专利技术实施例提供了一种级联卷积神经网络训练方法，包括：将待学习图像至少局部区域的图像数据分别处理成N种不同大小的输入区域的图像数据，N为大于或等于2的整数；分别将N种输入区域的图像数据作为N级级联的卷积神经网络中各级卷积神经网络的输入，对各级卷积神经网络进行训练，其中，N级级联的卷积神经网络中的每一级卷积神经网络分别与N种输入区域的一种输入区域对应；将各级卷积神经网络分别输出的至少一训练结果进行关联，并将关联后的训练结果回传至各级卷积神经网络以调整各级神经网络的参数。可选地，对各级卷积神经网络进行训练，包括：根据第1级卷积神经网络最后一层的输出，得到第1级卷积神经网络的特征向量；根据第n级卷积神经网络最后一层的输出和第n-1级卷积神经网络的特征向量，得到第n级卷积神经网络的特征向量，其中，n为正整数，且1＜n≤N。可选地，第1级卷积神经网络的最后一层为卷积层；第2至N级卷积神经网络中各级卷积神经网络的最后一层均为全连接层。可选地，对各级卷积神经网络进行训练，包括：至少分别求取各级卷积神经网络的本级损失；将各级卷积神经网络分别输出的至少一训练结果进行关联，包括：至少对各级卷积神经网络分别输出的本级损失进行加权求和，得到N级级联的卷积神经网络的全局损失。可选地，至少分别求取各级卷积神经网络的本级损失，包括：分别求取各级卷积神经网络的本级损失函数和回归边界框真值损失；至少对各级卷积神经网络分别输出的本级损失进行加权求和，得到N级级联的卷积神经网络的全局损失，包括：对各级卷积神经网络分别输出的本级损失函数和/或回归边界框真值损失进行加权求和，得到N级级联的卷积神经网络的全局损失。可选地，第i级卷积神经网络输入区域的尺寸小于第j级卷积神经网络输入区域的尺寸，其中，i和j为正整数，且1≤i＜j≤N。本专利技术实施例还提供了一种级联卷积神经网络训练装置，包括：学习数据获取单元，用于将待学习图像至少局部区域的图像数据分别处理成N种不同大小的输入区域的图像数据，所述N为大于或等于2的整数；训练单元，用于分别将所述N种输入区域的图像数据作为N级级联的卷积神经网络中各级卷积神经网络的输入，对各级卷积神经网络进行训练，其中，所述N级级联的卷积神经网络中的每一级卷积神经网络分别与所述N种输入区域的一种输入区域对应；回传单元，用于将各级卷积神经网络分别输出的至少一训练结果进行关联，并将关联后的训练结果回传至各级卷积神经网络以调整各级神经网络的参数。可选地，训练单元包括：第一向量单元，用于根据第1级卷积神经网络最后一层的输出，得到所述第1级卷积神经网络的特征向量；第二向量单元，用于根据第n级卷积神经网络最后一层的输出和所述第n-1级卷积神经网络的特征向量，得到第n级卷积神经网络的特征向量，其中，所述n为正整数，且1＜n≤N。可选地，所述训练单元包括：本级损失求取单元，用于至少分别求取各级卷积神经网络的本级损失；全局损失求取单元，用于至少对各级卷积神经网络分别输出的本级损失进行加权求和，得到所述N级级联的卷积神经网络的全局损失。本专利技术实施例还提供了一种计算机存储介质，存储了用于实现本专利技术实施例提供的任一种级联卷积神经网络训练方法的计算机可读取的指令。例如，所述指令包括：将待学习图像至少局部区域的图像数据分别处理成N种不同大小的输入区域的图像数据的指令，N为大于或等于2的整数；分别将N种输入区域的图像数据作为N级级联的卷积神经网络中各级卷积神经网络的输入，对各级卷积神经网络进行训练的指令，其中，N级级联的卷积神经网络中的每一级卷积神经网络分别与N种输入区域的一种输入区域对应；将各级卷积神经网络分别输出的至少一训练结果进行关联，并将关联后的训练结果回传至各级卷积神经网络以调整各级神经网络的参数的指令。本专利技术实施例还提供了一种级联卷积神经网络训练系统，包括：图像获取装置，用于获取待学习图像的图像数据；存储器，用于存储程序；处理器，接收待学习图像的图像数据，用于执行程序以实现上述训练方法中的操作。根据第二方面，本专利技术实施例提供了一种基于级联卷积神经网络的图像检测方法，包括：获取待检测图像的图像数据；将待检测图像的图像数据作为上述的训练方法建立的神经网络模型的输入对待检测图像进行检测，得到待检测图像的检测结果。可选地，在获取待检测图像的图像数据之后，还包括：将图像数据划分成多个区域得到各个区域的图像数据；将待检测图像的图像数据作为神经网络模型的输入对待检测图像进行检测，得到待检测图像的检测结果，包括：分别将各个区域的图像数据依次作为神经网络模型的输入对各个区域的图像数据进行检测，得到各个区域的检测结果。可选地，对待检测图像进行检测包括：在神经网络模型的N级级联卷积神经网络的至少一级神经网络中对图像数据进行分类得分计算；将至少一级卷积神经网络的分类得分的计算值与至少一预定分值进行比较，并根据至少一比较结果确定图像数据是否包含目标对象。可选地，在获取待检测图像的图像数据之后，还包括：将图像数据的尺寸压缩成符合第n级卷积神经网络输入区域的尺寸，其中，n为正整数，且1≤n≤N-1；将待检测图像的图像数据作为神经网络模型的输入对待检测图像进行检测，得到待检测图像的检测结果，包括：将压缩后的图像数据输入第n级卷积神经网络；通过第n级卷积神经网络对压缩后的图像数据进行第一分类得分计算；如果第一分类得分小于第一预定分值，则判断为图像数据不包含目标对象。可选地，如果第一分类得分大于或等于第一预定分值，则还包括：将图像数据的本文档来自技高网...

【技术保护点】
一种级联卷积神经网络训练方法，其特征在于，包括：将待学习图像至少局部区域的图像数据分别处理成N种不同大小的输入区域的图像数据，所述N为大于或等于2的整数；分别将所述N种输入区域的图像数据作为N级级联的卷积神经网络中各级卷积神经网络的输入，对各级卷积神经网络进行训练，其中，所述N级级联的卷积神经网络中的每一级卷积神经网络分别与所述N种输入区域的一种输入区域对应；将各级卷积神经网络分别输出的至少一训练结果进行关联，并将关联后的训练结果回传至各级卷积神经网络以调整各级神经网络的参数。

【技术特征摘要】
1.一种级联卷积神经网络训练方法，其特征在于，包括：将待学习图像至少局部区域的图像数据分别处理成N种不同大小的输入区域的图像数据，所述N为大于或等于2的整数；分别将所述N种输入区域的图像数据作为N级级联的卷积神经网络中各级卷积神经网络的输入，对各级卷积神经网络进行训练，其中，所述N级级联的卷积神经网络中的每一级卷积神经网络分别与所述N种输入区域的一种输入区域对应；将各级卷积神经网络分别输出的至少一训练结果进行关联，并将关联后的训练结果回传至各级卷积神经网络以调整各级神经网络的参数。2.如权利要求1所述的级联卷积神经网络训练方法，其特征在于，所述对各级卷积神经网络进行训练，包括：根据第1级卷积神经网络最后一层的输出，得到所述第1级卷积神经网络的特征向量；根据第n级卷积神经网络最后一层的输出和所述第n-1级卷积神经网络的特征向量，得到第n级卷积神经网络的特征向量，其中，所述n为正整数，且1＜n≤N。3.如权利要求1或2所述的级联卷积神经网络训练方法，其特征在于，所述对各级卷积神经网络进行训练，包括：至少分别求取各级卷积神经网络的本级损失；将各级卷积神经网络分别输出的至少一训练结果进行关联，包括：至少对各级卷积神经网络分别输出的本级损失进行加权求和，得到所述N级级联的卷积神经网络的全局损失。4.一种基于级联卷积神经网络的图像检测方法，其特征在于，包括：获取待检测图像的图像数据；将所述待检测图像的图像数据作为如权利要求1-3任意一项所述的训练方法建立的神经网络模型的输入对所述待检测图像进行检测，得到所述待检测图像的检测结果。5.如权利要求4所述的基于级联卷积神经网络的图像检测方法，其特征在于，在所述获取待检测图像的图像数据之后，还包括：将所述图像数据划分成多个区域得到各个区域的图像数据；将所述待检测图像的图像数据作为神经网络模型的输入对所述待检测图像进行检测，得到所述待检测图像的检测结果，包括：分别将所述各个区域的图像数据依...

【专利技术属性】
技术研发人员：秦红伟，闫俊杰，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11