分层深卷积神经网络制造技术

分层分支深卷积神经网络(HD‑CNN)改进了现有的卷积神经网络(CNN)技术。在HD‑CNN中，可被容易区分的类在高层粗类别CNN中进行分类，而最难的分类在下层精细类别CNN中完成。在HD‑CNN训练中，可以使用多项物流损失和新颖的时间稀疏度惩罚。多项物流损失和时间稀疏度惩罚的使用使得每个分支组件处理不同的类别子集。

【技术实现步骤摘要】
【国外来华专利技术】分层深卷积神经网络优先权声明本申请要求于2014年12月23日提交的题为“HierarchicalDeepConvolutionalNeuralNetworkForImageClassification”的美国专利申请No.14/582,059的优先权，该专利申请要求于2014年10月27日提交的题为“HierarchicalDeepConvolutionalNeuralNetworkForImageClassification”的美国专利申请No.62/068,883的优先权，通过引用将上述申请中的每一个并入本文。
本文公开的主题通常涉及使用分层深卷积神经网络对数据分类。具体地，本公开涉及生成和使用用于图像分类的分层深卷积神经网络的系统和方法。
技术介绍
深卷积神经网络(CNN)被训练作为N路分类器以在N类数据之间进行区分。CNN分类器被用于对图像进行分类，检测对象，估计姿势，识别面部以及执行其他分类任务。通常，由设计者选择CNN的结构(例如，层的数量、层的类型、层之间的连接性等)，然后通过训练确定每层的参数。可以通过平均来组合使用多个分类器。在模型平均中，使用多个单独的模型。每个本文档来自技高网...

【技术保护点】
一种系统，包括：粗类别识别模块，被配置为：访问包括分类数据的数据集，所述分类数据具有多个精细类别；识别多个粗类别，所述粗类别的数量少于精细类别的数量；以及针对每个精细类别，确定相关联的粗类别；预训练模块，被配置为：训练用于在粗类别之间进行区分的基础卷积神经网络(CNN)；以及训练每个粗类别的精细CNN，所述粗类别的精细CNN用于在与所述粗类别相关联的精细类别之间进行区分；以及分类模块，被配置为：接收对数据进行分类的请求；使用所述基础CNN，确定所述数据的粗类别；使用所确定的粗类别的精细CNN，确定所述数据的精细类别；以及响应于所述请求，发送所述数据的精细类别。

【技术特征摘要】
【国外来华专利技术】2014.10.27 US 62/068,883;2014.12.23 US 14/582,0591.一种系统，包括：粗类别识别模块，被配置为：访问包括分类数据的数据集，所述分类数据具有多个精细类别；识别多个粗类别，所述粗类别的数量少于精细类别的数量；以及针对每个精细类别，确定相关联的粗类别；预训练模块，被配置为：训练用于在粗类别之间进行区分的基础卷积神经网络(CNN)；以及训练每个粗类别的精细CNN，所述粗类别的精细CNN用于在与所述粗类别相关联的精细类别之间进行区分；以及分类模块，被配置为：接收对数据进行分类的请求；使用所述基础CNN，确定所述数据的粗类别；使用所确定的粗类别的精细CNN，确定所述数据的精细类别；以及响应于所述请求，发送所述数据的精细类别。2.根据权利要求1所述的系统，其中，所述粗类别识别模块还被配置为：将所述数据集划分为训练集和值集；使用所述训练集来训练第一CNN模型；以及使用所述值集生成所述第一CNN模型的混淆矩阵；其中针对每个精细类别确定相关联的粗类别包括：向所述混淆矩阵应用仿射传播算法。3.根据权利要求2所述的系统，其中，所述粗类别识别模块还被配置为：使用拉普拉斯特征映射获取精细类别的低维特征表示。4.根据权利要求2所述的系统，其中，所述训练模块被配置为使用包括以下各项的操作来训练每个粗类别的精细CNN：使用所述训练集来训练第二CNN模型；根据所述第二CNN生成每个粗类别的精细CNN；以及使用所述训练集的子集来训练每个粗类别的精细CNN，所述子集不包括具有与所述粗类别不相关联的精细类别的数据。5.根据权利要求1所述的系统，其中，所述预训练模块还被配置为：将用于在粗类别之间进行区分的CNN与用于在精细类别之间进行区分的每个CNN进行组合，以形成分层深CNN(HD-CNN)；以及所述系统还包括微调模块，所述微调模块被配置为对所述HD-CNN进行微调。6.根据权利要求5所述的系统，其中，所述微调模块被配置为使用包括以下各项的操作来对所述HD-CNN进行微调：使用学习因子开始所述微调；通过使用所述学习因子迭代一系列训练批次来训练所述HD-CNN；在每次迭代之后，将所述训练批次的训练误差与阈值进行比较；基于所述比较来确定所述训练批次的训练误差低于阈值；以及响应于确定所述训练批次的训练误差低于阈值，修改所述学习因子。7.根据权利要求5所述的系统，其中，所述微调模块被配置为使用包括以下各项的操作来对所述HD-CNN进行微调：在对每个所述CNN的评估中应用时间稀疏元素，以在精细类别之间进行区分。8.根据权利要求1所述的系统，其中，包括分类数据的所述数据集包括：分类图像。9.一种计算机实现的方法，包括：访问包括分类数据的数据集，所述分类数据具有多个精细类别；识别多个粗...

【专利技术属性】
技术研发人员：鲁宾逊·皮拉姆苏，严志程，维格里希·贾格迪希，邸韡，丹尼斯·德科斯特，
申请(专利权)人：电子湾有限公司，
类型：发明
国别省市：美国,US