用于近似深入神经网络以用于解剖对象检测的方法和系统技术方案

本发明专利技术涉及用于近似深入神经网络以用于解剖对象检测的方法和系统。深入神经网络被训练成检测医学图像中的解剖对象。计算经训练的深入神经网络的近似，该近似减少经训练的深入神经网络的计算复杂性。使用经训练的深入神经网络的近似在患者的输入医学图像中检测解剖对象。

【技术实现步骤摘要】

技术介绍
本专利技术涉及使用深入神经网络的解剖对象检测，并且更具体地涉及近似深入神经网络以用于解剖对象检测。在机器学习和模式识别方面的一个最大挑战在于维度灾难。维度灾难是指学习问题的复杂性随着数据维度中的线性增大而呈指数形式增长的概念。出于这一原因，通常通过特征提取的维度减小技术预处理数据以便提取可以由机器学习分类器有效地处置的数据的有意义且紧凑的表示。因而，数据表示是影响人造智能系统的性能的重要因素。深入学习模仿哺乳动物大脑行为以便从高维度输入提取有意义的表示。数据通过网络的多个层传递。主要层提取低水平线索，诸如用于自然图像的边缘和角落。更深入的层将来自之前各层的简单线索复合成更高水平的特征。这样，在网络结尾处出现强有力的表示。深入网络的逐步构造防止学习过早地暴露于高复杂性的数据。若干理论工作示出某些分类的函数（例如指示符函数）可以由深入网络表示，但是要求具有非充分深度的网络的指数计算。最近，已经以高精度向图像中的模式识别问题应用深入学习。然而，深入网络的益处是以评估阶段期间的高计算成本为代价的。特别地，完全连接的深入网络具有比传统机器学习分类器（诸如线性支持向量机（SVM）和随机森林分类器）缓慢的幅度量级。合期望的是改进深入网络的运行时间速度以使得这样的深入学习技术对于各种应用（对于高计算平台，所述应用包括诸如移动电话和计算机平板设备）更加实用。已经尝试各种方案来改进深入学习的计算方面。图形处理单元（GPU）已经示出以若干幅度量级加速训练。然而，大多数广泛使用的计算设备未装备有强有力的GPU。加速这样的深入网络的另一方式是卷积网络，诸如卷积神经网（CNN）或卷积深入信任网。还可以使用可分离滤波器来改进卷积网络的速度。然而，这些方案要求数据具有张量结构，其限制这样的深入学习技术的应用范围。此外，卷积网络和可分离滤波器可能由于它们强加于深入网络的滤波器上的结构而使总体分类精度降级。
技术实现思路
本专利技术提供一种用于近似深入神经网络以用于解剖对象检测的方法和系统。本专利技术各种方法的实施例是减小经训练的深入神经网络的计算复杂性。本专利技术的实施例使用所近似的深入神经网络执行医学图像数据中的解剖对象检测，所近似的深入神经网络在计算上比原始训练用于对象检测任务的深入神经网络更高效。在本专利技术的实施例中，深入神经网络被训练成检测医学图像中的解剖对象。计算经训练的深入神经网络的近似，该近似减小经训练的深入神经网络的计算复杂性。使用经训练的深入神经网络的近似来在所接收的患者的医学图像中检测解剖对象。在一个实施例中，可以使用权重稀疏化来计算经训练的深入神经网络的近似。在另一实施例中，函数近似可以用于减小经训练的深入神经网络分类器的每一个水平中的节点数目。在另一实施例中，1-D Haar小波基和小波系数可以用于重构经训练的深入神经网络的层中的给定节点的权重矩阵。在另一实施例中，主成分分析（PCA）可以应用于经训练的深入神经网络的层中的所有节点之上的权重矩阵的空间。在一个实施例中，一种用于医学图像中的解剖对象检测的方法，包括：训练深入神经网络以检测医学图像中的解剖对象；计算经训练的深入神经网络的近似，所述近似减少经训练的深入神经网络的计算复杂性；以及使用经训练的深入神经网络的近似来检测所接收的患者的医学图像中的解剖对象。在一个实施例中，其中训练深入神经网络以检测医学图像中的解剖对象包括针对深入神经网络的多个层中的每一个层中的多个节点中的每一个节点训练相应滤波器，其中每一个相应滤波器是包括对多个层中的之前一个层的节点的节点输出加权的多个权重的权重矩阵，并且计算减少经训练的深入神经网络的计算复杂性的经训练的深入神经网络的近似包括：针对经训练的深入神经网络的多个层中的每一个层稀疏化滤波器的权重。在一个实施例中，其中针对经训练的深入神经网络的多个层中的每一个层稀疏化滤波器的权重包括：通过将每一个滤波器中预确定百分比的具有最低幅度的非零权重设定成等于零来针对经训练的深入神经网络中的多个层中的每一个层减少每一个滤波器中的非零权重的数目；以及针对多个层中的每一个层精炼每一个滤波器中的其余非零权重以缓解减小每一个滤波器中的非零权重数目的影响。在一个实施例中，其中针对多个层中的每一个层精炼每一个滤波器中的其余非零权重以缓解减小每一个滤波器中的非零权重数目的影响包括：对源自减小每一个滤波器中的非零权重的数目以精炼每一个滤波器中的其余非零权重的经训练的深入神经网络的近似执行后向传播的一个或多个迭代以便减小成本函数，其度量使用经训练的深入神经网络的近似所预测的解剖对象位置与训练数据集合中的地面真实解剖对象位置之间的误差。在一个实施例中，其中针对经训练的深入神经网络的多个层中的每一个层稀疏化滤波器的权重包括：针对经训练的深入神经网络的多个层中的每一个层对滤波器的权重执行再加权L1-规范正则化，其中再加权L1-规范正则化将滤波器的多个非零权重驱动成零；以及针对多个层中的每一个层精炼滤波器中的其余非零权重以缓解将多个非零权重驱动为零的影响。在一个实施例中，其中针对经训练的深入神经网络的多个层中的每一个层对滤波器的权重执行再加权L1-规范正则化，其中再加权L1-规范正则化将滤波器的多个非零权重驱动成零，包括：将再加权L1-规范的项添加到成本函数，其度量所预测的解剖对象位置与训练数据集合中的地面真实解剖对象位置之间的误差；以及对经训练的深入神经网络执行后向传播来针对经训练的深入神经网络的多个层中的每一个层精炼滤波器中的权重以便减少具有再加权L1-规范的所添加项的成本函数。在一个实施例中，其中针对多个层中的每一个层精炼滤波器中的其余非零权重以便缓解将多个非零权重驱动为零的影响包括：对源自将多个非零权重驱动为零以精炼滤波器中的其余非零权重的经训练的深入神经网络的近似执行后向传播的一个或多个迭代以便减小成本函数，其度量所预测的解剖对象位置与训练数据集合中的地面真实解剖对象位置之间的误差，而没有再加权L1-规范的所添加项。在一个实施例中，其中计算减少经训练的深入神经网络的计算复杂性的经训练的深入神经网络的近似包括：确定线性地近似经训练的深入神经网络的当前层中的多个节点的经训练的深入神经网络的当前层中的多个节点的节点子集，以及从经训练的深入神经网络移除没有处于节点子集中的当前层中的多个节点；以及基于经训练的深入神经网络的当前层中所剩余的节点子集来针对经训练的深入神经网络的下一层更新权重。在一个实施例中，其中确定线性地近似经训练的深入神经网络的当前层中的多个节点的经训练的深入神经网络的当前层中的多个节点的节点子集以及从经训练的深入神经网络移除没有处于节点子集中的当前层中的多个节点包括：确定当前层中的节点子集以及混合矩阵，该混合矩阵最佳地最小化当前层中的多个节点中的每一个节点与通过使用混合矩阵线性地组合节点子集而计算的当前层中的多个节点中的每一个节点的相应近似之间的误差，其中经受节点子集大小上的约束。在一个实施例中，其中基于经训练的深入神经网络的当前层中所剩余的节点子集来针对经训练的深入神经网络的下一层更新权重包括：移除其索引不处于当前层中的节点子集中的经训练的深入神经网络的下一层的滤波器；以及利用通过使用混合矩阵线性地组合当前层中的节点子集的权重而生成的权重来更新经训练的本文档来自技高网...

【技术保护点】
一种用于医学图像中的解剖对象检测的方法，包括：训练深入神经网络以检测医学图像中的解剖对象；计算经训练的深入神经网络的近似，所述近似减少经训练的深入神经网络的计算复杂性；以及使用经训练的深入神经网络的近似来检测所接收的患者的医学图像中的解剖对象。

【技术特征摘要】
2015.05.07 US 14/7061081.一种用于医学图像中的解剖对象检测的方法，包括：训练深入神经网络以检测医学图像中的解剖对象；计算经训练的深入神经网络的近似，所述近似减少经训练的深入神经网络的计算复杂性；以及使用经训练的深入神经网络的近似来检测所接收的患者的医学图像中的解剖对象。2.权利要求1的方法，其中训练深入神经网络以检测医学图像中的解剖对象包括针对深入神经网络的多个层中的每一个层中的多个节点中的每一个节点训练相应滤波器，其中每一个相应滤波器是包括对多个层中的之前一个层的节点的节点输出加权的多个权重的权重矩阵，并且计算减少经训练的深入神经网络的计算复杂性的经训练的深入神经网络的近似包括：针对经训练的深入神经网络的多个层中的每一个层稀疏化滤波器的权重。3.权利要求2的方法，其中针对经训练的深入神经网络的多个层中的每一个层稀疏化滤波器的权重包括：通过将每一个滤波器中预确定百分比的具有最低幅度的非零权重设定成等于零来针对经训练的深入神经网络中的多个层中的每一个层减少每一个滤波器中的非零权重的数目；以及针对多个层中的每一个层精炼每一个滤波器中的其余非零权重以缓解减小每一个滤波器中的非零权重数目的影响。4.权利要求3的方法，其中针对多个层中的每一个层精炼每一个滤波器中的其余非零权重以缓解减小每一个滤波器中的非零权重数目的影响包括：对源自减小每一个滤波器中的非零权重的数目以精炼每一个滤波器中的其余非零权重的经训练的深入神经网络的近似执行后向传播的一个或多个迭代以便减小成本函数，其度量使用经训练的深入神经网络的近似所预测的解剖对象位置与训练数据集合中的地面真实解剖对象位置之间的误差。5.权利要求2的方法，其中针对经训练的深入神经网络的多个层中的每一个层稀疏化滤波器的权重包括：针对经训练的深入神经网络的多个层中的每一个层对滤波器的权重执行再加权L1-规范正则化，其中再加权L1-规范正则化将滤波器的多个非零权重驱动成零；以及针对多个层中的每一个层精炼滤波器中的其余非零权重以缓解将多个非零权重驱动为零的影响。6.权利要求5的方法，其中针对经训练的深入神经网络的多个层中的每一个层对滤波器的权重执行再加权L1...

【专利技术属性】
技术研发人员：D科马尼丘，B乔治斯库，J克雷奇默，N莱，刘大元，H阮，VK辛格，郑冶枫，周少华，
申请(专利权)人：西门子保健有限责任公司，
类型：发明
国别省市：德国;DE