3D图像检测方法、装置、电子设备及计算机可读介质制造方法及图纸

本公开提供一种3D图像检测方法、装置、电子设备及计算机可读介质，属于图像数据处理技术领域。该3D图像检测方法包括：对3D图像进行分层，得到至少一个3D子图像，其中3D子图像包含多张2D图像；对3D子图像进行层内聚类，得到超像素网格；将超像素网格输入到深度神经网络中进行检测；如果在超像素网格中检测到目标，则对含有目标的超像素网格聚类前的所述3D子图像进行检测，得到并输出检测结果。通过对3D图像进行分层聚类，并对聚类得到的超像素网格先进行分层检测，如果存在目标则再进一步做精细检测，这样可以降低对系统运算能力的需求，不仅占用内存小，而且训练简单，运行时间也较短。

3D image detection methods, devices, electronic devices and computer readable media

The present disclosure provides an 3D image detection method, a device, an electronic device and a computer readable medium, which belong to the field of image data processing technology. Including the 3D image detection method: stratified on 3D images, get at least a 3D sub image, which contains more than one 3D sub image of 2D image; layer clustering of 3D sub images, super pixel grid; super pixel grid will enter into the depth of the neural network for detection; if in the super pixel grid in the detected target, is detected in the 3D super pixel grid clustering containing the target before the image, and the output of test results. Through the hierarchical clustering of the 3D image, and the super pixel grid clustering the first hierarchical detection, if there is further to do fine target detection, which can reduce the system operation demand, not only small memory, and the training is simple, operation time is short.

【技术实现步骤摘要】
3D图像检测方法、装置、电子设备及计算机可读介质
本公开涉及图像数据处理
，具体而言，涉及一种3D图像检测方法、装置、电子设备及计算机可读介质。
技术介绍
在医疗诊断过程中，医疗图像数据起着极为重要的作用。目前深度学习技术在医疗图像处理上获得了极为广泛的应用。相对于传统方法，深度学习技术可以有效利用大量图像数据，学习获得知识，辅助放射科医生读取判断病例图像。特别的，针对二维图像，如X光片、DR、超声等，深度学习在医院实际应用的实例。相对而言，深度学习技术在三维(即3D)图像(如CT，MRI等)上的应用并没有得到普及。深度学习技术在三维图像上的应用主要受限于网络连接数巨大，导致处理过程中内存消耗巨大，而且训练起来也较为困难。因此，现有技术中的技术方案还存在有待改进之处。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本公开的目的在于提供一种3D图像检测方法、装置、电子设备及计算机可读介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。本公开的其他特性和优点将通过下面的详细描述变得清晰，或者部分地通过本公开的实践而习得。根据本公开的一个方面，提供一种3D图像检测方法，包括：对3D图像进行分层，得到至少一个3D子图像，其中所述3D子图像包含多张2D图像；对所述3D子图像进行层内聚类，得到超像素网格；将所述超像素网格输入到深度神经网络中进行检测；如果在所述超像素网格中检测到目标，则对含有目标的超像素网格聚类前的所述3D子图像按照所述2D图像的分辨率进行检测，得到并输出检测结果。在本公开的一种示例性实施例中，所述3D图像的大小为C×H×W，其中C,H,W分别为所述2D图像的张数以及所述2D图像的高和宽，所述对3D图像进行分层包括：将所述3D图像拆分为K个3D子图像，Ci＝C/K，其中K为大于1的自然数，所述3D子图像中含有Ci×H×W个像素。在本公开的一种示例性实施例中，所述对所述3D子图像进行层内聚类包括：将所述3D子图像在高和宽方向划分为LxM个网格，其中L和M为大于1的自然数；将所述LxM个网格作为初始值，采用超像素算法进行聚类。在本公开的一种示例性实施例中，将所述超像素网格输入到深度神经网络中进行检测时采用第一分类器进行检测。在本公开的一种示例性实施例中，对含有目标的超像素网格聚类前的所述3D子图像进行检测时采用第二分类器进行检测，所述第二分类器的精度大于所述第一分类器的精度。根据本公开的第二方面，还提供一种3D图像检测装置，包括：分层模块，配置为对3D图像进行分层，得到至少一个3D子图像，其中所述3D子图像包含多张2D图像；聚类模块，配置为对所述3D子图像进行层内聚类，得到超像素网格；粗检测模块，配置为将所述超像素网格输入到深度神经网络中进行检测；精细检测模块，配置为当在所述超像素网格中检测到目标时，对含有目标的超像素网格聚类前的所述3D子图像进行检测，得到并输出检测结果。在本公开的一种示例性实施例中，所述3D图像的大小为C×H×W，其中C,H,W分别为所述2D图像的张数以及所述2D图像的高和宽，所述对3D图像进行分层包括：将所述3D图像拆分为K个3D子图像，Ci＝C/K，所述3D子图像中含有Ci×H×W个像素，其中Ci和K为大于1的自然数。在本公开的一种示例性实施例中，所述粗检测模块利用第一分类器对所述超像素网格进行检测，所述精细检测模块利用第二分类器对含有目标的超像素网格聚类前的所述3D子图像进行检测，其中所述第二分类器的精度大于所述第一分类器的精度。根据本公开的第三方面，还提供一种电子设备，包括：处理器；存储器，存储用于所述处理器控制以上所述的方法步骤。根据本公开的第四方面，还提供一种计算机可读介质，其上存储有计算机可执行指令，所述可执行指令被处理器执行时实现以上所述的方法步骤。本公开的某些实施例的3D图像检测方法、装置、电子设备及计算机可读介质，通过对3D图像进行分层和聚类，并对聚类得到的超像素网格先进行分层检测，如果存在目标则再进一步做精细检测，这样可以降低对系统运算能力的需求，不仅占用内存小，而且训练简单，运行时间也较短。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出本公开一实施例中提供的一种3D图像检测方法的示意图。图2示出本公开一实施例中步骤S12的示意图。图3示出本公开另一实施例中提供的一种3D图像检测装置的示意图。图4示出本公开再一实施例中提供的电子设备的计算机系统的结构示意图。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免喧宾夺主而使得本公开的各方面变得模糊。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。如果将深度学习技术直接应用在三维图像的处理上，会存在以下问题：首先，不同于二维图像，三维图像在判读病灶的时候一般需要考虑相邻多张图像的信息。在利用深度学习模型对病灶进行判断的时候，最直接的方法是将三维图像直接输入到网络，实施端到端(end-to-end)的训练过程。假设CT数据的切片数为100，在图像的高和宽保持不变的情况下，CT数据的像素个数是二维图像的100倍，所使用的GPU显存数量也要远远大于同样大小的二维图像。因此对于三维图像而言，采用深度学习技术进行训练的内存使用量太大，训练模型的大小受制于GPU显存的大小，很难使用复杂度较高的模型。其次，输入到网络后训练较为困难，在连接数较大的情况下，训练过程会增加时间，且加大收敛到局部极值的难度。基于上述，需要提供一种新的方法能够将深度学习技术在三维图像的处理上得到更好的应用。图1示出本公开一实施例中提供的一种3D图像检测方法的示意图，该方法适用于对医疗诊断过程中所涉及的医疗图像数据，特别是3D医疗图像。如图1所示，在步骤S11中，对3D图像进行分层，得到至少一个3本文档来自技高网...

【技术保护点】
一种3D图像检测方法，其特征在于，包括：对3D图像进行分层，得到至少一个3D子图像，其中所述3D子图像包含多张2D图像；对所述3D子图像进行层内聚类，得到超像素网格；将所述超像素网格输入到深度神经网络中进行检测；如果在所述超像素网格中检测到目标，则对含有目标的超像素网格聚类前的所述3D子图像进行检测，得到并输出检测结果。

【技术特征摘要】
1.一种3D图像检测方法，其特征在于，包括：对3D图像进行分层，得到至少一个3D子图像，其中所述3D子图像包含多张2D图像；对所述3D子图像进行层内聚类，得到超像素网格；将所述超像素网格输入到深度神经网络中进行检测；如果在所述超像素网格中检测到目标，则对含有目标的超像素网格聚类前的所述3D子图像进行检测，得到并输出检测结果。2.根据权利要求1所述的3D图像检测方法，其特征在于，所述3D图像的大小为C×H×W，其中C,H,W分别为所述2D图像的张数以及所述2D图像的高和宽，所述对3D图像进行分层包括：将所述3D图像拆分为K个3D子图像，Ci＝C/K，所述3D子图像中含有Ci×H×W个像素，其中Ci和K为大于1的自然数。3.根据权利要求2所述的3D图像检测方法，其特征在于，所述对所述3D子图像进行层内聚类包括：将所述3D子图像在高和宽方向划分为LxM个网格，其中L和M为大于1的自然数；将所述LxM个网格作为初始值，采用超像素算法进行聚类。4.根据权利要求1所述的3D图像检测方法，其特征在于，将所述超像素网格输入到深度神经网络中进行检测时采用第一分类器进行检测。5.根据权利要求4所述的3D图像检测方法，其特征在于，对含有目标的超像素网格聚类前的所述3D子图像进行检测时采用第二分类器进行检测，所述第二分类器的精度大于所述第一分类器的精度。6.一种3D图像检测装...

【专利技术属性】
技术研发人员：李正龙，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：北京,11