3D图像的分类方法、装置、设备及存储介质制造方法及图纸

本申请提供了一种3D图像的分类方法、装置、设备和存储介质。该方法包括：获取3D图像，3D图像包括第一维度图像信息、第二维度图像信息和第三维度图像信息；从3D图像中提取第一维度图像信息和第二维度图像信息组成的平面图像信息对应的第一图像特征；从3D图像中提取第三维度图像信息对应的第二图像特征；对第一图像特征和第二图像特征进行融合处理，得到3D图像对应的融合图像特征；根据3D图像对应的融合图像特征，确定3D图像对应的分类结果。本申请实施例提供的技术方案，能够提高对3D图像进行分类的效率以及准确率。

Classification Method, Device, Equipment and Storage Medium of 3D Image

【技术实现步骤摘要】
3D图像的分类方法、装置、设备及存储介质
本申请实施例涉及深度学习
，特别涉及一种三维(ThreeDimensions，3D)图像的分类方法、装置、设备及存储介质。
技术介绍
医学图像是指为了医疗或医学图像，对人体或人体某部分，以非侵入方式获取的内部组织影像的技术与处理过程中由医学仪器生成的图像。由于人体和人体病灶为三维结构，因此很多有效的医学图像为三维图像。目前，医生通常借助于医学图像进行病因诊断。在借助医学图像进行病因诊断的过程中，需要确定医学图像的分类结果。相关技术中，通常由医生结合自身的学识、经验等来确定医学图像的分类结果。相关技术中，通过人工方式来确定医学图像的分类结果，存在效率低下以及准确率低的问题。
技术实现思路
本申请实施例提供了一种3D图像的分类方法、装置、设备及存储介质，可用于解决相关技术中分类效率低下且准确率低的问题。一方面，本申请实施例提供了一种三维3D图像的分类方法，所述方法包括：获取3D图像，所述3D图像包括第一维度图像信息、第二维度图像信息和第三维度图像信息；从所述3D图像中提取所述第一维度图像信息和所述第二维度图像信息组成的平面图像信息对应的第一图像特征；从所述3D图像中提取所述第三维度图像信息对应的第二图像特征；对所述第一图像特征和所述第二图像特征进行融合处理，得到所述3D图像对应的融合图像特征；根据所述3D图像对应的融合图像特征，确定所述3D图像对应的分类结果。另一方面，本申请实施例提供一种3D图像的分类装置，所述装置包括：图像获取模块，用于获取3D图像，所述3D图像包括第一维度图像信息、第二维度图像信息和第三维度图像信息；第一提取模块，用于从所述3D图像中提取所述第一维度图像信息和所述第二维度图像信息组成的平面图像信息对应的第一图像特征；第二提取模块，用于从所述3D图像中提取所述第三维度图像信息对应的第二图像特征；特征融合模块，用于对所述第一图像特征和所述第二图像特征进行融合处理，得到所述3D图像对应的融合图像特征；图像分类模块，用于根据所述3D图像对应的融合图像特征，确定所述3D图像对应的分类结果。又一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述一方面所述的3D图像的分类方法。又一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述一方面所述的3D图像的分类方法。又一方面，提供了一种计算机程序产品，当该计算机程序产品被执行时，其用于执行上述一方面所述的3D图像的分类方法。本申请实施例提供的技术方案带来的有益效果至少包括：对于三维图像，通过图像分类模型分别提取第一维度图像信息和第二维度图像信息组成的平面图像信息(例如xy平面图像信息)对应的图像特征，以及第三维度图像信息(例如z方向图像信息)对应的图像特征，之后将上述提取到的两个特征进行融合，得到融合图像特征，利用该融合图像特征确定三维图像对应的分类结果，相比于相关技术中采用人工方式确定三维图像的分类结果，可以提高分类效率及准确率。附图说明图1是本申请一个实施例提供的图像分类模型的结构示意图；图2是本申请另一个实施例提供的图像分类模型的结构示意图；图3是本申请一个实施例提供的Block_S的结构示意图；图4是本申请一个实施例提供的Block_F的结构示意图；图5是本申请一个实施例提供的SlowBlock的结构示意图；图6是本申请一个实施例提供的FastBlock的结构示意图；图7是本申请一个实施例提供的3D图像的分类方法的流程图；图8是本申请一个实施例提供的3D图像的分类方法的流程图；图9是本申请一个实施例提供的图像分类模型的训练过程的流程图；图10是本申请一个实施例提供的3D图像的分类装置的框图；图11是本申请一个实施例提供的计算机设备的框图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。请参考图1，其示出了本申请一个实施例提供的图像分类模型的示意图。该图像分类模型10包括第一子网络11、第二子网络12、特征融合网络13和分类器14。第一子网络11用于从3D图像中提取第一维度图像信息和第二维度图像信息组成的平面图像信息对应的第一图像特征。具体地，第一子网络11通过如下步骤提取第一图像特征：对3D图像中的第三维度图像信息进行压缩处理，得到第一处理结果；对第一处理结果进行通道扩充，得到第二处理结果；为第二处理结果中的至少一个区域的图像信息设置权重，得到第三处理结果，至少一个区域是第一维度和第二维度组成的平面中的区域；对第三处理结果进行特征提取，得到第一图像特征。该第一子网络11也可以称之为慢分支。结合参考图2，第一子网络11包括卷积(Convolution)层1、批归一化(BatchNormalize，BN)层1，由上述两层网络结构实现上述对3D图像中的第三维度图像信息进行压缩处理，得到第一处理结果的步骤。第一子网络11还包括卷积层2、批归一化层2、激活(RectifiedLinearUnits，Relu)层1和池化(Pooling)层1，由上述四层网络结构实现对第一处理结果进行通道扩充，得到第二处理结果的步骤。其中，激活层用于进行非线性激活处理；池化层用于进行最大值池化处理。第一子网络11还包括Block_S层(包括Block_s1、Block_s2、Block_s3、Block_s4和Block_s5)，由该Block_S层实现上述为第二处理结果中的至少一个区域的图像信息设置权重，得到第三处理结果；对第三处理结果进行特征提取，得到第一图像特征的步骤。第一子网络还包括池化层2，该池化层2用于进行平均池化处理。结合参考图3，其示出了本申请一个实施例提供的Block_S层的结构示意图。在一个示例中，Block_S层包括卷积层4、批归一化层4、激活层3、卷积层5、批归一化层5、卷积层6、批归一化层6、SlowBlock1、卷积层7、批归一化层7、激活层4、卷积层8、批归一化层8和SlowBlock2。其中，批归一化层5的输出数据经过下采样后输入卷积层6，最后由批归一化层6输入SlowBlock1；此外，批归一化层5的输出数据不经过下采样直接输入SlowBlock1。另外，SlowBlock1和SlowBlock2用于实现上述为第二处理结果中的至少一个区域的图像信息设置权重，得到第三处理结果的步骤。结合参考图5，其示出了本申请一个实施例提供的SlowBlock(SlowBlock1或SlowBlock2)的结构示意图。在一个示例中，SlowBlock包括残差(Residual)神经网络1、池化层3、全连接层(fullyconnected，FC)2、激活层5、全连接层3、归一化层1以及缩放(Scale)层1。上述各个层的连接顺序参考图5。其中，残差神经网络1的输出数据输入至池化层3，经过一系列处理后输入至缩放层1，此外，残差神经本文档来自技高网...

【技术保护点】
1.一种三维3D图像的分类方法，其特征在于，所述方法包括：获取3D图像，所述3D图像包括第一维度图像信息、第二维度图像信息和第三维度图像信息；从所述3D图像中提取所述第一维度图像信息和所述第二维度图像信息组成的平面图像信息对应的第一图像特征；从所述3D图像中提取所述第三维度图像信息对应的第二图像特征；对所述第一图像特征和所述第二图像特征进行融合处理，得到所述3D图像对应的融合图像特征；根据所述3D图像对应的融合图像特征，确定所述3D图像对应的分类结果。

【技术特征摘要】
1.一种三维3D图像的分类方法，其特征在于，所述方法包括：获取3D图像，所述3D图像包括第一维度图像信息、第二维度图像信息和第三维度图像信息；从所述3D图像中提取所述第一维度图像信息和所述第二维度图像信息组成的平面图像信息对应的第一图像特征；从所述3D图像中提取所述第三维度图像信息对应的第二图像特征；对所述第一图像特征和所述第二图像特征进行融合处理，得到所述3D图像对应的融合图像特征；根据所述3D图像对应的融合图像特征，确定所述3D图像对应的分类结果。2.根据权利要求1所述的方法，其特征在于，所述从所述3D图像中提取所述第一维度图像信息和所述第二维度图像信息组成的平面图像信息对应的第一图像特征，包括：对所述3D图像中的所述第三维度图像信息进行压缩处理，得到第一处理结果；对所述第一处理结果进行通道扩充，得到第二处理结果；为所述第二处理结果中的至少一个区域的图像信息设置权重，得到第三处理结果，所述至少一个区域是第一维度和第二维度组成的平面中的区域；对所述第三处理结果进行特征提取，得到所述第一图像特征。3.根据权利要求1所述的方法，其特征在于，所述从所述3D图像中提取所述第三维度图像信息对应的第二图像特征，包括：对所述3D图像进行通道扩充，得到第四处理结果；为所述第四处理结果中的至少一个通道设置权重，得到第五处理结果；对所述第五处理结果进行特征提取，得到所述第二图像特征。4.根据权利要求1至3任一项所述的方法，其特征在于，所述3D图像对应的分类结果是由图像分类模型确定的，所述图像分类模型包括第一子网络、第二子网络、特征融合网络和分类器；所述第一子网络用于从所述3D图像中提取所述第一维度图像信息和所述第二维度图像信息组成的平面图像信息对应的第一图像特征；所述第二子网络用于从所述3D图像中提取所述第三维度图像信息对应的第二图像特征；所述特征融合网络用于对所述第一图像特征和所述第二图像特征进行融合处理，得到所述3D图像对应的融合图像特征；所述分类器用于根据所述3D图像对应的融合图像特征，确定所述3D图像对应的分类结果。5.根据权利要求4所述的方法，其特征在于，所述图像分类模型的训练过程如下：获取第一训练样本集，所述第一训练样本集包括至少一张样本3D图像，所述样本3D图像标注有期望分类结果；将所述样本3D图像输入初始的神经网络模型，得到实际分类结果；根据所述期望分类结果和所述实际分类结果，计算损失函数值；当所述损失函...

【专利技术属性】
技术研发人员：胡一凡，郑冶枫，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44