图像处理方法、装置、存储介质及电子设备制造方法及图纸

本公开涉及一种图像处理方法、装置、存储介质及电子设备，能够在耗费较少计算力的同时提取图像的三维特征。所述方法包括：获取与待处理图像对应的目标图像序列；将目标图像序列输入至图像分类模型，获得图像分类模型输出的图像类别，图像分类模型包括循环神经网络RNN、卷积神经网络CNN以及全连接网络；循环神经网络RNN根据目标图像序列得到第一输出数据，第一输出数据反映目标图像序列沿序列方向的图像特征；卷积神经网络CNN根据第一输出数据得到第二输出数据，第二输出数据反映目标图像序列沿图像平面以及沿序列方向的图像特征；全连接网络根据第二输出数据确定目标图像序列的图像类别；将目标图像序列的图像类别确定为待处理图像的图像类别。

Image processing method, device, storage medium and electronic equipment

【技术实现步骤摘要】
图像处理方法、装置、存储介质及电子设备
本公开涉及计算机
，具体地，涉及一种图像处理方法、装置、存储介质及电子设备。
技术介绍
目前，一般使用卷积神经网络对二维图像进行处理，例如，对图像分类。而在对三维图像进行处理时，若利用2D卷积神经网络进行图像特征提取，提取的图像特征仅能提取图像本身的特征，也就是三维图像横截面图像特征，提取出的图像特征不够全面，导致后续的图像分类不够准确。而要想得到三维图像的更准确的图像特征，还需要提取三维图像的纵截面图像特征。相关技术中，多使用3D卷积神经网络对三维图像进行处理，使用3D卷积核，提取出三维图像的三维特征，而这需要耗费极大的计算量，处理速度慢，应用受到局限。
技术实现思路
本公开的目的是提供一种图像处理方法、装置、存储介质及电子设备。为了实现上述目的，根据本公开的第一方面，提供一种图像处理方法，所述方法包括：获取与待处理图像对应的目标图像序列；将所述目标图像序列输入至图像分类模型，获得所述图像分类模型针对所述目标图像序列输出的图像类别，其中，所述图像分类模型包括循环神经网络RNN、卷积神经网络CNN以及全连接网络；所述循环神经网络RNN用于根据所述目标图像序列得到第一输出数据，所述第一输出数据能够反映所述目标图像序列沿序列方向的图像特征；所述卷积神经网络CNN用于根据所述第一输出数据得到第二输出数据，所述第二输出数据能够反映所述目标图像序列沿图像平面以及沿序列方向的图像特征；所述全连接网络用于根据所述第二输出数据确定所述目标图像序列的图像类别；将所述目标图像序列的图像类别确定为所述待处理图像的图像类别。可选地，所述循环神经网络RNN将输入的所述目标图像序列转换为第一序列数据，并根据所述第一序列数据得到所述第一输出数据，其中，所述第一序列数据包括多组数据，所述第一序列数据的数据组数的行数与为所述目标图像序列的图像数量相同，所述第一序列数据中的第N组数据对应于所述目标图像序列中的第N张图像，以及，所述第一序列数据中的第M+1组数据为第M组数据的下一状态。在所述目标图像序列的方向上，目标图像在目标图像序列的下一图像为该目标图像的下一状态。可选地，所述循环神经网络RNN用于根据所述目标图像序列、以及所述目标图像序列中各个像素点的环境信息，得到所述第一输出数据，其中，像素点的环境信息为该像素点周边预设范围内像素点的像素点信息。可选地，所述循环神经网络RNN将输入的所述目标图像序列和所述目标图像序列中各个像素点对应的环境信息转换为第二序列数据，并根据所述第二序列数据得到所述第一输出数据，其中，所述第二序列数据包括多组数据，所述第二序列数据的数据组数与所述目标图像序列的图像数量相同，所述第二序列数据中的第N组数据对应于所述目标图像序列中的第N张图像，以及，所述第二序列数据中的第M+1组数据为第M组数据的下一状态。可选地，所述图像分类模型根据多组历史图像序列、以及与各组历史图像序列对应的图像类别训练得到。可选地，所述待处理图像为三维CT图像。根据本公开的第二方面，提供一种图像处理装置，所述装置包括：获取模块，用于获取与待处理图像对应的目标图像序列；处理模块，用于将所述目标图像序列输入至图像分类模型，获得所述图像分类模型针对所述目标图像序列输出的图像类别，其中，所述图像分类模型包括循环神经网络RNN、卷积神经网络CNN以及全连接网络；所述循环神经网络RNN用于根据所述目标图像序列得到第一输出数据，所述第一输出数据能够反映所述目标图像序列沿序列方向的图像特征；所述卷积神经网络CNN用于根据所述第一输出数据得到第二输出数据，所述第二输出数据能够反映所述目标图像序列沿图像平面以及沿序列方向的图像特征；所述全连接网络用于根据所述第二输出数据确定所述目标图像序列的图像类别；确定模块，用于将所述目标图像序列的图像类别确定为所述待处理图像的图像类别。可选地，所述循环神经网络RNN将输入的所述目标图像序列转换为第一序列数据，并根据所述第一序列数据得到所述第一输出数据，其中，所述第一序列数据包括多组数据，所述第一序列数据的数据组数与所述目标图像序列的图像数量相同，所述第一序列数据中的第N组数据对应于所述目标图像序列中的第N张图像，以及，所述第一序列数据中的第M+1组数据为第M组数据的下一状态。可选地，所述循环神经网络RNN用于根据所述目标图像序列、以及所述目标图像序列中各个像素点的环境信息，得到所述第一输出数据，其中，像素点的环境信息为该像素点周边预设范围内像素点的像素点信息。可选地，所述循环神经网络RNN将输入的所述目标图像序列和所述目标图像序列中各个像素点对应的环境信息转换为第二序列数据，并根据所述第二序列数据得到所述第一输出数据，其中，所述第二序列数据包括多组数据，所述第二序列数据的数据组数与所述目标图像序列的图像数量相同，所述第二序列数据中的第N组数据对应于所述目标图像序列中的第N张图像，以及，所述第二序列数据中的第M+1组数据为第M组数据的下一状态。可选地，所述图像分类模型根据多组历史图像序列、以及与各组历史图像序列对应的图像类别训练得到。可选地，所述待处理图像为三维CT图像。根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面所述方法的步骤。根据本公开的第四方面，提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面所述方法的步骤。通过上述技术方案，获取与待处理图像对应的目标图像序列，将目标图像序列输入至图像分类模型，获得图像分类模型针对目标图像序列输出的图像类别，并将目标图像序列的图像类别确定为待处理图像的图像类别。其中，图像分类模型包括循环神经网络RNN、卷积神经网络CNN以及全连接网络。循环神经网络RNN用于根据目标图像序列得到第一输出数据，第一输出数据能够反映目标图像序列沿序列方向的图像特征。卷积神经网络CNN用于根据第一输出数据得到第二输出数据，第二输出数据能够反映目标图像序列沿图像平面以及沿序列方向的图像特征。全连接网络用于根据第二输出数据确定目标图像序列的图像类别。由此，通过循环神经网络RNN提取目标图像序列在序列方向上的图像特征后，卷积神经网络CNN基于循环神经网络RNN输出的结果进一步提取图像在图像平面的图像特征，实现了三维图像空间特征的融合，这样，输入至全连接网络的数据既包含目标图像序列在图像平面的图像特征(三维图像的横截面特征)、又包含图像序列沿图像序列方向的图像特征(三维图像的纵截面特征)，最终得到的图像类别更加贴近待处理图像，从而提升图像分类精度。本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。附图说明附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：/n获取与待处理图像对应的目标图像序列；/n将所述目标图像序列输入至图像分类模型，获得所述图像分类模型针对所述目标图像序列输出的图像类别，其中，所述图像分类模型包括循环神经网络RNN、卷积神经网络CNN以及全连接网络；所述循环神经网络RNN用于根据所述目标图像序列得到第一输出数据，所述第一输出数据能够反映所述目标图像序列沿序列方向的图像特征；所述卷积神经网络CNN用于根据所述第一输出数据得到第二输出数据，所述第二输出数据能够反映所述目标图像序列沿图像平面以及沿序列方向的图像特征；所述全连接网络用于根据所述第二输出数据确定所述目标图像序列的图像类别；/n将所述目标图像序列的图像类别确定为所述待处理图像的图像类别。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：
获取与待处理图像对应的目标图像序列；
将所述目标图像序列输入至图像分类模型，获得所述图像分类模型针对所述目标图像序列输出的图像类别，其中，所述图像分类模型包括循环神经网络RNN、卷积神经网络CNN以及全连接网络；所述循环神经网络RNN用于根据所述目标图像序列得到第一输出数据，所述第一输出数据能够反映所述目标图像序列沿序列方向的图像特征；所述卷积神经网络CNN用于根据所述第一输出数据得到第二输出数据，所述第二输出数据能够反映所述目标图像序列沿图像平面以及沿序列方向的图像特征；所述全连接网络用于根据所述第二输出数据确定所述目标图像序列的图像类别；
将所述目标图像序列的图像类别确定为所述待处理图像的图像类别。


2.根据权利要求1所述的方法，其特征在于，所述循环神经网络RNN将输入的所述目标图像序列转换为第一序列数据，并根据所述第一序列数据得到所述第一输出数据，其中，所述第一序列数据包括多组数据，所述第一序列数据的数据组数与所述目标图像序列的图像数量相同，所述第一序列数据中的第N组数据对应于所述目标图像序列中的第N张图像，以及，所述第一序列数据中的第M+1组数据为第M组数据的下一状态。


3.根据权利要求1所述的方法，其特征在于，所述循环神经网络RNN用于根据所述目标图像序列、以及所述目标图像序列中各个像素点的环境信息，得到所述第一输出数据，其中，像素点的环境信息为该像素点周边预设范围内像素点的像素点信息。


4.根据权利要求3所述的方法，其特征在于，所述循环神经网络RNN将输入的所述目标图像序列和所述目标图像序列中各个像素点对应的环境信息转换为第二序列数据，并根据所述第二序列数据得到所述第一输出数据，其中，所述第二序列数据包括多组数据，所述第二序列数据的数据组数与所述目标图像序列的图像数量相同，所述第二序列数据中的第N组数据对应于所述目标图像序列中的第N张图像，以及，所述第二序列数据中的第M+1组数据为第M组数据...

【专利技术属性】
技术研发人员：顾文剑，崔朝辉，赵立军，张霞，
申请(专利权)人：东软集团股份有限公司，
类型：发明
国别省市：辽宁;21