图像分类方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种图像分类方法、装置、电子设备及存储介质，该方法包括：获取待分类的初始图像；对所述初始图像进行分类，确定所述初始图像与各图像类别相对应的图像分类概率；基于文字提取技术提取所述初始图像中的文本信息，并基于预先建立的自然语言处理模型对所述文本信息进行处理，确定所述文本信息与所述各图像类别相对应的文字分类概率；基于所述图像分类概率和所述文字分类概率确定所述初始图像的目标图像类别。通过本发明专利技术实施例的技术方案，实现了综合考量图像信息和文字信息，提高医学图像分类准确率的技术效果。

Image classification method, device, electronic equipment and storage medium

【技术实现步骤摘要】
图像分类方法、装置、电子设备及存储介质
本专利技术实施例涉及人工智能技术，尤其涉及一种图像分类方法、装置、电子设备及存储介质。
技术介绍
目前，图像识别技术的应用较为广泛，可以较好的解决识别图像类别的问题。但是，医学图像与普通的图像具有较大差别，无论是医学图像中的医学影像图像，还是医疗器械图像，甚至是医疗场景图像在图像识别中的难度都比较大。因此，仅依靠单一的图像识别会遗漏医学图像中的部分内容，也就是会忽略掉图像中许多包含医疗元素的内容，导致医学图像类别的识别不准确的问题。
技术实现思路
本专利技术实施例提供了一种图像分类方法、装置、电子设备及存储介质，以实现提高医学图像分类准确率的技术效果。第一方面，本专利技术实施例提供了一种图像分类方法，该方法包括：获取待分类的初始图像；对所述初始图像进行分类，确定所述初始图像与各图像类别相对应的图像分类概率；基于文字提取技术提取所述初始图像中的文本信息，并基于预先建立的自然语言处理模型对所述文本信息进行处理，确定所述文本信息与所述各图像类别相对应的文字分类概率；基于所述图像分类概率和所述文字分类概率确定所述初始图像的目标图像类别。第二方面，本专利技术实施例还提供了一种图像分类装置，该装置包括：初始图像获取模块，用于获取待分类的初始图像；图像分类概率确定模块，用于对所述初始图像进行分类，确定所述初始图像与各图像类别相对应的图像分类概率；文字分类概率确定模块，用于基于文字提取技术提取所述初始图像中的文本信息，并基于预先建立的自然语言处理模型对所述文本信息进行处理，确定所述文本信息与所述各图像类别相对应的文字分类概率；目标图像类别确定模块，用于基于所述图像分类概率和所述文字分类概率确定所述初始图像的目标图像类别。第三方面，本专利技术实施例还提供了一种电子设备，所述电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术实施例任一所述的图像分类方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术实施例任一所述的图像分类方法。本专利技术实施例的技术方案，通过获取待分类的初始图像，对初始图像进行分类，确定初始图像与各图像类别相对应的图像分类概率，以根据初始图像的图像特征进行分类，进而，基于文字提取技术提取初始图像中的文本信息，并基于预先建立的自然语言处理模型对文本信息进行处理，确定文本信息与各图像类别相对应的文字分类概率，以根据初始图像的文字特征进行分类，并且，基于图像分类概率和文字分类概率确定初始图像的目标图像类别，解决了依靠单一的图像识别遗漏医学图像中的部分内容和医疗元素的问题，实现了综合考量图像信息和文字信息，提高医学图像分类准确率的技术效果。附图说明为了更加清楚地说明本专利技术示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本专利技术所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。图1为本专利技术实施例一所提供的一种图像分类方法的流程示意图；图2为本专利技术实施例二所提供的一种图像分类方法的流程示意图；图3为本专利技术实施例三所提供的一种图像分类方法的流程示意图；图4为本专利技术实施例四所提供的一种图像分类方法的流程示意图；图5为本专利技术实施例五所提供的一种图像分类方法的流程示意图；图6为本专利技术实施例六所提供的一种图像分类装置的结构示意图；图7为本专利技术实施例七所提供的一种电子设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1为本专利技术实施例一所提供的一种图像分类方法的流程示意图，本实施例可适用于对医学图像进行分类识别的情况，该方法可以由图像分类装置来执行，该装置可以通过软件和/或硬件的形式实现，该硬件可以是电子设备，可选的，电子设备可以是移动终端，PC端等。如图1所述，本实施例的方法具体包括如下步骤：S110、获取待分类的初始图像。其中，初始图像可以是任意的图像，可以是医学图像，也可以是非医学图像，也可以是视频中的图像帧。具体的，获取待分类的初始图像，以对初始图像进行后续的分类处理。例如：将图像库中存储的图像作为初始图像，将视频中的图像帧截取出来作为初始图像等。S120、对初始图像进行分类，确定初始图像与各图像类别相对应的图像分类概率。其中，图像类别可以是与医学相关的类别，例如：医疗器械，医学影像和医学场景等。图像类别还可以是更细致的图像类别，例如：具体的医疗器械种类，医学影像所对应的人体部位，具体的医学场景类别等。医疗器械图像可以是手术刀，止血钳，核磁共振仪器等医疗器械的图像。医学影像可以是通过医学影像仪器拍摄的人体部位的医学影像，例如：脑部影像，肺部影像等。医学场景可以是手术室场景，诊疗室场景或病房场景等。图像分类概率可以是对初始图像进行分类得到的与各图像类别对应的概率，举例说明，图像分类概率：类别A：10％，类别B：0，类别C：30％，类别D：60％等。需要说明的是，上述图像分类概率的示例只是用于解释说明，并非限定。具体的，可以通过图像分类识别的技术对初始图像进行分类，根据分类结果确定初始图像与各图像类别相对应的图像分类概率。需要说明的是，图像分类识别的技术可以是基于色彩特征的图像分类技术，基于纹理的图像分类技术，基于形状的图像分类技术，基于空间关系的图像分类技术等。图像分类识别的技术还可以是基于机器学习模型，深度学习模型进行图像分类的技术，例如：卷积神经网络(ConvolutionalNeuralNetworks,CNN)、K最近邻(K-NearestNeighbor，KNN)、支持向量机(SupportVectorMachine，SVM)、BP(BackPropagation，反向传播)神经网络等。S130、基于文字提取技术提取初始图像中的文本信息，并基于预先建立的自然语言处理模型对文本信息进行处理，确定文本信息与各图像类别相对应的文字分类概率。其中，文本信息可以是初始图像中的文字组成的信息。文字分类概率可以是基于文本信息进行处理确定的与各图像类别相对应的概率。具体的，基于文字提取技术可以提取初始图像中的文字信息，如：OCR(OpticalCharacterRecognition,光学字符识别)技术。可以将文字信息组成的信息作为文本信息。将文本信息输入自然语言处理模型中，可以对文本信息进行分词，标注和分类等处理，以得到文本信本文档来自技高网...

【技术保护点】
1.一种图像分类方法，其特征在于，包括：/n获取待分类的初始图像；/n对所述初始图像进行分类，确定所述初始图像与各图像类别相对应的图像分类概率；/n基于文字提取技术提取所述初始图像中的文本信息，并基于预先建立的自然语言处理模型对所述文本信息进行处理，确定所述文本信息与所述各图像类别相对应的文字分类概率；/n基于所述图像分类概率和所述文字分类概率确定所述初始图像的目标图像类别。/n

【技术特征摘要】
1.一种图像分类方法，其特征在于，包括：
获取待分类的初始图像；
对所述初始图像进行分类，确定所述初始图像与各图像类别相对应的图像分类概率；
基于文字提取技术提取所述初始图像中的文本信息，并基于预先建立的自然语言处理模型对所述文本信息进行处理，确定所述文本信息与所述各图像类别相对应的文字分类概率；
基于所述图像分类概率和所述文字分类概率确定所述初始图像的目标图像类别。


2.根据权利要求1所述的方法，其特征在于，所述对所述初始图像进行分类，确定所述初始图像与各图像类别相对应的图像分类概率，包括：
基于深度学习模型对所述初始图像进行粗分类，确定所述初始图像的第一类别；其中，所述第一类别包括医学图像或非医学图像；
若所述第一类别为医学图像，则基于深度学习模型对所述初始图像进行细分类，确定所述初始图像与各图像类别相对应的第一图像分类概率；
所述基于所述图像分类概率和所述文字分类概率确定所述初始图像的目标图像类别，包括：
基于所述第一图像分类概率和所述文字分类概率确定所述初始图像的目标图像类别。


3.根据权利要求1或2所述的方法，其特征在于，还包括：
基于所述初始图像进行特征提取，确定初始特征，并基于所述初始特征和预先构建的图像特征库确定所述初始图像与各图像类别相对应的第二图像分类概率；
所述基于所述图像分类概率和所述文字分类概率确定所述初始图像的目标图像类别，包括：
基于所述第二图像分类概率和所述文字分类概率确定所述初始图像的目标图像类别；或者，
基于所述第一图像分类概率，所述第二图像分类概率和所述文字分类概率确定所述初始图像的目标图像类别。


4.根据权利要求3所述的方法，其特征在于，所述基于所述初始特征和预先构建的图像特征库确定所述初始图像与各图像类别相对应的第二图像分类概率，包括：
基于所述初始特征和预先构建的与所述各图像类别相对应的图像特征库，确定所述初始特征与各所述图像特征库的特征之间的特征距离；
基于所述各图像类别以及与所述各图像类别相对应的特征距离，确定所述初始图像与所述各图像类别相对应的第二图像分类概率。


5.根据权利要求2所述的方法，其特征在于，所述基于深度学习模型对所述初始图像进行粗分类，确定所述初始图像的第一类别，包括：
获取基于深度学习模型生成的粗分类模型...

【专利技术属性】
技术研发人员：尹芳，马晶，马杰，张晓璐，肖劲，
申请(专利权)人：联仁健康医疗大数据科技股份有限公司，
类型：发明
国别省市：上海;31