一种图像分类方法、装置、终端设备和存储介质制造方法及图纸

技术编号:28040319 阅读:25 留言:0更新日期:2021-04-09 23:23
本申请涉及图像处理技术领域,提出一种图像分类方法、装置、终端设备及计算机存储介质。本申请在获取待分类图像后,会将该待分类图像输入一个分类网络以获得对应的显著性图像以及一个类别预测结果,该显著性图像标注出待分类图像中各个位置的显著值。然后,根据该显著图对该待分类图像进行图像变形处理,从而获得将图像中的目标位置放大的变形图像。接着,采用另一个分类网络对该变形图像进行识别,得到另一个类别预测结果,最后结合两个类别预测结果获得最终的图像分类结果。通过这样设置,能够提高图像分类的准确性。

【技术实现步骤摘要】
一种图像分类方法、装置、终端设备和存储介质
本申请涉及图像处理
,尤其涉及一种图像分类方法、装置、终端设备和存储介质。
技术介绍
胶囊内窥镜是一种做成胶囊形状的内窥镜,用于窥探人体肠胃和食道等部位的健康状态,帮助医生对患者进行精确的病患诊断。目前,针对胶囊内窥镜图像的处理,通常是采用一个神经网络结构的图像分类模型对图像进行分类处理,以辨别正常图像或者病变图像。然而,由于现有的胶囊内窥镜数据集图像数量有限,以及病变区域特征和正常区域特征之间较难区分等原因,导致对胶囊内窥镜图像分类的准确性较低。
技术实现思路
有鉴于此,本申请实施例提供了一种图像分类方法、装置、终端设备和存储介质,能够提高图像分类的准确性。本申请实施例的第一方面提供了一种图像分类方法,包括:获取待分类图像;将所述待分类图像输入第一分类网络,得到所述待分类图像的第一类别预测结果以及所述待分类图像的显著图,所述显著图包含所述待分类图像中各个位置的显著值;根据所述显著图对所述待分类图像执行图像变形处理,得到将所述待分类图像中的目标位置放大的变形图像,其中,所述目标位置为所述待分类图像中显著值大于指定数值的位置;将所述变形图像输入第二分类网络,得到所述待分类图像的第二类别预测结果;根据所述第一类别预测结果和所述第二类别预测结果确定所述待分类图像的分类结果。本申请实施例在获取待分类图像后,会将该待分类图像输入一个分类网络以获得对应的显著性图像以及一个类别预测结果,该显著性图像标注出待分类图像中各个位置的显著值。然后,根据该显著图对该待分类图像进行图像变形处理,从而获得将图像中的目标位置放大的变形图像。接着,采用另一个分类网络对该变形图像进行识别,得到另一个类别预测结果,最后结合两个类别预测结果获得最终的图像分类结果。以病变图像的识别为例,由于病变图像中病变区域的显著值较大,因此会获得将图像中的病变区域放大的变形图像,而通过将病变区域放大,图像中的病变特征也会相应的对整幅图像的特征产生更大的贡献,故能够提高对病变图像识别的准确性。在本申请的一个实施例中,所述第一分类网络具有多个卷积模块,将所述待分类图像输入第一分类网络,得到所述待分类图像的显著图,可以包括:在将所述待分类图像输入所述第一分类网络后,通过所述多个卷积模块提取所述待分类图像的图像特征;根据所述图像特征在所述待分类图像的各个位置对应的特征值,构建得到所述待分类图像的显著图。采用卷积模块可以提取图像特征,而根据图像特征在图像中各个位置的特征值,则可以确定图像中各个位置的显著值,从而获得图像的显著图。在本申请的一个实施例中,根据所述显著图对所述待分类图像执行图像变形处理,得到将所述待分类图像中的目标位置放大的变形图像,可以包括:根据所述显著图构建所述待分类图像的采样点分布图像,其中,所述采样点分布图像记录在所述待分类图像中分布的各个采样点,所述待分类图像中每个位置的采样点分布密度和该位置的显著值成正比;根据所述采样点分布图像对所述待分类图像进行采样,得到所述变形图像。在对待分类图像进行变形时,根据图像中不同位置的显著值确定该位置的采样密度,显著值越大的目标区域,采样越密集;反之在显著值越小的一般区域,采样会非常稀疏。经过变形得到的图像会将目标区域放大,而将一般区域压缩。进一步的,根据所述显著图构建所述待分类图像的采样点分布图像,可以包括:根据所述待分类图像的尺寸生成采样点均匀分布的初始图像;基于所述显著图包含的所述待分类图像中各个位置的显著值,采用高斯分布的卷积核对所述初始图像进行卷积处理,得到所述采样点分布图像。在根据显著图构建该采样点分布图像时,首先可以根据该待分类图像的尺寸生成采样点均匀分布的一个初始图像,也即初始采样场;然后,采用高斯分布的卷积核对该均价分布的初始采样场进行卷积,其中的每个采样点会以一个和其显著值成正比的力牵引周围的采样点,因此高显著值的目标区域会以较大的力吸引周围的采样点,从而产生密集分布的采样点。反之,低显著值的区域对周围采样点的牵引力比较小,因此产生的采样点分布比较稀疏。在本申请的一个实施例中,所述图像分类方法还可以包括:根据所述第二类别预测结果计算所述第二分类网络的损失函数;根据所述第二分类网络的损失函数对所述第一分类网络的参数进行优化。两个分类网络的参数都是可以训练和优化的,可以采用端到端的方式进行训练。如果第一分类网络生成的显著图不准确,则会到至第二分类网络输入的图像达不到期望的形变,从而导致第二分类网络的识别精度低,产生较大的损失函数,该损失函数会产生梯度反向传播到第一分类网络,对第一分类网络的参数进行纠正和优化。在本申请的一个实施例中,所述图像分类方法还可以包括:根据所述第一类别预测结果计算所述第一分类网络的损失函数;根据所述第一分类网络的损失函数对所述第二分类网络的参数进行优化。在获得第一类别预测结果后,可以根据该第一类别预测结果计算得到该第一分类网络的损失函数,然后采用梯度反向传播的方式,结合第一分类网络的损失函数对第二分类网络的参数进行纠正和优化,从而提升第二分类网络的性能。在本申请的一个实施例中,所述第一类别预测结果包含预设的多个图像类别中每个图像类别的概率预测值,所述第二类别预测结果同样包含所述多个图像类别中每个图像类别的概率预测值,根据所述第一类别预测结果和所述第二类别预测结果确定所述待分类图像的分类结果,可以包括:对于所述多个图像类别中的每个图像类别,分别计算该图像类别在所述第一类别预测结果中的概率预测值和该图像类别在所述第二类别预测结果中的概率预测值的平均值,得到所述多个图像类别中每个图像类别的目标概率预测值;将所述多个图像类别中所述目标概率预测值最大的图像类别确定为所述待分类图像的分类结果。例如一共有K个图像类别,则会输出K维的分布,也即K个图像类别分别对应的概率预测值,第一分类网络和第二分类网络各自获得K维概率分布的输出。然后,对于每个图像类别,分别计算其在第一分类网络中获得的概率预测值和在第二分类网络中获得的概率预测值的平均值,从而得到每个图像类别对应的目标概率预测值,最后将这些图像类别中该目标概率预测值最大的图像类别确定为该待分类图像的最终分类结果。本申请实施例的第二方面提供了一种图像分类装置,包括:图像获取模块,用于获取待分类图像;第一图像分类模块,用于将所述待分类图像输入第一分类网络,得到所述待分类图像的第一类别预测结果以及所述待分类图像的显著图,所述显著图包含所述待分类图像中各个位置的显著值;图像变形处理模块,用于根据所述显著图对所述待分类图像执行图像变形处理,得到将所述待分类图像中的目标位置放大的变形图像,其中,所述目标位置为所述待分类图像中显著值大于指定数值的位置;第二图像分类模块,用于将所述变形图像输入第二分类网络,得到所述待分类图像的第二类本文档来自技高网...

【技术保护点】
1.一种图像分类方法,其特征在于,包括:/n获取待分类图像;/n将所述待分类图像输入第一分类网络,得到所述待分类图像的第一类别预测结果以及所述待分类图像的显著图,所述显著图包含所述待分类图像中各个位置的显著值;/n根据所述显著图对所述待分类图像执行图像变形处理,得到将所述待分类图像中的目标位置放大的变形图像,其中,所述目标位置为所述待分类图像中显著值大于指定数值的位置;/n将所述变形图像输入第二分类网络,得到所述待分类图像的第二类别预测结果;/n根据所述第一类别预测结果和所述第二类别预测结果确定所述待分类图像的分类结果。/n

【技术特征摘要】
1.一种图像分类方法,其特征在于,包括:
获取待分类图像;
将所述待分类图像输入第一分类网络,得到所述待分类图像的第一类别预测结果以及所述待分类图像的显著图,所述显著图包含所述待分类图像中各个位置的显著值;
根据所述显著图对所述待分类图像执行图像变形处理,得到将所述待分类图像中的目标位置放大的变形图像,其中,所述目标位置为所述待分类图像中显著值大于指定数值的位置;
将所述变形图像输入第二分类网络,得到所述待分类图像的第二类别预测结果;
根据所述第一类别预测结果和所述第二类别预测结果确定所述待分类图像的分类结果。


2.如权利要求1所述的图像分类方法,其特征在于,所述第一分类网络具有多个卷积模块,将所述待分类图像输入第一分类网络,得到所述待分类图像的显著图,包括:
在将所述待分类图像输入所述第一分类网络后,通过所述多个卷积模块提取所述待分类图像的图像特征;
根据所述图像特征在所述待分类图像的各个位置对应的特征值,构建得到所述待分类图像的显著图。


3.如权利要求1所述的图像分类方法,其特征在于,根据所述显著图对所述待分类图像执行图像变形处理,得到将所述待分类图像中的目标位置放大的变形图像,包括:
根据所述显著图构建所述待分类图像的采样点分布图像,其中,所述采样点分布图像记录在所述待分类图像中分布的各个采样点,所述待分类图像中每个位置的采样点分布密度和该位置的显著值成正比;
根据所述采样点分布图像对所述待分类图像进行采样,得到所述变形图像。


4.如权利要求3所述的图像分类方法,其特征在于,根据所述显著图构建所述待分类图像的采样点分布图像,包括:
根据所述待分类图像的尺寸生成采样点均匀分布的初始图像;
基于所述显著图包含的所述待分类图像中各个位置的显著值,采用高斯分布的卷积核对所述初始图像进行卷积处理,得到所述采样点分布图像。


5.如权利要求1所述的图像分类方法,其特征在于,还包括:
根据所述第二类别预测结果计算所述第二分类网络的损失函数;
根据所述第二分类网络的损失函数对所述第一分类网络的参数进行优化。

【专利技术属性】
技术研发人员:孟庆虎邢小涵
申请(专利权)人:香港中文大学深圳研究院
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1