一种图像处理方法、装置、设备及存储介质制造方法及图纸

本公开提供了一种图像处理方法、装置、设备及存储介质，通过将待处理图像输入分类推理模型的全局子模型，得到第一目标特征图；通过所述第一目标特征图进行预处理得到所述待处理图像内异常特征的感兴趣区域；将所述异常特征的感兴趣区域输入分类推理模型的局部子模型，得到第二目标特征图；将所述第一初始特征图和第二目标特征图输入分类推理模型的融合子模型，得到所述待处理图像内异常特征的预测结果值，本实施例适用于不同模态的医学影像，利用弱监督学习方法就可以实现对医学影像的分类识别，大幅度降低了人工标注成本，提高了分类识别精度，并在分类过程中对分类依据的感兴趣区域进行预测。兴趣区域进行预测。兴趣区域进行预测。

【技术实现步骤摘要】
一种图像处理方法、装置、设备及存储介质


[0001]本公开涉及医学图像
，尤其涉及一种图像处理方法、装置、设备及存储介质。

技术介绍

[0002]随着医学影像技术的不断发展，人工智能水平的不断进步，人工智能和医学影像的结合越来越深，通过人工智能算法的医学影像处理技术得到飞跃发展，可以实现对医学图像的精准检测分类识别、脏器分割以及异常识别等。
[0003]在现有技术中，通过深度学习方法对医学图像进行处理，依赖于训练数据的标注标签，且大多数的深度学习训练都依赖像素级的标注标签来做监督学习，极大的增加了标注成本。尤其针对类似CT图像中的小叶间隔增厚、间质性肺炎以及伪影这类异常特征存在的检测分类识别，通过检测框标注、像素级分割标注等方式都较难对问题进行清晰刻画，且标注成本很大，针对这类问题如果采用图像级标注，基于弱监督学习方法同样可以得到较好的结果。
[0004]但是，目前的基于弱监督学习对医学影像处理技术中存在明显问题：一类是没有完全依赖图像级标注标签，在训练中部分依赖像素级标注标签；第二是未考虑到医学影像与自然图像的明显差异性，由于在医学影像中要进行检测、分割和分类的目标区域在整幅医学影像中的占比可能较明显，也可能占比很小，因此单纯通过整幅医学影像的全局信息作为训练依据，不能得到较高准确率的检测、分割以及分类精度。

技术实现思路

[0005]本公开提供了一种图像处理方法、装置、设备及存储介质，以至少解决现有技术中存在的以上技术问题。
[0006]根据本公开的第一方面，提供了一种图像处理方法，包括：
[0007]将待处理图像输入分类推理模型的全局子模型，得到第一目标特征图，其中，所述全局子模型内包含第一特征提取骨干网络，用于得到第一初始特征图，通过所述第一初始特征图得到所述第一目标特征图；
[0008]通过所述第一目标特征图进行预处理得到所述待处理图像内异常特征的感兴趣区域；
[0009]将所述异常特征的感兴趣区域输入分类推理模型的局部子模型，得到第二目标特征图；
[0010]将所述第一初始特征图和第二目标特征图输入分类推理模型的融合子模型，得到所述待处理图像内异常特征的预测结果值。
[0011]在一可实施方式中，所述将待处理图像输入分类推理模型的全局子模型，得到第一目标特征图，包括：
[0012]将所述待处理图像输入所述全局子模型内的第一特征提取骨干网络，得到第一初
始特征图，其中，所述第一特征提取骨干网络为含有轻量化参数的网络；
[0013]将所述第一初始特征图输入所述全局子模型内的卷积层和第一sigmoid函数得到所述第一目标特征图。
[0014]在一可实施方式中，通过所述第一目标特征图进行预处理得到所述待处理图像内异常特征的感兴趣区域，包括：
[0015]将所述第一目标特征图进行归一化处理，得到处理后的第一目标特征图；
[0016]通过图像框在所述处理后的第一目标特征图上以预设步长遍历预设次数，得到至少一个目标初始子图像；
[0017]通过所述处理后的第一目标特征图和所述待处理图像之间的映射关系，根据所述至少一个目标初始子图像在所述待处理图像上进行截取，得到所述异常特征的感兴趣区域。
[0018]在一可实施方式中，所述通过图像框在所述第一目标特征图上以预设步长遍历预设次数，得到至少一个目标初始子图像，包括：
[0019]通过预设大小的图像框，在所述第一目标特征图上以预设步长遍历预设次数；
[0020]在每次遍历所述第一目标特征图的过程中，得到多个第一特征子图，计算各个第一特征子图内所有像素点的像素值的加和值，获取加和值最大的第一特征子图作为每次遍历的目标初始子图像，并将所述目标初始子图像内的像素值设置为预设值。
[0021]在一可实施方式中，所述将所述异常特征的感兴趣区域输入分类推理模型的局部子模型，得到第二目标特征图，包括：
[0022]将所述异常特征的感兴趣区域输入所述局部子模型内的第二特征提取骨干网络，得到第二初始特征图；
[0023]通过门控注意力网络对所述第二初始特征图进行处理，得到所述第二目标特征图。
[0024]在一可实施方式中，所述将所述第一初始特征图和第二目标特征图输入分类推理模型的融合子模型，得到所述待处理图像内异常特征的预测结果值，包括：
[0025]通过所述融合子模型内的池化层将所述第一初始特征图进行池化处理，得到处理后的第一初始特征图；
[0026]将所述处理后的第一初始特征图和第二目标特征图进行连接操作，并输入所述融合子模型内的全连接层和第二sigmoid函数，得到所述待处理图像内异常特征的预测结果值。
[0027]在一可实施方式中，在所述将待处理图像输入分类推理模型的全局子模型之前，还包括：
[0028]将训练初始图像标记图像级的标注标签，得到标记后的训练初始图像；
[0029]将标记后的训练初始图像进行图像增强处理，得到训练目标图像；
[0030]通过所述训练目标图像训练初始分类推理模型，得到所述分类推理模型。
[0031]根据本公开的第二方面，提供了一种图像处理装置，所述装置包括：
[0032]第一获取模块，用于将待处理图像输入分类推理模型的全局子模型，得到第一目标特征图，其中，所述全局子模型内包含第一特征提取骨干网络，用于得到第一初始特征图，通过所述第一初始特征图得到所述第一目标特征图；
[0033]区域获取模块，用于通过所述第一目标特征图进行预处理得到所述待处理图像内异常特征的感兴趣区域；
[0034]第二获取模块，用于将所述异常特征的感兴趣区域输入分类推理模型的局部子模型，得到第二目标特征图；
[0035]结果预测模块，用于将所述第一初始特征图和第二目标特征图输入分类推理模型的融合子模型，得到所述待处理图像内异常特征的预测结果值。
[0036]在一可实施方式中，所述第一获取模块，具体用于：
[0037]将所述待处理图像输入所述全局子模型内的第一特征提取骨干网络，得到第一初始特征图，其中，所述第一特征提取骨干网络为含有轻量化参数的网络；
[0038]将所述第一初始特征图输入所述全局子模型内的卷积层和第一sigmoid函数得到所述第一目标特征图。
[0039]在一可实施方式中，区域获取模块，具体用于：
[0040]将所述第一目标特征图进行归一化处理，得到处理后的第一目标特征图；
[0041]通过图像框在所述处理后的第一目标特征图上以预设步长遍历预设次数，得到至少一个目标初始子图像；
[0042]通过所述处理后的第一目标特征图和所述待处理图像之间的映射关系，根据所述至少一个目标初始子图像在所述待处理图像上进行截取，得到所述异常特征的感兴趣区域。
[0043]在一可实施方式中，区域获取模块，具体用于：
[0044]通过预设大小的图像框，在所述第一目标特征图上以预设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：将待处理图像输入分类推理模型的全局子模型，得到第一目标特征图，其中，所述全局子模型内包含第一特征提取骨干网络，用于得到第一初始特征图，通过所述第一初始特征图得到所述第一目标特征图；通过所述第一目标特征图进行预处理得到所述待处理图像内异常特征的感兴趣区域；将所述异常特征的感兴趣区域输入分类推理模型的局部子模型，得到第二目标特征图；将所述第一初始特征图和第二目标特征图输入分类推理模型的融合子模型，得到所述待处理图像内异常特征的预测结果值。2.根据权利要求1所述的方法，其特征在于，所述将待处理图像输入分类推理模型的全局子模型，得到第一目标特征图，包括：将所述待处理图像输入所述全局子模型内的第一特征提取骨干网络，得到第一初始特征图，其中，所述第一特征提取骨干网络为含有轻量化参数的网络；将所述第一初始特征图输入所述全局子模型内的卷积层和第一sigmoid函数得到所述第一目标特征图。3.根据权利要求2所述的方法，其特征在于，通过所述第一目标特征图进行预处理得到所述待处理图像内异常特征的感兴趣区域，包括：将所述第一目标特征图进行归一化处理，得到处理后的第一目标特征图；通过图像框在所述处理后的第一目标特征图上以预设步长遍历预设次数，得到至少一个目标初始子图像；通过所述处理后的第一目标特征图和所述待处理图像之间的映射关系，根据所述至少一个目标初始子图像在所述待处理图像上进行截取，得到所述异常特征的感兴趣区域。4.根据权利要求3所述的方法，其特征在于，所述通过图像框在所述第一目标特征图上以预设步长遍历预设次数，得到至少一个目标初始子图像，包括：通过预设大小的图像框，在所述第一目标特征图上以预设步长遍历预设次数；在每次遍历所述第一目标特征图的过程中，得到多个第一特征子图，计算各个第一特征子图内所有像素点的像素值的加和值，获取加和值最大的第一特征子图作为每次遍历的目标初始子图像，并将所述目标初始子图像内的像素值设置为预设值。5.根据权利要求4所述的方法，其特征在于，所述将所述异常特征的感兴趣区域输入分类推理模型的局部子模型，得到第二目标特征图，包括：将所述异常特征的感兴趣区域输入所述局部...

【专利技术属性】
技术研发人员：于灏，高飞，张佳琦，丁佳，吕晨翀，
申请(专利权)人：北京医准智能科技有限公司，
类型：发明
国别省市：