一种多任务图像分割方法技术

本发明专利技术公开了一种多任务图像分割方法

【技术实现步骤摘要】
一种多任务图像分割方法、系统、计算机设备和存储介质


[0001]本专利技术涉及图像处理
，尤其涉及一种多任务图像分割方法
、
系统
、
计算机设备和存储介质
。

技术介绍

[0002]癌症是全球各国面临的重要公共卫生问题，建立更加便捷的辅助诊断系统可以帮助医生更准确地进行诊断和治疗，从而提高治愈率和生存率，并减轻经济负担和社会负担
。
此外，防御和早期筛查诊断也是预防和控制癌症的重要措施，针对导致癌症的主要行为与环境因素，采取适当的措施来降低人们暴露于患癌的风险因素的可能性，如吸烟
、
饮食和环境污染等
。
同时，建立完善的数据统计信息系统可以及时了解癌症的流行趋势，为制定有效的干预措施提供有力支撑
。
[0003]人工智能技术在癌症筛查和诊断方面具有巨大的潜力，通过训练深度学习模型来自动分析和分类医学图像，可以更准确地检测和诊断癌症，也是提升癌症和息肉检出率，以及降低漏检率的有效手段
。
但是，内窥镜获取癌变组织成像存在图像质量差
、
干扰多
、
类间差异小
、
癌变种类多和边界模糊等问题，为图像自动分类和分割带来巨大挑战
。
[0004]虽然现在常用卷积网络已经取得了较好的分割效果，但该领域仍存在一些共性问题
。
如增加多个癌变部位的多个种类数据后，分割的最终结果在类别准确率上效果欠佳，传统语义分割只是在像素级别上分类，较难从整体特性考虑病变的类别，以及实际应用泛化性能不足等问题
。

技术实现思路

[0005]本专利技术所要解决的技术问题是针对现有技术的不足，具体提供了一种多任务图像分割方法
、
系统
、
计算机设备和存储介质，具体如下：
[0006]1)
第一方面，本专利技术提供一种多任务图像分割方法，具体技术方案如下：
[0007]构建包括多个样本图像的数据集；
[0008]构建图像分割模型，并设置图像分割模型的损失函数，其中，图像分割模型包括第一编码器
、
第二编码器
、
解码器以及融合模块；第一编码器的输入为：样本图像对应的原始嵌入序列，第一编码器的输出为：样本图像对应的第一特征图，对样本图像对应的第一特征图连续进行多次上采样后，根据最后一次上采样结果，得到样本图像对应的类别向量，并将每个上采样结果输入融合模块；第二编码器的输入为：样本图像，第二编码器的输出为：样本图像对应的第二特征图，对样本图像对应的第二特征图连续进行多次下采样后，将每个下采样结果输入融合模块；融合模块用于：将所有的上采样结果和所有的下采样结果进行融合，得到多个融合特征图；解码器的输入为：整体融合特征图，其中，整体融合特征图是对所有融合特征图进行拼接得到的，解码器的输出为样本图像对应的分割特征图；
[0009]基于数据集和损失函数，对图像分割模型进行训练，得到训练好的图像分割模型；
[0010]将待分割医学图像输入训练好的图像分割模型，得到待分割医学图像对应的分割
特征图和类别向量
。
[0011]本专利技术提供的一种多任务图像分割方法的有益效果如下：
[0012]能够有效地捕获低层空间特征和高层语义上下文信息，利用一个训练好的图像分割模型能够输出多个数据域的分割图即分割特征图，分割特征图具有更高的类别一致性，提高了模型精度和推理速度
。
[0013]在上述方案的基础上，本专利技术的一种多任务图像分割方法还可以做如下改进
。
[0014]进一步，样本图像对应的原始嵌入序列的获取过程包括：
[0015]将样本图像平均划分为多个块，将所有块进行处理，并结合相同维数的可学习位置嵌入，得到样本图像对应的原始嵌入序列
。
[0016]进一步，对样本图像对应的第一特征图连续进行多次上采样，包括：
[0017]对样本图像对应的第一特征图进行第一次上采样，得到第一次上采样结果，对第一次上采样结果进行第二次上采样，得到第二次上采样结果，对第二次上采样结果进行第三次上采样，得到第三次上采样结果，第一次上采样结果为：第一预设尺度的特征图，第二次上采样结果为：第二预设尺度的特征图，第三次上采样结果为：第三预设尺度的特征图；
[0018]对样本图像对应的第二特征图连续进行多次下采样，包括：
[0019]对样本图像对应的第二特征图进行第一次下采样，得到第一次下采样结果，对第一次下采样结果进行第二次下采样，得到第二次下采样结果，对第二次下采样结果进行第三次下采样，得到第三次下采样结果，第一次下采样结果为：第三预设尺度的特征图，第二次下采样结果为：第二预设尺度的特征图，第三次下采样结果为：第一预设尺度的特征图
。
[0020]进一步，融合模块得到多个融合特征图的过程，包括：
[0021]将第一次上采样结果和第三下采样结果进行哈达玛积运算，并经卷积运算后，得到第一中间特征，将第一次上采样结果通过第一通道注意力模块进行处理后，得到第二中间特征，将第三下采样结果通过第二通道注意力模块进行处理后，得到第三中间特征，将第一中间特征
、
第二中间特征和第三中间特征进行拼接后，得到第一融合特征图，直至对第二次上采样结果和第二下采样结果进行处理，得到第二融合特征图，以及对第三次上采样结果和第一下采样结果进行处理，得到第三融合特征图
。
[0022]进一步，第一编码器为
Transformer
编码器，第二编码器为
U
‑
Net
编码器，解码器为
U
‑
Net
解码器
。
[0023]进一步，样本图像为医学样本图像
。
[0024]2)
第二方面，本专利技术还提供一种多任务图像分割系统，具体技术方案如下：
[0025]包括第一构建模块
、
第二构建模块
、
训练模块和分割模块；
[0026]第一构建模块用于：构建包括多个样本图像的数据集；
[0027]第二构建模块用于：构建图像分割模型，并设置图像分割模型的损失函数，其中，图像分割模型包括第一编码器
、
第二编码器
、
解码器以及融合模块；第一编码器的输入为：样本图像对应的原始嵌入序列，第一编码器的输出为：样本图像对应的第一特征图，对样本图像对应的第一特征图连续进行多次上采样后，根据最后一次上采样结果，得到样本图像对应的类别向量，并将每个上采样结果输入融合模块；第二编码器的输入为：样本图像，第二编码器的输出为：样本图像对应的第二特征图，对样本图像对应的第二特征图连续进行多次下采样后，将每个下采样结果输入融合模块；融合模块用于：将所有的上采样结果和所
有的下采样结果进行融合，得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种多任务图像分割方法，其特征在于，包括：构建包括多个样本图像的数据集；构建图像分割模型，并设置所述图像分割模型的损失函数，其中，所述图像分割模型包括第一编码器
、
第二编码器
、
解码器以及融合模块；所述第一编码器的输入为：样本图像对应的原始嵌入序列，所述第一编码器的输出为：样本图像对应的第一特征图，对样本图像对应的第一特征图连续进行多次上采样后，根据最后一次上采样结果，得到样本图像对应的类别向量，并将每个上采样结果输入所述融合模块；所述第二编码器的输入为：样本图像，所述第二编码器的输出为：样本图像对应的第二特征图，对样本图像对应的第二特征图连续进行多次下采样后，将每个下采样结果输入所述融合模块；所述融合模块用于：将所有的上采样结果和所有的下采样结果进行融合，得到多个融合特征图；所述解码器的输入为：整体融合特征图，其中，所述整体融合特征图是对所有融合特征图进行拼接得到的，所述解码器的输出为样本图像对应的分割特征图；基于所述数据集和所述损失函数，对所述图像分割模型进行训练，得到训练好的图像分割模型；将待分割医学图像输入所述训练好的图像分割模型，得到所述待分割医学图像对应的分割特征图和类别向量
。2.
根据权利要求1所述的一种多任务图像分割方法，其特征在于，样本图像对应的原始嵌入序列的获取过程包括：将样本图像平均划分为多个块，将所有块进行处理，并结合相同维数的可学习位置嵌入，得到样本图像对应的原始嵌入序列
。3.
根据权利要求2所述的一种多任务图像分割方法，其特征在于，对样本图像对应的第一特征图连续进行多次上采样，包括：对样本图像对应的第一特征图进行第一次上采样，得到第一次上采样结果，对所述第一次上采样结果进行第二次上采样，得到第二次上采样结果，对所述第二次上采样结果进行第三次上采样，得到第三次上采样结果，所述第一次上采样结果为：第一预设尺度的特征图，所述第二次上采样结果为：第二预设尺度的特征图，所述第三次上采样结果为：第三预设尺度的特征图；对样本图像对应的第二特征图连续进行多次下采样，包括：对样本图像对应的第二特征图进行第一次下采样，得到第一次下采样结果，对所述第一次下采样结果进行第二次下采样，得到第二次下采样结果，对所述第二次下采样结果进行第三次下采样，得到第三次下采样结果，所述第一次下采样结果为：第三预设尺度的特征图，所述第二次下采样结果为：第二预设尺度的特征图，所述第三次下采样结果为：第一预设尺度的特征图
。4.
根据权利要求3所述的一种多任务图像分割方法，其特征在于，所述融合模块得到多个融合特征图的过程，包括：将所述第一次上采样结果和所述第三下采样结果进行哈达玛积运算，并经卷积运算后，得到第一中间特征，将所述第一次上采样结果通过第一通道注意力模块进行处理后，得到第二中间特征，将所述第三下采样结果通过第二通道注意力模块进行处理后，得到第三中间特征，将所述第一中间特征
、
所述第二中间特征和所述第三中间特征进行拼接后，得到
第一融合特征...

【专利技术属性】
技术研发人员：吴柯维，何晓罡，武剑，朱小平，王凤宇，徐雍宁，刘亚茹，郑修齐，
申请(专利权)人：北京卓视智通科技有限责任公司，
类型：发明
国别省市：