图像处理方法技术

技术编号:39507034 阅读:4 留言:0更新日期:2023-11-25 18:41
本申请公开了一种图像处理方法

【技术实现步骤摘要】
图像处理方法、电子设备及存储介质


[0001]本申请涉及图像处理领域,具体而言,涉及一种图像处理方法

电子设备及存储介质


技术介绍

[0002]随着科技的飞速发展,针对图像的处理技术也越来越多地应用到了生活领域中,例如医学领域和教学领域

现有技术中的图像处理方法,在对图像的目标部位进行处理时,仅仅只是对图像的目标部位图像进行特征提取,然后对提取到的特征进行识别,得到识别结果,而当图像的清晰度较低时,提取到的特征的准确度就会较低,进而会导致对图像中的目标部位进行识别的识别准确率低

[0003]针对上述的问题,目前尚未提出有效的解决方案


技术实现思路

[0004]本申请实施例提供了一种图像处理方法

电子设备及存储介质,以至少解决相关技术中对待监测图像进行识别的识别准确率低的技术问题

[0005]根据本申请实施例的一个方面,提供了一种图像处理方法,包括:获取多张图像,其中,图像的显示内容至少包含待监测对象的目标部位的监测区域;对图像进行语义分割,得到图像中监测区域的第一区域特征;基于预先构建的多个原型和第一区域特征之间的依赖关系,确定监测区域的第二区域特征,其中,不同原型用于表征不同类型的监测区域;基于第一区域特征和第二区域特征识别监测区域的特征信息,确定监测区域的识别结果

[0006]根据本申请实施例的另一方面,还提供了一种图像处理方法,包括:响应作用于操作界面上的输入指令,在操作界面上显示多张图像,其中,图像的显示内容至少包含待监测对象的目标部位的监测区域;响应作用于操作界面上的图像处理指令,在操作界面上显示监测区域的识别结果,其中,识别结果是基于第一区域特征和第二区域特征识别监测区域的特征信息得到的,第二区域特征是基于预先构建的多个原型和第一区域特征之间的依赖关系确定的,第一区域特征是对医学图像进行语义分割得到的

[0007]根据本申请实施例的另一方面,还提供了一种图像处理方法,包括:在虚拟现实
VR
设备或增强现实
AR
设备的呈现画面上展示多张图像,其中,图像的显示内容至少包含待监测对象的目标部位的监测区域;对图像进行语义分割,得到图像中监测区域的第一区域特征;基于预先构建的多个原型和第一区域特征之间的依赖关系,确定监测区域的第二区域特征,其中,不同原型用于表征不同类型的监测区域;基于第一区域特征和第二区域特征识别监测区域的特征信息,确定监测区域的识别结果;驱动
VR
设备或
AR
设备渲染展示识别结果

[0008]根据本申请实施例的另一方面,还提供了一种图像处理方法,包括:通过调用第一接口获取多张图像,其中,第一接口包括第一参数,第一参数的参数值为多张图像,图像的显示内容至少包含待监测对象的目标部位的监测区域;对图像进行语义分割,得到图像中
监测区域的第一区域特征;基于预先构建的多个原型和第一区域特征之间的依赖关系,确定监测区域的第二区域特征,其中,不同原型用于表征不同类型的监测区域;基于第一区域特征和第二区域特征识别监测区域的特征信息,确定监测区域的识别结果;通过调用第二接口输出识别结果,其中,第二接口包括第二参数,第二参数的参数值为识别结果

[0009]根据本申请实施例的另一方面,还提供了一种图像处理装置,包括:获取模块,用于获取多张图像,其中,图像的显示内容至少包含待监测对象的目标部位的监测区域;分割模块,用于对图像进行语义分割,得到图像中监测区域的第一区域特征;第一确定模块,用于基于预先构建的多个原型和第一区域特征之间的依赖关系,确定监测区域的第二区域特征,其中,不同原型用于表征不同类型的监测区域;第二确定模块,用于基于第一区域特征和第二区域特征识别监测区域的特征信息,确定监测区域的识别结果

[0010]根据本申请实施例的另一方面,还提供了一种图像处理装置,包括:第一显示模块,用于响应作用于操作界面上的输入指令,在操作界面上显示多张图像,其中,图像的显示内容至少包含待监测对象的目标部位的监测区域;第二显示模块,用于响应作用于操作界面上的图像处理指令,在操作界面上显示监测区域的识别结果,其中,识别结果是基于第一区域特征和第二区域特征识别监测区域的特征信息得到的,第二区域特征是基于预先构建的多个原型和第一区域特征之间的依赖关系确定的,第一区域特征是对医学图像进行语义分割得到的

[0011]根据本申请实施例的另一方面,还提供了一种图像处理装置,包括:显示模块,用于在虚拟现实
VR
设备或增强现实
AR
设备的呈现画面上展示多张图像,其中,图像的显示内容至少包含待监测对象的目标部位的监测区域;分割模块,用于对图像进行语义分割,得到图像中监测区域的第一区域特征;第一确定模块,用于基于预先构建的多个原型和第一区域特征之间的依赖关系,确定监测区域的第二区域特征,其中,不同原型用于表征不同类型的监测区域;第二确定模块,用于基于第一区域特征和第二区域特征识别监测区域的特征信息,确定监测区域的识别结果;驱动模块,用于驱动
VR
设备或
AR
设备渲染展示识别结果

[0012]根据本申请实施例的另一方面,还提供了一种图像处理装置,包括:获取模块,用于通过调用第一接口获取多张图像,其中,第一接口包括第一参数,第一参数的参数值为多张图像,图像的显示内容至少包含待监测对象的目标部位的监测区域;分割模块,用于对图像进行语义分割,得到图像中监测区域的第一区域特征;第一确定模块,用于基于预先构建的多个原型和第一区域特征之间的依赖关系,确定监测区域的第二区域特征,其中,不同原型用于表征不同类型的监测区域;第二确定模块,用于基于第一区域特征和第二区域特征识别监测区域的特征信息,确定监测区域的识别结果;输出模块,用于通过调用第二接口输出识别结果,其中,第二接口包括第二参数,第二参数的参数值为识别结果

[0013]根据本申请实施例的另一方面,还提供了一种电子设备,包括:存储器,存储有可执行程序;处理器,用于运行程序,其中,程序运行时执行上述任意一项的方法

[0014]根据本申请实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的可执行程序,其中,在可执行程序运行时控制计算机可读存储介质所在设备执行上述任意一项的方法

[0015]根据本申请实施例的另一方面,还提供了一种肺结节诊断方法,包括:获取多张医学图像,其中,多张医学图像包含肺结节;对医学图像进行语义分割,得到医学图像中肺结
节的第一结节特征;基于预先构建的多个原型和第一结节特征之间的依赖关系,确定肺结节的第二结节特征,其中,不同原型用于表征不同类型的肺结节;基于第一结节特征第二结节特征对肺结节进行诊断,得到肺结节的诊断结本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.
一种图像处理方法,其特征在于,包括:获取多张图像,其中,所述图像的显示内容至少包含待监测对象的目标部位的监测区域;对所述图像进行语义分割,得到所述图像中所述监测区域的第一区域特征;基于预先构建的多个原型和所述第一区域特征之间的依赖关系,确定所述监测区域的第二区域特征,其中,不同原型用于表征不同类型的监测区域;基于所述第一区域特征和所述第二区域特征识别所述监测区域的特征信息,确定所述监测区域的识别结果
。2.
根据权利要求1所述的方法,其特征在于,对所述图像进行语义分割,得到所述图像中所述监测区域的第一区域特征,包括:对所述图像进行语义分割,得到所述图像的语义分割结果和全局特征;对所述语义分割结果和所述图像进行特征融合,得到融合特征;对所述全局特征和所述融合特征进行注意力处理,得到所述第一区域特征
。3.
根据权利要求2所述的方法,其特征在于,对所述图像进行语义分割,得到所述图像的语义分割结果和全局特征,包括:利用
U
型神经网络模型的编码器模块对所述图像进行特征提取,得到所述图像的第一图像特征;从所述
U
型神经网络模型的瓶颈层中,提取所述全局特征;利用所述
U
型神经网络模型的编码器模块,对所述第一图像特征进行解码,得到所述语义分割结果
。4.
根据权利要求2所述的方法,其特征在于,对所述语义分割结果和所述图像进行特征融合,得到融合特征,包括:分别对所述语义分割结果和所述图像进行切分,得到多个子分割结果和多个子图像;分别对所述多个子分割结果和所述多个子图像进行特征提取,得到所述多个子分割结果的子分割特征,以及所述多个子图像的子图像特征;将所述子分割特征和所述子图像特征进行融合,得到所述融合特征
。5.
根据权利要求2所述的方法,其特征在于,对所述全局特征和所述融合特征进行注意力处理,得到所述第一区域特征,包括:将所述全局特征和所述融合特征进行拼接,得到第一拼接特征;利用自注意力模型对所述第一拼接特征进行自注意力处理,得到所述第一区域特征
。6.
根据权利要求1所述的方法,其特征在于,基于预先构建的多个原型和所述第一区域特征之间的依赖关系,确定所述监测区域的第二区域特征,包括:利用交叉注意力模型对所述第一区域特征和所述多个原型进行注意力处理,得到所述第二区域特征
。7.
根据权利要求6所述的方法,其特征在于,所述方法还包括:获取所述不同监测区域的全局特征;对所述不同监测区域的全局特征进行聚类,得到多个特征集合;基于所述多个特征集合的中心特征,构建所述多个原型
。8.
根据权利要求1所述的方法,其特征在于,在基于预先构建的多个原型和所述第一区
域特征之间的依赖关系,确定所述监测区域的第二区域特征之后,所述方法还包括:从预先构建的多个原型中,确定与第二区域特征匹配成功的目标原型;对所述目标原型进行动量更新,得到更新后的区域特征;基于所述更新后的区域特征对所述多个原型进行更新
。9.

【专利技术属性】
技术研发人员:张建鹏张灵吕乐张剑锋唐禹行许敏丰郭建飞周靖人
申请(专利权)人:阿里巴巴达摩院杭州科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1