语义分割网络的训练方法、图像处理方法及其设备技术

本申请提供一种语义分割网络的训练方法、图像处理方法、终端设备以及计算机可读存储介质。语义分割网络包括编码网络和解码网络，解码网络包括主解码网络和辅解码网络，其中，辅解码网络包括扰动设置和解码器，训练方法包括：将训练图像集输入编码网络，训练图像集包括多张训练图像，得到训练图像的中间表示；将中间表示输入主解码网络，得到训练图像的第一标签数据；将中间表示输入扰动设置和解码器，得到训练图像的第二标签数据；利用训练图像的第一标签数据和第二标签数据获取第一损失函数，并基于第一损失函数对语义分割网络进行训练。本申请提供的技术方案有利于提高网络的精准度和鲁棒性。

【技术实现步骤摘要】
语义分割网络的训练方法、图像处理方法及其设备
本申请涉及图像处理的
，具体涉及语义分割网络、图像处理方法、终端设备以及计算机可读存储介质。
技术介绍
在医学图像处理领域，机器学习的应用已经非常广泛，尤其在内窥镜、显微镜手术图像处理领域。内窥镜、显微镜手术由于内部可操作空间较小，只能通过极为有限的视野观察操作，手术环境较为复杂，烟雾、血液、镜面反射等都会对有限的视野造成影响，因此，对语义分割的精准度有了更高的要求，现有的DeepLabV3+深度学习网络无法满足内窥镜、显微镜手术对图像处理的精准度要求。
技术实现思路
本申请提供语义分割网络的训练方法、图像处理方法、终端设备以及计算机可读存储介质。本申请采用的第一个技术方案是：提供一种语义分割网络的训练方法，语义分割网络包括编码网络和解码网络，解码网络包括主解码网络和辅解码网络，其中，辅解码网络包括扰动设置和解码器，训练方法包括：将训练图像集输入编码网络，训练图像集包括多张训练图像，得到训练图像的中间表示；将中间表示输入主解码网络，得到训练图像的第一标签数据；将中间表示输入扰动设置和解码器，得到训练图像的第二标签数据；利用训练图像的第一标签数据和第二标签数据获取第一损失函数，并基于第一损失函数对语义分割网络进行训练。可选地，扰动设置连接编码网络以及辅解码网络中的解码器；将中间表示输入扰动设置和解码器，得到训练图像的第二标签数据，包括：将中间表示输入扰动设置，生成中间表示的扰动版本，将扰动版本输入解码器，得到训练图像的第二标签数据。可选地，利用训练图像的第一标签数据和第二标签数据获取第一损失函数，包括：利用均方差损失函数计算训练图像的第一标签数据和第二标签数据之间的误差；计算所有训练图像的第一标签数据和第二标签数据之间的误差的平均数，作为第一损失函数。可选地，辅解码网络的数量为多个，每个辅解码网络包括一个对应的扰动设置；利用均方差损失函数计算训练图像的第一标签数据和第二标签数据之间的误差，包括：获取每个辅解码网络输出的训练图像的第二标签数据；利用均方差损失函数计算训练图像的第一标签数据与每个辅解码网络对应的第二标签数据之间的误差；计算训练图像的第一标签数据与所有辅解码网络对应的第二标签数据之间的误差的平均数，作为训练图像的第一标签数据和第二标签数据之间的误差。可选地，扰动设置包括F-Noise、F-Drop、GuidedMasking、IntermediateVAT以及SpatialDropout中的任意一种或几种。可选地，训练图像集包括第一图像和带有第三标签数据的第二图像；将训练图像集输入编码网络之前，包括：利用第二图像训练语义分割网络；基于第一损失函数对语义分割网络进行训练，包括：利用第二图像的第一标签数据和第三标签数据获取第二损失函数；利用第二损失函数和第一损失函数构成第三损失函数；以减小第三损失函数为目的，对语义分割网络进行训练。可选地，利用第二图像的第一标签数据和第三标签数据获取第二损失函数，包括：利用交叉熵损失函数计算第二图像的第一标签数据和第三标签数据之间的误差；计算所有第二图像的第一标签数据和第三标签数据之间的误差的平均数，作为第二损失函数。可选地，将训练图像集输入编码网络之前，包括：利用泊松图像编辑算法对训练图像集进行预处理。本申请采用的第二个技术方案是：提供一种图像处理方法，包括获取外科手术中的手术图像；利用语义分割网络对手术图像进行处理，语义分割网络通过上述的任一训练方法训练得到；基于语义分割网络对手术图像的处理结果，得到外科手术中所使用的手术器械的位置信息。本申请采用的第三个技术方案是：提供一种终端设备，终端设备包括处理器和存储器；存储器中存储有计算机程序，处理器用于执行计算机程序以实现上述训练方法和/或上述图像处理方法的步骤。本申请采用的第四个技术方案是：提供一种计算机存储介质，计算机存储介质存储有计算机程序，计算机程序被执行时实现上述训练方法和/或图像处理方法的步骤。本申请的有益效果是：本申请中，语义分割网络包括编码网络和解码网络，解码网络包括主解码网络和辅解码网络，其中，辅解码网络包括扰动设置和解码器，训练方法包括：将训练图像集输入编码网络，训练图像集包括多张训练图像，得到训练图像的中间表示；将中间表示输入主解码网络，得到训练图像的第一标签数据；将中间表示输入扰动设置和解码器，得到训练图像的第二标签数据；利用训练图像的第一标签数据和第二标签数据获取第一损失函数，并基于第一损失函数对语义分割网络进行训练。本申请通过在辅解码网络中引入扰动设置，基于域自适应原理对原始的DeepLabV3+深度学习网络进行改进，有利于提高语义分割网络的精准度和鲁棒性。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请提供的语义分割网络的训练方法一实施例的流程示意图；图2是图1所示的训练方法中的语义分割网络的示意图；图3是图1所示的训练方法的另一流程示意图；图4是图1所示的训练方法的另一流程示意图；图5是图1所示的训练方法中S30的流程示意图；图6是本申请扰动设置一实施例的示意图；图7是本申请扰动设置另一实施例的示意图；图8是图1所示的训练方法中S40的流程示意图；图9是图8中S41一实施例的流程示意图；图10是图8中S43一实施例的流程示意图；图11是本申请图像处理方法一实施例的流程示意图；图12是本申请终端设备一实施例的结构示意图；图13是本申请计算机可读存储介质一实施例的结构示意图。具体实施方式下面结合附图和实施例，对本申请作进一步的详细描述。特别指出的是，以下实施例仅用于说明本申请，但不对本申请的范围进行限定。同样的，以下实施例仅为本申请的部分实施例而非全部实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了本文档来自技高网...

【技术保护点】
1.一种语义分割网络的训练方法，其特征在于，所述语义分割网络包括编码网络和解码网络，所述解码网络包括主解码网络和辅解码网络，其中，所述辅解码网络包括扰动设置和解码器，所述训练方法包括：/n将训练图像集输入所述编码网络，所述训练图像集包括多张训练图像，得到所述训练图像的中间表示；/n将所述中间表示输入所述主解码网络，得到所述训练图像的第一标签数据；/n将所述中间表示输入所述扰动设置和所述解码器，得到所述训练图像的第二标签数据；/n利用所述训练图像的所述第一标签数据和所述第二标签数据获取第一损失函数，并基于所述第一损失函数对所述语义分割网络进行训练。/n

【技术特征摘要】
1.一种语义分割网络的训练方法，其特征在于，所述语义分割网络包括编码网络和解码网络，所述解码网络包括主解码网络和辅解码网络，其中，所述辅解码网络包括扰动设置和解码器，所述训练方法包括：
将训练图像集输入所述编码网络，所述训练图像集包括多张训练图像，得到所述训练图像的中间表示；
将所述中间表示输入所述主解码网络，得到所述训练图像的第一标签数据；
将所述中间表示输入所述扰动设置和所述解码器，得到所述训练图像的第二标签数据；
利用所述训练图像的所述第一标签数据和所述第二标签数据获取第一损失函数，并基于所述第一损失函数对所述语义分割网络进行训练。


2.根据权利要求1所述的训练方法，其特征在于，所述扰动设置连接所述编码网络以及所述辅解码网络中的解码器；
所述将所述中间表示输入所述扰动设置和所述解码器，得到所述训练图像的第二标签数据，包括：
将所述中间表示输入所述扰动设置，生成所述中间表示的扰动版本，
将所述扰动版本输入所述解码器，得到所述训练图像的第二标签数据。


3.根据权利要求1所述的训练方法，其特征在于，所述利用所述训练图像的所述第一标签数据和所述第二标签数据获取第一损失函数，包括：
利用均方差损失函数计算所述训练图像的所述第一标签数据和所述第二标签数据之间的误差；
计算所有所述训练图像的所述第一标签数据和所述第二标签数据之间的误差的平均数，作为所述第一损失函数。


4.根据权利要求3所述的训练方法，其特征在于，所述辅解码网络的数量为多个，每个所述辅解码网络包括一个对应的扰动设置；
所述利用均方差损失函数计算所述训练图像的所述第一标签数据和所述第二标签数据之间的误差，包括：
获取每个所述辅解码网络输出的所述训练图像的第二标签数据；
利用均方差损失函数计算所述训练图像的所述第一标签数据与每个所述辅解码网络对应的第二标签数据之间的误差；
计算所述训练图像的所述第一标签数据与所有所述辅解码网络对应的所述第二标签数据之间的误差的平均数，作为所述训练图像的所述第一标签数据和所述第二标签数据之间的误差。


5.根据权利要求4所述的训练方法，其特征在于...

【专利技术属性】
技术研发人员：贾富仓，陈宏宇，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东;44