【技术实现步骤摘要】
本专利技术涉及图像分割领域，并且更具体地，涉及一种基于三分支网络结构的复杂环境下语义分割方法。
技术介绍
1、在复杂环境下进行语义分割是一个挑战性的任务，因为复杂环境中通常存在多样化的物体、不同尺度的对象、光照变化、遮挡等因素，这些因素使得单一模型难以准确地捕获和分割各种对象，因此，研究如何精准分割出复杂环境下的目标物体就显得尤为重要。复杂环境下语义分割的应用领域十分广泛，如：自动驾驶与智能交通、医学图像分割、农业与农业机器人、城市规划与环境监测、工业与智能制造、环境保护与资源管理、无人机与航拍影像分析等。现有三分支网络结构使用普通卷积堆叠的方式进行特征提取，这就使得网络参数冗余且庞大复杂，导致需要较长的训练时间和更多的训练数据才能达到较好的性能；在编码阶段的每一个分支采用串行结构进行特征提取，这种串行的结构限制了信息在网络中的流动和传递，导致网络无法充分利用从图像中提取到的特征；在解码阶段由于特征重建能力低使得细节信息丢失，导致预测出的图像整体分割效果较差，边界模糊不清。对于复杂环境下语义分割，常规损失函数难以准确地表达不同尺度和对象的重要性，需要一种更具针对性的损失函数来参与网络模型的训练。在复杂环境下进行语义分割需要更精细化的语义信息，现有三分支网络结构难以确保对各种对象的精准分割。
2、公开号为cn110136141a的中国专利公开了“一种面向复杂环境的图像语义分割方法及装置”，使用vgg16卷积神经网络作为基础神经网络，其可以解决现有方法在复杂环境下分割边界模糊的缺点，产生高分辨率的预测图像。但是，vgg1
3、因此，亟待设计一种高效、准确的语义分割方法应用于复杂环境下的语义分割，解决上述现有技术存在的问题。
技术实现思路
1、针对现有技术的以上缺陷以及改进需求，本专利技术提供了一种基于三分支网络结构的复杂环境下语义分割方法，其目的在于使用三个不同的分支网络处理不同尺度、不同层级的特征，提高对复杂环境下目标物体分割的准确度。
2、为实现上述目的，本专利技术采用了如下技术方案：
3、一种基于三分支网络结构的复杂环境下语义分割方法，包括以下步骤：
4、s1.设计分割复杂环境下目标物体的基于三分支结构的语义分割网络模型；
5、所述语义分割网络模型包括编码器和解码器，所述编码器包括第一三分支网络结构和图像特征提取模块，所述解码器包括第二三分支网络结构和图像特征重建模块；
6、s2.设计损失函数，并利用损失函数训练设计好的语义分割网络模型；
7、s3.使用训练好的语义分割网络模型解析复杂环境下的目标物体，生成像素级的二进制图像。
8、进一步的，所述步骤s1中的第一三分支网络结构位于编码器的头部，第一三分支网络结构包括第一细节分支、第一上下文分支和第一边界分支，每个分支同时并行；
9、所述第一细节分支的具体操作是：将图像送入两个步距为1的卷积块进行特征提取，再进行三次卷积操作；
10、所述第一上下文分支的具体操作是：将图像送入两个步距为2的卷积块进行特征提取，再进行两次卷积操作，最后进行一次步距为2的卷积操作；
11、所述第一边界分支的具体操作是：将图像送入一个步距为1的卷积块进行特征提取，接着进行一次卷积操作，然后再送入一个步距为1的卷积块进行特征提取，最后进行两次卷积操作。
12、进一步的，所述步距为1的卷积块依次由两次卷积操作和一次relu操作组成；所述步距为2的卷积块依次由两次卷积操作、一次步距为2的卷积操作和一次relu操作组成。
13、进一步的，所述步骤s1中的图像特征提取模块位于编码器的尾部，图像特征提取模块由双分支结构组成，图像特征提取模块的具体操作如下：
14、输入经过第一三分支网络结构处理后得到的特征图；
15、第一分支将特征图依次经过一次卷积操作、一次深度可分离卷积操作和三次卷积操作；
16、第二分支将特征图依次经过两次深度可分离卷积操作、一次卷积操作、一次深度可分卷积操作和一次卷积操作后，再与经过第一三分支网络结构处理后得到的特征图进行相加融合操作；
17、将第一分支和第二分支处理后得到的特征图进行相加融合，得到经过图像特征提取模块处理后的特征图。
18、进一步的，所述步骤s1中的图像特征重建模块位于解码器的头部，图像特征重建模块用于处理经过图像特征提取模块处理后的特征图，图像特征重建模块的具体操作如下：
19、首先将特征图依次进行一次卷积操作、归一化操作和relu操作；
20、然后将经过relu操作后的特征图依次进行一次全局平均池化操作、一次卷积操作和一次sigmoid操作；
21、最后将经过sigmoid操作后的特征图和经过relu操作后的特征图进行相乘，得到经过图像特征重建模块处理后的特征图。
22、进一步的，所述步骤s1中的第二三分支网络结构位于解码器的尾部，第二三分支网络结构用于处理经过图像特征重建模块处理后的特征图，将经过图像特征重建模块处理后的特征图分别送入第二三分支网络结构的三个分支中进行进一步的特征恢复，第二三分支网络结构包括第二细节分支、第二上下文分支和第二边界分支，每个分支同时并行：
23、所述第二细节分支的具体操作是：将特征图进行一次卷积操作，再进行归一化操作，然后进行relu操作；
24、所述第二上下文分支的具体操作是：将特征图进行一次步距为2的卷积操作，再进行归一化操作，然后进行relu操作；
25、所述第二边界分支的具体操作是：将特征图进行一次卷积操作，再进行归一化操作，然后进行relu操作。
26、进一步的，所述步骤s2中的损失函数由细节损失函数、上下文损失函数和边界损失函数组成；
27、所述细节损失函数表示为：
28、；
29、其中，为每个训练批次中的图像数量，为当前训练图片的索引，为类别数量，为类别索引，为第个图片的第个类别的实际标签值，为第个图片的第个类别的预测概率值。
30、细节损失通过计算细节分支的输出与真实图像之间的差异指导网络优化，细节分支的输出用第个图片的第个类别的预测概率值表示，真实图像用第个图片的第个类别的实际标签值表示。在公式最前面加上负号的目的是使细节损失朝着最小化的方向进行参数更新。细节损失的值越小，说明细节分支提取的语义信息与真实图像之间的差异越小，从而使得模型能够更好的重建出输入图像中的细节信息。
31、进一步的，所述上下文损失函数表示为：
32、；
33、其中，为每个训练批次中的图像数量，为当前训练图片的索引，为类别数量，为类别索引，为第个图片的第个类别的预测概率值，为第个图片的第个类别的真实标签，是一个很小的常数本文档来自技高网...
【技术保护点】
1.一种基于三分支网络结构的复杂环境下语义分割方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于三分支网络结构的复杂环境下语义分割方法，其特征在于，所述步距为1的卷积块依次由两次卷积操作和一次ReLU操作组成；所述步距为2的卷积块依次由两次卷积操作、一次步距为2的卷积操作和一次ReLU操作组成。
3.如权利要求1所述的基于三分支网络结构的复杂环境下语义分割方法，其特征在于，所述步骤S1中的图像特征提取模块位于编码器的尾部，图像特征提取模块由双分支结构组成，图像特征提取模块的具体操作如下：
4.如权利要求3所述的基于三分支网络结构的复杂环境下语义分割方法，其特征在于，所述步骤S1中的图像特征重建模块位于解码器的头部，图像特征重建模块用于处理经过图像特征提取模块处理后的特征图，图像特征重建模块的具体操作如下：
5.如权利要求4所述的基于三分支网络结构的复杂环境下语义分割方法，其特征在于，所述步骤S1中的第二三分支网络结构位于解码器的尾部，第二三分支网络结构用于处理经过图像特征重建模块处理后的特征图，将经过图像特征重建模块处理后
6.如权利要求1所述的基于三分支网络结构的复杂环境下语义分割方法，其特征在于，所述步骤S2中的损失函数由细节损失函数、上下文损失函数和边界损失函数组成；
7.如权利要求6所述的基于三分支网络结构的复杂环境下语义分割方法，其特征在于，所述上下文损失函数表示为：
8.如权利要求7所述的基于三分支网络结构的复杂环境下语义分割方法，其特征在于，所述边界损失函数表示为：
...【技术特征摘要】
1.一种基于三分支网络结构的复杂环境下语义分割方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于三分支网络结构的复杂环境下语义分割方法，其特征在于，所述步距为1的卷积块依次由两次卷积操作和一次relu操作组成；所述步距为2的卷积块依次由两次卷积操作、一次步距为2的卷积操作和一次relu操作组成。
3.如权利要求1所述的基于三分支网络结构的复杂环境下语义分割方法，其特征在于，所述步骤s1中的图像特征提取模块位于编码器的尾部，图像特征提取模块由双分支结构组成，图像特征提取模块的具体操作如下：
4.如权利要求3所述的基于三分支网络结构的复杂环境下语义分割方法，其特征在于，所述步骤s1中的图像特征重建模块位于解码器的头部，图像特征重建模块用于处理经过图像特征提取模块处理后的特征图，图像特征重建模块的具体操作如下：
...
【专利技术属性】
技术研发人员：余锋，周鑫磊，姜明华，刘莉，周昌龙，宋坤芳，
申请(专利权)人：武汉纺织大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。