【技术实现步骤摘要】
本专利技术涉及计算机视觉，尤其涉及一种基于多尺度注意力的牧场草料图像的语义分割方法。
技术介绍
1、深度学习技术在畜牧业领域近期成为了热门话题，在畜牧业中应用深度学习技术可以降低传统上由人类完成的重复劳动的劳动力成本。传统的牧场草料添加工作，需要人工观察草料是否食用完，然后决定是否添加草料。而如果引用深度学习技术就可以对牧场草料图像进行语义分割，从而由模型决策出草料是否食用完，后续的草料添加工作可以交给机器人完成。
2、近年来，深度学习模型在计算机视觉各个领域都取得了显著的结果，一些研究人员已经将语义分割模型应用到牧场草料图像的语义分割任务中，如u-net,但这种网络模型仅仅将编码器的特征和解码器的特征进行简单的拼接，忽略了解码器得到的特征的深层特征，以及和解码器特征之间的语义鸿沟，从而难以取得较好的结果。
技术实现思路
1、本专利技术要解决的技术问题是克服现有技术存在的缺陷，本专利技术提出了一种基于多尺度注意力的牧场草料图像的语义分割方法，以期能够挖掘编码器特征的深层特征，以及融合编码器特征和解码器特征，从而提高对牧场草料图像语义分割的准确率。
2、为解决上述技术问题，本专利技术采用的技术方案是：一种基于多尺度注意力的牧场草料图像的语义分割方法，包括如下步骤：
3、s1、获取带有语义分割标签的牧场草料图像，由下采样编码器对牧场草料图像进行特征提取，得到特征em，其中，m＝(1，2，3，4)表示下采样编码器的层数；
4、s2、将提取到
5、由所述fall操作对em进行维度转换，以得到特征tm，
6、由注意力模块对特征tm归一化处理后拼接得到特征t∑，
7、通过可学习的参数矩阵分别与tm以及t∑进行矩阵相乘后，输入多头交叉注意力模块进行增强，
8、由注意力模块对增强后的特征进行归一化处理后输出，并通过rise操作进行维度转换；
9、s3、构建上采样解码器，将所述e4特征进行卷积池化后获得特征f5，再将特征f5和输入到上采样解码器中进行解码，并获得最中的解码结果，通过对解码结果进行卷积激活，从而获得最终的语义分割图；
10、s4、建立交叉熵损失函数，并将训练样本集输入所述网络进行训练后，对总损失函数进行优化求解，以调整所述网络模型的参数，并获得最优网络模型，将待分析牧场草料图像输入到最优网络模型中以输出语义分割结果。
11、进一步地，所述步骤s1中，每张牧场草料图像及其相应类别即为其中，xi∈rc×h×w表示第i个牧场草料图像、c表示图像通道数、h表示图像高度、w表示图像宽度、yi表示第i个牧场草料图像xi对应的语义分割标签，i＝1,2…n、n表示牧场草料图像的数量，则所述下采样编码器特征提取步骤如下，
12、对牧场材料图像xi进行归一化操作以获得图像特征e1；
13、对图像特征e1进行下采样，以对图像进行建模。
14、进一步地，所述下采样编码器至少包括一个归一化操作以及三组采样操作，每一所述下采样操作至少包括一个卷积操作盒一个池化操作，
15、所述归一化操作以及下采样操作公式如下，
16、e1＝batchnorm(xi)
17、em＝conv2×2(maxpool(em-1))
18、其中，batchnorm(·)代表归一化操作，conv2×2(·)代表卷积核大小为2×2的卷积操作，maxpool(·)代表最大池化操作。
19、进一步地，所述步骤s2中，tm、t∑计算公式如下，
20、tm＝flatten(avgpool(em))
21、其中，flatten(·)代表展平操作；avgpool(·)代表平均池化操作；
22、t∑＝concat(ln(t1)+ln(t2)+ln(t3)+ln(t4))
23、其中，ln(·)代表归一化操作，concat(·)代表沿通道维度进行拼接的操作。
24、进一步地，所述步骤s2中，多头交叉注意力模块增强步骤如下，
25、设置6个可学习的参数矩阵分别与归一化后的特征tm和t∑进行矩阵相乘得到(q1,q2,q3,q4,k,v)；
26、对q1,q2,q3,q4归一化而后得到
27、通过协调注意力机制进一步的特征表示获得增强后的特征
28、将进行归一化处理和进行多层感知机的处理从而得到特征o1,o2,o3,o4；
29、对o1,o2,o3,o4进行维度转化，公式如下，
30、
31、其中，interpolate()代表插值操作；reshape()代表维数转换操作。
32、进一步地，所述步骤s4中交叉熵损失函数公式如下，
33、
34、其中，lce代表交叉熵损失函数，z代表语义分割中的类别数，yi代表第i个牧场草料图像xi对应的语义分割标签，ft表示模型预测的语义分割图。
35、与现有技术相比，本专利技术的有益效果包括：
36、1、本专利技术利用基于卷积操作和池化操作组成的下采样编码器对牧场草料图像，进行初步的特征提取，以获得较为浅层的牧场草料图像特征；
37、2、本专利技术利用多头交叉注意力模块，将下采样编码器中提取到的特征进一步的做注意力计算，获得更加丰富的图像特征。针对卷积特征和注意力特征之间维度不同的问题采用了fall，rise操作来解决；
38、3、本专利技术利用上采样解码器，将下采样解码器输出的特征以及经过注意力计算得到的特征通过通道空间注意力模块来进行解码操作，从而提高语义分割的准确率。
本文档来自技高网...【技术保护点】
1.一种基于多尺度注意力的牧场草料图像的语义分割方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于多尺度注意力的牧场草料图像的语义分割方法，其特征在于：所述步骤S1中，每张牧场草料图像及其相应类别即为其中，Xi∈RC×H×W表示第i个牧场草料图像、C表示图像通道数、H表示图像高度、W表示图像宽度、Yi表示第i个牧场草料图像Xi对应的语义分割标签，i＝1，2…N、N表示牧场草料图像的数量，则所述下采样编码器特征提取步骤如下，
3.根据权利要求2所述的一种基于多尺度注意力的牧场草料图像的语义分割方法，其特征在于：所述下采样编码器至少包括一个归一化操作以及三组采样操作，每一所述下采样操作至少包括一个卷积操作盒一个池化操作，
4.根据权利要求1所述的一种基于多尺度注意力的牧场草料图像的语义分割方法，其特征在于：所述步骤S2中，Tm、T∑计算公式如下，
5.根据权利要求4所述的一种基于多尺度注意力的牧场草料图像的语义分割方法，其特征在于：所述步骤S2中，多头交叉注意力模块增强步骤如下，
6.根据权利要求1所述的一种
...【技术特征摘要】
1.一种基于多尺度注意力的牧场草料图像的语义分割方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于多尺度注意力的牧场草料图像的语义分割方法，其特征在于：所述步骤s1中，每张牧场草料图像及其相应类别即为其中，xi∈rc×h×w表示第i个牧场草料图像、c表示图像通道数、h表示图像高度、w表示图像宽度、yi表示第i个牧场草料图像xi对应的语义分割标签，i＝1，2…n、n表示牧场草料图像的数量，则所述下采样编码器特征提取步骤如下，
3.根据权利要求2所述的一种基于多尺度注意力的牧场草料图像的语义分割方法，其特...
【专利技术属性】
技术研发人员：任士俊，刘双伍，邓甜甜，后小骏，杨焰焰，
申请(专利权)人：合肥云晓易联科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。