一种记忆增强的图像分割方法和系统技术方案

本发明专利技术涉及图像分割领域，具体涉及一种记忆增强的图像分割方法和系统，包括：构建图像分割模型；获取具有时间轴顺序的若干个图像，所述图像包括样本图像，每个样本图像对应一个真实标注；将若干个图像和样本图像对应真实标注按照时间轴顺序依次输入图像分割模型；将当前时刻前所有样本图像和对应的真实标注作为原型进行存储；根据原型和当前时刻样本图像，通过变分推理得到当前时刻样本图像对应的特定参数的分布情况；根据当前时刻样本图像对应的特定参数的分布情况对图像分割模型的参数进行更新；将当前时刻图像输入更新后的图像分割模型，得到当前时刻图像的预测标注。本发明专利技术利用之前的样本图像达到记忆增强的效果，提高模型预测的准确性。模型预测的准确性。模型预测的准确性。

【技术实现步骤摘要】
一种记忆增强的图像分割方法和系统


[0001]本专利技术涉及图像分割领域，更具体地，涉及一种记忆增强的图像分割方法和系统。

技术介绍

[0002]语义分割是计算机视觉中很重要的一个方向，语义分割实现了图像像素级的分类，能够将一张图片按照类别的异同，将图像分为多个区域。传统的语义分割需要大量像素级标注的数据进行训练，因此目前通常使用小样本语义分割，顾名思义就是在只有少量像素级标注的数据也能获得较好的性能。
[0003]而现有技术中的小样本语义分割通常支持集中的样本是同时已知的，即所有样本会同时送到模型进行模型参数的学习。而在实际应用中，很难同时获取多个样本，更多时候样本是按照时间轴依次到来。在这种情况下，提出了在线小样本语义分割，旨在对顺序到达的新样本进行逐像素预测，模型在一个时间步长只能访问一个样本，而相应标注信息在下一个时间步出现。但是现有技术中的小样本语义分割仅侧重于如何对顺序到达的新样本进行常规预测，并未考虑到利用当前时刻之前到达的样本达到模型记忆增强的效果。

技术实现思路

[0004]本专利技术旨在克服上述现有技术的至少一种缺陷(不足)，提供一种记忆增强的图像分割方法和系统，用于对按时间轴依次到达的样本图像进行图像分割，利用当前时刻之前到达的样本图像达到模型记忆增强的效果，提高模型预测的准确性。
[0005]本专利技术采取的技术方案是：
[0006]第一方面，提供一种记忆增强的图像分割方法，包括：
[0007]构建图像分割模型；
[0008]获取具有时间轴顺序的若干个图像，所述图像包括样本图像和待测图像，每个样本图像对应一个真实标注；
[0009]将若干个图像和样本图像对应真实标注按照时间轴顺序依次输入图像分割模型；
[0010]其中：
[0011]将当前时刻前所有样本图像和对应的真实标注作为原型进行存储；
[0012]如果当前时刻图像为样本图像，则根据原型和当前时刻样本图像，通过变分推理得到当前时刻样本图像对应的特定参数的分布情况；
[0013]根据当前时刻样本图像对应的特定参数的分布情况对图像分割模型的参数进行更新；
[0014]将当前时刻样本图像输入更新后的图像分割模型，得到当前时刻样本图像的预测标注；
[0015]如果当前时刻图像为待测图像，则将当前时刻待测图像输入当前时刻前的最新图像分割模型，得到当前时刻待测图像的预测标注。
[0016]由于在实际应用中，很难同时获取多个样本，更多时候样本是按照时间轴顺序依
次到来，本专利技术针对这种情况提出一种记忆增强变分自适应机制，在对当前时刻图像进行预测时，将当前时刻前的所有样本图像和对应的真实标注作为原型，如果当前时刻图像具有对应的真实标注，即当前时刻图像为样本图像，则根据当前时刻样本图像和当前时刻前的所有原型对图像分割模型的参数进行更新，使用更新后的图像预测模型进行预测；如果当前时刻图像不具有对应的真实标注，即当前时刻图像为待测图像，则直接使用当前时刻前的样本图像更新过的最新的图像分割模型进行预测。与确定参数的模型相比，本专利技术的图像分割模型所获得的信息量更大，可以更好地表示图像的类别，记忆增强可以学习更好地适应每个样本的特定特征表示，使本专利技术被赋予了为时间序列中的每个图像提供特定样本分割的能力，并且能够很好地处理样本多样性，提高模型预测的准确性。
[0017]进一步的，所述将当前时刻前的所有样本图像和对应的真实标注作为原型进行存储，具体包括：
[0018]原型p
i
的定义为：p
i
＝A(z
i
·
y
i
)；
[0019]其中，x
i
为时刻i的样本图像，y
i
为样本图像x
i
对应的真实标注，z
i
为样本图像x
i
的特征，A表示K均值聚类方法。
[0020]更具体的，原型p
i
的定义为：p
i
＝A(Φ(x
i
)
·
y
i
)＝A(z
i
·
y
i
)，Φ为一个卷积神经网络，将样本图像x
i
变为特征Φ(x
i
)＝z
i
。
[0021]在线小样本分割需要按顺序分割来自相同类别的样本，因此，有效利用从先前样本中获得的类别知识来促进未知样本的分割至关重要。本专利技术将当前时刻前的所有样本图像和对应的真实标注作为原型进行存储，以增强模型的记忆增强效果，并且由于考虑到内存效率，选择构建原型进行存储而不是直接存储原始样本。
[0022]进一步的，还包括：构建原型存储器用于存储当前时刻前的所有样本图像得到的原型；
[0023]原型存储器定义为：
[0024]其中，t表示当前时刻，i表示时刻i，1≤i≤t
‑
1，p
i
表示时刻i的原型。
[0025]本专利技术基于在线类别原型生成的思想构建了原型存储器，该原型存储器保留了当前时刻前的样本图像的类别知识，所述类别知识为当前时刻前的所有样本图像的特征和对应的真实标注，作为未来图像分割的动态支持集。在对当前时刻图像进行预测时，使用嵌入当前时间序列并存储在原型存储器中的同类样本组来近似新的类别原型，可以有效提高模型预测的准确性。
[0026]进一步的，所述根据原型和当前时刻样本图像，通过变分推理得到当前时刻样本图像对应的特定参数的分布情况，具体包括：
[0027]所述样本特定参数为当前时刻t的样本图像x
t
的分类器权重w
t
；
[0028]根据变分推理得到计算公式：
[0029][0030]其中，表示预测的对数似然度，表示分类器权重w
t
的
条件先验分布，t为当前时刻，为原型存储器，x
t
为当前时刻样本图像，y
t
为当前时刻样本图像x
t
对应的真实标注，表示分布和分布的KL测度，表示在分布下p(y
t
|x
t
，w
t
)分布的期望；
[0031]使预测的对数似然度最大，则无限接近于0，得到优化后的分布与先验分布无限接近；
[0032]优化后的分布即为当前时刻样本图像对应的特定参数的分布。
[0033]本专利技术将对新样本图像的适应公式化为变分贝叶斯推理问题，为每个新样本图像生成样本特定参数w
t
。在当前时刻t，只产生和当前时刻样本图像x
t
相关的分类器权重w
t
，其中优化的目标函数为预测的对数似然度最终使目标函数值最大，可以优化出一个分布，也就是分布，优化结果可以使其和先验分布尽量保持一致，也就使公式中的距离尽量为0，则该公式的下界(即≥中的等本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种记忆增强的图像分割方法，其特征在于，包括：构建图像分割模型；获取具有时间轴顺序的若干个图像，所述图像包括样本图像和待测图像，每个样本图像对应一个真实标注；将若干个图像和样本图像对应真实标注按照时间轴顺序依次输入图像分割模型；其中：将当前时刻前所有样本图像和对应的真实标注作为原型进行存储；如果当前时刻图像为样本图像，则根据原型和当前时刻样本图像，通过变分推理得到当前时刻样本图像对应的特定参数的分布情况；根据当前时刻样本图像对应的特定参数的分布情况对图像分割模型的参数进行更新；将当前时刻样本图像输入更新后的图像分割模型，得到当前时刻样本图像的预测标注；如果当前时刻图像为待测图像，则将当前时刻待测图像输入当前时刻前的最新图像分割模型，得到当前时刻待测图像的预测标注。2.根据权利要求1所述的一种记忆增强的图像分割方法，其特征在于，所述将当前时刻前所有样本图像和对应的真实标注作为原型进行存储，具体包括：原型p
i
的定义为：p
i
＝(z
i
·
i
)；其中，x
i
为时刻i的样本图像，y
i
为样本图像x
i
对应的真实标注，z
i
为样本图像x
i
的特征，A表示K均值聚类方法。3.根据权利要求2所述的一种记忆增强的图像分割方法，其特征在于，还包括：构建原型存储器用于存储当前时刻前的所有样本图像得到的原型；原型存储器定义为：其中，t表示当前时刻，i表示时刻i，1≤i≤t
‑
1，p
i
表示时刻i的原型。4.根据权利要求3所述的一种记忆增强的图像分割方法，其特征在于，所述根据原型和当前时刻样本图像，通过变分推理得到当前时刻样本图像对应的特定参数的分布情况，具体包括：所述样本特定参数为当前时刻t的样本图像x
t
的分类器权重w
t
；根据变分推理得到计算公式：其中，表示预测的对数似然度，表示分类器权重w
t
的条件先验分布，t为当前时刻，为原型存储器，x
t
为当前时刻样本图像，y
t
为当前时刻样本图像x
t
对应的真实标注，表示分布和分布的KL测度，表示在分布下p(y
t
|x
t
,w
t
)分布的期望；使预测的对数似然度最大，则无限
接近于0，得到优化后的分布与先验分布无限接近；优化后的分布即为当前时刻样本图像对应的特定参数的分布。5.根据权利要求4所述的一种记忆增强的图像分割方法，其特征在于，还包括使用Transformer结构得到当前时刻样本图像对应的特定参数的分布，具体包括：将当前时刻样本图像x
t
、当前时刻样本图像x
t
对应的真实标注y
t
和原型存储器中存储的当前时刻前的原型输入Transformer结构，得到当前时刻样本图像对应的...

【专利技术属性】
技术研发人员：张磊，左利云，王宝艳，李欣，甄先通，
申请(专利权)人：广东石油化工学院，
类型：发明
国别省市：