【技术实现步骤摘要】
本专利技术涉及视频内容理解，尤其是涉及一种基于背景图像的分割方法、模型训练方法、介质和设备。
技术介绍
1、随着带有摄像头和传感器的各类移动设备的普及，视频已经成为互联网用户之间全新的沟通方式。这一趋势推动了一系列视频内容理解技术和相关应用的蓬勃发展。在这些技术中，视频中的目标分割技术占据了核心地位，并且在运动健康领域得到广泛的应用。这项技术的关键目标是实时地将视频中的目标主体与复杂的背景进行分离，以便精确地生成目标在不同背景下的运动场景，从而提升娱乐性。
2、然而在实际应用中，目标运动的场景往往比较复杂，因而容易在分割人物区域的同时，将一些复杂的背景图像也分割出来，从而导致伪影的产生，这样分割效果就会比较差。
技术实现思路
1、基于此，有必要提供基于背景图像的分割方法、模型训练方法、介质和设备，以解决现有技术中分割效果较差，易出现伪影的问题。
2、一种对抗生成分割模型的训练方法，所述对抗生成分割模型包括单通道编码器和双通道解码器，所述双通道解码器包括分别与所述单通道编码器连接的对抗生成网络和目标分割网络，所述生成对抗网络包括生成器和判别器，所述方法包括：
3、获取运动视频训练数据及作为所述运动视频训练数据先验知识的真实背景训练图像，将所述运动视频训练数据中的每帧运动图像与所述真实背景训练图像拼接，以得到多张拼接训练图像；其中，所述运动视频训练数据包括同一段运动视频内的多帧运动图像，每帧运动图像内均包括运动目标，且每帧运动图像的背景与所述真实背景
4、将目标图像输入所述单通道编码器进行特征提取，获取输出的特征尺度不同的多张编码特征图；其中，所述目标图像为所述多张拼接训练图像中的任意一张；
5、将所述多张编码特征图输入所述生成器进行图像生成，获取输出的生成背景训练图像，将所述生成背景训练图像和所述真实背景训练图像输入所述判别器进行图像判别，获取输出的判别结果；其中，所述判别结果用于指示所述生成背景训练图像和所述真实背景训练图像是否为生成的图像；
6、将所述多张编码特征图像输入所述目标分割网络进行前景分割，获取输出的前景训练分割结果；
7、基于所述判别结果计算背景分割损失值，基于所述前景训练分割结果和所述前景标签计算前景分割损失值，基于所述背景分割损失值和所述前景分割损失值计算总分割损失值，并基于所述总分割损失值对所述对抗生成分割模型进行迭代调参，获取训练后收敛的对抗生成分割模型。
8、在其中一个实施例中，所述单通道编码器包括依次连接的i层编码单元，第i层编码单元输出第i特征尺度的第i编码特征图；其中，i为大于或等于2的整数，2≤i≤i，i越大，第i编码特征图对应的第i特征尺度越小。
9、在其中一个实施例中，所述生成器包括依次连接的i层第一解码单元和第一输出层，每层第一解码单元包括依次连接的上采样层、卷积层和融合层，所述将所述多张编码特征图输入所述生成器进行图像生成，获取输出的生成背景训练图像，包括：
10、令i的初始值为i，将第i编码特征图作为第i’输入特征图，输入第i’层解码单元的上采样层，以通过上采样层调整特征尺度，且通过卷积层进行特征提取，得到第i-1特征尺度的第i’解码特征图，并输入融合层；其中，i+i’＝i+1；
11、将第i-1编码特征图输入第i’层解码单元的融合层，以通过融合层对第i’解码特征图和第i-1编码特征图进行融合，得到第i’融合特征图；
12、将第i’融合特征图作为第i’+1输入特征图,令i＝i-1,且i’＝i’+1，返回执行所述输入第i’层解码单元的上采样层的步骤及后续步骤，直至得到第i层第一解码单元输出的第i融合特征图；
13、将第i层第一解码单元输出的第i融合特征图输入所述第一输出层进行映射输出，获取输出的所述生成背景训练图像。
14、在其中一个实施例中，所述目标分割网络包括依次连接的i层第二解码单元和第二输出层，所述生成器的i层第一解码单元和所述目标分割网络的i层第二解码单元的结构相同，所述第一输出层的结构与所述第二输出层的结构不同；
15、所述将所述多张编码特征图像输入所述目标分割网络进行前景分割，获取输出的前景训练分割结果，包括：
16、将所述多张编码特征图像输入所述i层第二解码单元，获取第i层第二解码单元输出的第i融合特征图；
17、将第i层第二解码单元输出的第i融合特征图输入所述第二输出层进行映射输出，获取输出的所述前景训练分割结果。
18、在其中一个实施例中，所述背景分割损失值计算公式为：
19、
20、上式中，e指示分布函数的期望值，d指示判别器，g指示生成器，指示真实背景训练图像，指示判别结果中对于输入的真实背景训练图像判别为真假的概率，x指示拼接训练图像，g(x)指示生成器生成的生成背景训练图像，d(g(x))指示判别结果中对于输入的生成背景训练图像判别为真假的概率。
21、在其中一个实施例中，所述前景分割损失值的计算公式为：
22、
23、上式中，p指示前景标签,指示前景训练分割结果。
24、在其中一个实施例中，所述总分割损失值的计算公式为：
25、loss＝α*lgan+β*lseg
26、上式中，0<α<1,0<β<1，且α+β＝1。
27、一种基于背景图像的分割方法，所述方法包括：
28、获取运动视频检测数据及作为所述运动视频检测数据先验知识的真实背景检测图像，将所述运动视频检测数据中的每帧运动图像与所述真实背景检测图像拼接，以得到多张拼接检测图像；其中，所述运动视频检测数据包括同一段运动视频内的多帧运动图像，每帧运动图像内均包括运动目标，且每帧运动图像的背景与所述真实背景检测图像的背景相同；
29、将每张拼接检测图像输入收敛后的对抗生成分割模型中，获取对应输出的生成背景检测图像及前景检测分割结果；其中，所述对抗生成分割模型通过上述对抗生成分割模型的训练方法训练得到。
30、一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述基于背景图像的分割方法及模型训练方法的步骤。
31、一种终端设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述基于背景图像的分割方法及模型训练方法的步骤。
32、本专利技术提供了基于背景图像的分割方法、模型训练方法、介质和设备，在模型训练阶段，首先利用真实背景训练图像的不变形特点，将真实背景训练图像作为本算法的先验知识。然后将每帧运动图像与真实背景训练图像拼接，并通过单通道编码器进行特征提取，获取不同尺度的编码特征图。再在双通道解码器中，通过对抗生成网络输出生成背景训本文档来自技高网...
【技术保护点】
1.一种对抗生成分割模型的训练方法，其特征在于，所述对抗生成分割模型包括单通道编码器和双通道解码器，所述双通道解码器包括分别与所述单通道编码器连接的对抗生成网络和目标分割网络，所述对抗生成网络包括生成器和判别器，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述单通道编码器包括依次连接的I层编码单元，第i层编码单元输出第i特征尺度的第i编码特征图；其中，I为大于或等于2的整数，2≤i≤I，i越大，第i编码特征图对应的第i特征尺度越小。
3.根据权利要求2所述的方法，其特征在于，所述生成器包括依次连接的I层第一解码单元和第一输出层，每层第一解码单元包括依次连接的上采样层、卷积层和融合层，所述将所述多张编码特征图输入所述生成器进行图像生成，获取输出的生成背景训练图像，包括：
4.根据权利要求3所述的方法，其特征在于，所述目标分割网络包括依次连接的I层第二解码单元和第二输出层，所述生成器的I层第一解码单元和所述目标分割网络的I层第二解码单元的结构相同，所述第一输出层的结构与所述第二输出层的结构不同；
5.根据权利要求1所述的方
6.根据权利要求5所述的方法，其特征在于，所述前景分割损失值的计算公式为：
7.根据权利要求6所述的方法，其特征在于，所述总分割损失值的计算公式为：
8.一种基于背景图像的分割方法，其特征在于，所述方法包括：
9.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述方法的步骤。
10.一种终端设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述方法的步骤。
...【技术特征摘要】
1.一种对抗生成分割模型的训练方法，其特征在于，所述对抗生成分割模型包括单通道编码器和双通道解码器，所述双通道解码器包括分别与所述单通道编码器连接的对抗生成网络和目标分割网络，所述对抗生成网络包括生成器和判别器，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述单通道编码器包括依次连接的i层编码单元，第i层编码单元输出第i特征尺度的第i编码特征图；其中，i为大于或等于2的整数，2≤i≤i，i越大，第i编码特征图对应的第i特征尺度越小。
3.根据权利要求2所述的方法，其特征在于，所述生成器包括依次连接的i层第一解码单元和第一输出层，每层第一解码单元包括依次连接的上采样层、卷积层和融合层，所述将所述多张编码特征图输入所述生成器进行图像生成，获取输出的生成背景训练图像，包括：
4.根据权利要求3所述的方法，其特征在于，所述目标分割网络包括依次连接的i层第二解码单元...
【专利技术属性】
技术研发人员：陈仿雄，
申请(专利权)人：深圳数联康健智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。