【技术实现步骤摘要】
本申请涉及图像处理，特别是涉及一种人体图像分割方法、装置、计算机设备及可读存储介质。
技术介绍
1、近年来，图像处理技术飞速发展，视频会议、视频游戏等基于摄像头的应用普及程度越来越高。在这些应用场景下，用户一般处于室内等短时变化不大的环境中，使得在使用此类应用的时候，有些用户出于隐私保护或者希望展现更符合个人兴趣的场景的考虑，会存在将环境背景进行替换的需求，甚至希望只是将用户的肢体动作迁移到某一个虚拟场景内的虚拟人物身上。因此，很多应用中与视频相关的功能会从视频图像中自动识别并定位出人体的各个关键部位，将视频图像中的人体图像分割出来，再将原始背景剔除，替换为用户选择的固定样式、固定颜色或者有特殊效果的背景，满足用户的需求。
2、相关技术中，为了实现人体图像的分割，需要事先建立两个模型，分别为人体关键点定位模型和人像分割模型。其中，人体关键点定位模型是基于关键点定位算法训练得到的，关键点定位算法在输入维度上主要分为单帧输入、固定多帧输入和全序列输入三种，在输出维度上又分为二维关键点和三维关键点两种；而人像分割模型是基于人像分割算法训练得到的。
3、在实现本申请的过程中，申请人发现相关技术至少存在以下问题：
4、人体关键点定位模型和人像分割模型分别执行不同的子任务，子任务之间存在一定的相似性的。但是两个不同的模型将整个人体图像分割流程分解为两部分，子任务之间的相似性未能利用在整个图像分割过程中，不仅导致模型执行任务的效果差，执行结果精度不高，而且还造成一定程度的算力浪费。
<
1、有鉴于此，本申请提供了一种人体图像分割方法、装置、计算机设备及可读存储介质，主要目的在于解决目前模型执行任务的效果差，执行结果精度不高，而且还造成一定程度的算力浪费的问题。
2、依据本申请第一方面，提供了一种人体图像分割方法，该方法包括：
3、获取样本视频，利用所述样本视频中每个样本视频图像帧上标注人体关键点、所述样本视频对应的人体遮罩图像序列，训练图像分割模型；
4、响应于图像分割请求，确定所述图像分割请求指示的待处理视频，采集所述待处理视频在当前时刻的视频图像帧；
5、计算所述视频图像帧的背景遮罩和背景图像，将所述视频图像帧、所述背景遮罩和所述背景图像在通道维度进行拼接，得到图像拼接结果；
6、将所述图像拼接结果输入至所述图像分割模型进行分割处理，得到所述视频图像帧的当前帧人体遮罩图像和当前帧人体关键点信息，并将所述当前帧人体遮罩图像和所述当前帧人体关键点信息作为分割得到的人体图像信息输出。
7、可选地，所述获取样本视频，利用所述样本视频中每个样本视频图像帧上标注人体关键点、所述样本视频对应的人体遮罩图像序列，训练图像分割模型，包括：
8、获取所述样本视频，对所述样本视频进行视频抽帧处理，得到由多个样本视频图像帧构成的所述样本视频的样本视频图像序列；
9、对所述样本视频图像序列包括的每个样本视频图像帧进行标注处理，向所述每个样本视频图像帧标注人体关键点，以及得到所述人体遮罩图像序列；
10、利用所述人体遮罩图像序列，计算所述样本视频的样本背景遮罩和样本背景图像；
11、将所述样本视频图像序列、所述样本背景图像和所述样本背景遮罩在通道维度进行拼接，得到样本拼接结果；
12、基于预设的神经网络算法对所述样本拼接结果进行编码和解码处理，构建所述图像分割模型。
13、可选地，所述对所述样本视频图像序列包括的每个样本视频图像帧进行标注处理，向所述每个样本视频图像帧标注人体关键点，以及得到所述人体遮罩图像序列，包括：
14、对所述多个样本视频图像帧中每个样本视频图像帧进行人体关键点标注；
15、对每个样本视频图像帧进行二值人体遮罩标注，得到每个样本视频图像帧对应的样本遮罩图像；
16、获取所述多个样本视频图像帧对应的多个样本遮罩图像，按照时间顺序对所述多个样本遮罩图像进行整理，得到所述样本视频对应的人体遮罩图像序列。
17、可选地，所述利用所述人体遮罩图像序列，计算所述样本视频的样本背景遮罩和样本背景图像，包括：
18、对于所述多个样本遮罩图像中每个样本遮罩图像，确定预设系数，计算所述预设系数与所述样本遮罩图像中每个像素位置的取值之间的差值，得到所述样本遮罩图像对应的遮罩像素差值集合；
19、获取所述多个样本遮罩图像对应的多个遮罩像素差值集合，将所述多个遮罩像素差值集合中同一像素位置的差值进行叠加，得到初始遮罩图像；
20、确定预设质量阈值，采用所述预设质量阈值对所述初始遮罩图像进行阈值处理，得到所述样本背景遮罩，所述预设质量阈值是根据标注质量设置的阈值；
21、基于所述多个样本视频图像、所述多个遮罩像素差值集合、所述初始遮罩图像以及所述样本背景遮罩，计算所述样本背景图像。
22、可选地，所述基于所述多个样本视频图像、所述多个遮罩像素差值集合、所述初始遮罩图像以及所述样本背景遮罩，计算所述样本背景图像，包括：
23、对所述多个遮罩像素差值集合中每个遮罩像素差值集合执行以下处理：在所述多个样本视频图像中确定目标样本视频图像，将所述遮罩像素差值集合与所述目标样本视频图像帧中同一像素位置的取值相乘，得到所述遮罩像素差值集合对应的相乘结果，其中，所述目标样本视频图像在所述样本视频中对应的时间点与生成所述遮罩像素差值集合的样本遮罩图像在所述样本视频中对应的时间点相同；
24、获取所述多个遮罩像素差值集合对应的多个相乘结果，将所述多个相乘结果中同一像素位置的取值进行叠加，得到初始背景图像；
25、利用预设经验值对所述初始遮罩图像进行调整，以及计算所述初始背景图像与调整后的所述初始遮罩图像中同一像素位置的取值的比值，得到第一比值结果；
26、将所述第一比值结果与所述样本背景遮罩中同一像素位置的取值相乘，得到所述样本背景图像。
27、可选地，所述方法还包括：
28、确定预设的第一损失函数，基于所述第一损失函数和所述每个样本视频图像帧上标注人体关键点，对所述图像分割模型中与人体关键点处理相关的模型参数进行损失计算，得到第一损失结果，以及利用所述第一损失结果对所述图像分割模型中与人体关键点处理相关的模型参数进行调整，其中，所述第一损失函数是回归损失函数或是基于热力图的损失函数；和/或，
29、确定预设的第二损失函数，基于所述第二损失函数和所述人体遮罩图像序列，对所述图像分割模型中用于计算每个像素位置对应的人体遮罩像素值的参数进行损失计算，得到第二损失结果，以及利用所述第二损失结果对所述图像分割模型中用于计算每个像素位置对应的人体遮罩像素值的参数进行调整，其中，所述第二损失函数是回归损失函数或是用于计算交叉熵的损失函数。
30、可选地，所述计算所述视频图像帧的背景遮罩和背景图像，本文档来自技高网...
【技术保护点】
1.一种人体图像分割方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述获取样本视频，利用所述样本视频中每个样本视频图像帧上标注人体关键点、所述样本视频对应的人体遮罩图像序列，训练图像分割模型，包括：
3.根据权利要求2所述的方法，其特征在于，所述对所述样本视频图像序列包括的每个样本视频图像帧进行标注处理，向所述每个样本视频图像帧标注人体关键点，以及得到所述人体遮罩图像序列，包括：
4.根据权利要求2所述的方法，其特征在于，所述利用所述人体遮罩图像序列，计算所述样本视频的样本背景遮罩和样本背景图像，包括：
5.根据权利要求4所述的方法，其特征在于，所述基于所述多个样本视频图像、所述多个遮罩像素差值集合、所述初始遮罩图像以及所述样本背景遮罩，计算所述样本背景图像，包括：
6.根据权利要求2所述的方法，其特征在于，所述方法还包括：
7.根据权利要求1所述的方法，其特征在于，所述计算所述视频图像帧的背景遮罩和背景图像，包括：
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
9.根据权利要求1所述的方法，其特征在于，所述将所述当前帧人体遮罩图像和所述当前帧人体关键点信息作为分割得到的人体图像信息输出之后，所述方法还包括：
10.一种人体图像分割装置，其特征在于，包括：
...【技术特征摘要】
1.一种人体图像分割方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述获取样本视频，利用所述样本视频中每个样本视频图像帧上标注人体关键点、所述样本视频对应的人体遮罩图像序列，训练图像分割模型，包括：
3.根据权利要求2所述的方法，其特征在于，所述对所述样本视频图像序列包括的每个样本视频图像帧进行标注处理，向所述每个样本视频图像帧标注人体关键点，以及得到所述人体遮罩图像序列，包括：
4.根据权利要求2所述的方法，其特征在于，所述利用所述人体遮罩图像序列，计算所述样本视频的样本背景遮罩和样本背景图像，包括：
5.根据权利要求4所述的方法...
【专利技术属性】
技术研发人员：郭金马，余浩，鲁文斌，
申请(专利权)人：洪恩完美北京教育科技发展有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。