直播视频图像处理方法、装置及服务器制造方法及图纸

本申请实施例提供的直播视频图像处理方法、装置及服务器，涉及视频图像处理技术领域。首先，对原始视频序列图像进行图像分割，在每一帧图像中定位并分割出目标物体所对应的目标区域；接着，对每一帧图像中的目标区域进行图像修复处理得到修复后的视频序列帧图像；最后，基于修复后的视频序列帧图像计算画面状态修复评价指标值，并根据画面状态修复评价指标值与预设的画面状态修复评价指标阈值确定是否向客户端发送修复后的视频序列帧图像。如此，可以在将修复后的视频序列帧图像发送给客户端之前，对修复后的视频序列帧图像的画面状态进行评估确认，避免修复质量不佳的视频序列帧图像发送给客户端而导致的直播画面整体劣化。化。化。

【技术实现步骤摘要】
直播视频图像处理方法、装置及服务器


[0001]本申请涉及视频图像处理
，具体而言，涉及一种直播视频图像处理方法、装置及服务器。

技术介绍

[0002]在互联网直播场景中，因特定目标物体(比如，麦克风)的遮挡会导致直播效果不佳，为此对目标物体进行抹除并对抹除区域进行修复以降低目标物体对直播效果的影响，是本领域的研究热点。然而，在将直播场景画面进行修复时，可能存在修复质量不佳的情形，直接将修复质量不佳的视频画面发送给客户端进行显示会导致直播画面的整体劣化。

技术实现思路

[0003]为了至少克服现有技术中的上述不足，本申请的目的在于提供一种直播视频图像处理方法、装置及服务器。
[0004]第一方面，本申请实施例提供一种直播视频图像处理方法，应用于服务器，所述服务器与客户端通信连接，所述方法包括：
[0005]获取直播间的原始视频序列帧图像；
[0006]对所述原始视频序列帧图像进行图像分割处理，在每一帧图像中定位并分割出目标物体所对应的目标区域；
[0007]对所述每一帧图像中的目标区域进行图像修复处理，得到修复后的视频序列帧图像；
[0008]计算所述修复后的视频序列帧图像的画面状态修复评价指标值，基于所述画面状态修复评价指标值与预设的画面状态修复评价指标阈值确定是否向所述客户端发送所述修复后的视频序列帧图像。
[0009]在一种可能的实现方式中，所述对所述原始视频序列帧图像进行图像分割处理，在每一帧图像中定位并分割出目标物体所对应的目标区域的步骤，包括：
[0010]采用DeepLabv3+模型在每一帧图像中定位并分割出目标物体所对应的目标区域；
[0011]采用Encoder
‑
Decoder模型在每个帧图像中定位并分割出人像及人体关键部位对应的图像区域，其中，所述人体关键部位包括人脸、五官以及手部。
[0012]在一种可能的实现方式中，所述对所述每一帧图像中的目标区域进行图像修复处理，得到修复后的视频序列帧图像的步骤，包括：
[0013]将所述原始视频序列帧图像划分多个包括预设帧数的视频序列片段，其中，所述预设帧数的帧数范围为48～120帧；
[0014]针对每个所述视频序列片段，确定所述视频序列片段的待修复区域，采用所述视频序列片段中的第一帧图像、片段中间帧图像及最后一帧图像作为参考帧图像，基于所述参考帧图像进行交叉信息融合以对所述待修复区域进行修复，得到图像修复后的视频序列片段，由所述图像修复后的视频序列片段组成所述修复后的视频序列帧图像。
[0015]在一种可能的实现方式中，所述确定所述视频序列片段的待修复区域的步骤，包括：
[0016]计算所述视频序列片段中各帧图像中目标区域的尺寸；
[0017]将所述视频序列片段中尺寸最大的目标区域作为所述视频序列片段的待修复区域。
[0018]在一种可能的实现方式中，所述计算所述修复后的视频序列帧图像的画面状态修复评价指标值，基于所述画面状态修复评价指标值与预设的画面状态修复评价指标阈值确定是否向所述客户端发送所述修复后的视频序列帧图像的步骤，包括：
[0019]计算所述修复后的视频序列帧图像的画面状态修复评价指标值；
[0020]将所述画面状态修复评价指标值与所述预设的画面状态修复评价指标阈值进行比较，在所述画面状态修复评价指标值与所述预设的画面状态修复评价指标阈值满足预设条件时，向所述客户端发送所述修复后的视频序列帧图像；在所述画面状态修复评价指标值与所述预设的画面状态修复评价指标阈值不满足所述预设条件时，向所述客户端发送所述原始视频序列帧图像。
[0021]在一种可能的实现方式中，所述画面状态修复评价指标包括单帧状态指标及多帧稳定性指标，其中，所述单帧状态指标包括人像遮挡比例、人脸遮挡比例、五官遮挡状态；目标物体手持状态、目标物体分割掩膜的置信度、修复后人像分割掩膜的置信度；所述多帧稳定性指标包括修复后人像分割掩膜的抖动率，目标区域内的图像的抖动率；
[0022]所述人像遮挡比例BodyBlock Ratio的计算公式如下：
[0023][0024]所述人脸遮挡比例FaceBlock Ratio的计算公式如下：
[0025][0026]所述五官遮挡状态FeatureBlock Flag表示为：
[0027][0028]所述目标物体手持状态HandheldTag Flag表示为：
[0029][0030]所述目标物体分割掩膜的置信度a的计算公式如下：
[0031][0032]所述修复后人像分割掩膜的置信度b的计算公式如下：
[0033][0034]所述修复后人像分割掩膜的抖动率segMask Diff Rate的计算公式如下：
[0035][0036]所述目标物体分割掩膜内的图像抖动率Inpaint Diff Rate的计算公式如下：
[0037][0038]其中，Mask
tag
表示目标物体的分割掩膜区域、Mask
body
表示图像修复后人像的分割掩膜区域，Dilate(Mask
tag
)表示膨胀处理后目标物体的分割掩膜区域、Dilate(Mask
face
)表示膨胀处理后人脸的分割掩膜区域、Dilate(Mask
feature
)表示膨胀处理后人脸五官的分割掩膜区域；Dilate(Mask
hand
)表示膨胀处理后手部的分割掩膜区域；A1表示目标物体分割掩膜中置信度大于第一预设置信度的像素点的数量；A表示目标物体分割掩膜中像素点的总数量；B1表示修复后人像分割掩膜中置信度大于第二预设置信度的像素点的数量；B表示修复后人像分割掩膜中像素点的总数量；Diff1表示位于目标区域内的人像分割掩膜区域在前后帧中的差异，bodymask
∪
inROI表示位于目标区域内的人像分割掩膜区域在前后帧中的并集；Diff2表示修复后的图像在前后帧的目标物体分割掩膜内的差异。
[0039]在一种可能的实现方式中，所述将所述画面状态修复评价指标值与所述预设的画面状态修复评价指标阈值进行比较，在所述画面状态修复评价指标值满足所述预设的画面状态修复评价指标阈值时，向所述客户端发送所述修复后的视频序列帧图像；在所述画面状态修复评价指标值不满足预设的画面状态修复评价指标阈值时，向所述客户端发送所述原始视频序列帧图像的步骤，包括：
[0040]基于所述修复后的视频序列帧图像计算所述单帧状态指标及所述多帧稳定性指标中的各项指标值；
[0041]将计算得到的各项指标值与对应的各项指标的预设指标阈值进行比较；
[0042]在所述各项指标值与该对应指标的预设指标阈值均满足各项指标对应的预设条件时，向所述客户端发送所述修复后的视频序列帧图像，反之，则向所述客户端发送所述原始视频序列帧图像。
[0043]在一种可能的实现方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种直播视频图像处理方法，其特征在于，应用于服务器，所述服务器与客户端通信连接，所述方法包括：获取直播间的原始视频序列帧图像；对所述原始视频序列帧图像进行图像分割处理，在每一帧图像中定位并分割出目标物体所对应的目标区域；对所述每一帧图像中的目标区域进行图像修复处理，得到修复后的视频序列帧图像；计算所述修复后的视频序列帧图像的画面状态修复评价指标值，基于所述画面状态修复评价指标值与预设的画面状态修复评价指标阈值确定是否向所述客户端发送所述修复后的视频序列帧图像。2.如权利要求1所述的直播视频图像处理方法，其特征在于，所述对所述原始视频序列帧图像进行图像分割处理，在每一帧图像中定位并分割出目标物体所对应的目标区域的步骤，包括：采用DeepLabv3+模型在每一帧图像中定位并分割出目标物体所对应的目标区域；采用Encoder
‑
Decoder模型在每个帧图像中定位并分割出人像及人体关键部位对应的图像区域，其中，所述人体关键部位包括人脸、五官以及手部。3.如权利要求2所述的直播视频图像处理方法，其特征在于，所述对所述每一帧图像中的目标区域进行图像修复处理，得到修复后的视频序列帧图像的步骤，包括：将所述原始视频序列帧图像划分多个包括预设帧数的视频序列片段，其中，所述预设帧数的帧数范围为48～120帧；针对每个所述视频序列片段，确定所述视频序列片段的待修复区域，采用所述视频序列片段中的第一帧图像、片段中间帧图像及最后一帧图像作为参考帧图像，基于所述参考帧图像进行交叉信息融合以对所述待修复区域进行修复，得到图像修复后的视频序列片段，由所述图像修复后的视频序列片段组成所述修复后的视频序列帧图像。4.如权利要求3所述的直播视频图像处理方法，其特征在于，所述确定所述视频序列片段的待修复区域的步骤，包括：计算所述视频序列片段中各帧图像中目标区域的尺寸；将所述视频序列片段中尺寸最大的目标区域作为所述视频序列片段的待修复区域。5.如权利要求3或4所述的直播视频图像处理方法，其特征在于，所述计算所述修复后的视频序列帧图像的画面状态修复评价指标值，基于所述画面状态修复评价指标值与预设的画面状态修复评价指标阈值确定是否向所述客户端发送所述修复后的视频序列帧图像的步骤，包括：计算所述修复后的视频序列帧图像的画面状态修复评价指标值；将所述画面状态修复评价指标值与所述预设的画面状态修复评价指标阈值进行比较，在所述画面状态修复评价指标值与所述预设的画面状态修复评价指标阈值满足预设条件时，向所述客户端发送所述修复后的视频序列帧图像；在所述画面状态修复评价指标值与所述预设的画面...

【专利技术属性】
技术研发人员：李亮，
申请(专利权)人：广州虎牙科技有限公司，
类型：发明
国别省市：