一种视频显示方法、设备和计算机可读存储介质技术

本申请公开了一种视频显示方法、设备和计算机可读存储介质，该方法包括：获取当前视频帧图像；对当前视频帧图像进行人物分割，得到人物分割结果，人物分割结果包括若干人物分别在当前视频帧图像中的位置信息；基于人物分割结果，从若干人物中筛选出符合人物图像显示条件的目标人物；利用当前视频帧图像中关于目标人物的目标图像区域，得到当前待显示图像，上述方式，利用符合人物图像显示条件的部分区域进行显示，实现对视频画面的选择性显示，从而提高了视频画面显示的隐私性。提高了视频画面显示的隐私性。提高了视频画面显示的隐私性。

【技术实现步骤摘要】
一种视频显示方法、设备和计算机可读存储介质


[0001]本申请涉及图像处理
，特别是涉及一种视频显示方法、设备和计算机可读存储介质。

技术介绍

[0002]随着视频会议、视频通话等线上形式的逐渐普及，越来越多用户使用线上视频进行沟通，这实现了处于不同位置的用户之间通过通信设备和网络进行面对面的交谈。用户能够看到参与线上视频的其他用户的画面，画面中还可能包括其他用户所在的环境，以及环境中的其他人物等等。
[0003]本申请的申请人在长期的研发过程中发现，现有的视频过程中，用户不能够时刻注意自身画面中是否存在不便于向沟通对方展示的隐私内容，例如，出现周围走动的人群等等，画面中可能出现一些不便于出镜的部分。

技术实现思路

[0004]本申请主要解决的技术问题是提供一种视频显示方法、设备和计算机可读存储介质，能够提高视频画面显示的隐私性。
[0005]为解决上述技术问题，本申请采用的一个技术方案是：提供一种视频显示方法，该方法包括：获取当前视频帧图像；对当前视频帧图像进行人物分割，得到人物分割结果，人物分割结果包括若干人物分别在当前视频帧图像中的位置信息；基于人物分割结果，从若干人物中筛选出符合人物图像显示条件的目标人物；利用当前视频帧图像中关于目标人物的目标图像区域，得到当前待显示图像。
[0006]其中，人物图像显示条件包括至少一个筛选条件，每个筛选条件对应不同人物特征信息，用于基于对应的人物特征信息进行筛选；基于人物分割结果，从若干人物中筛选出符合人物图像显示条件的目标人物，包括：基于人物分割结果，得到若干人物的分别与各筛选条件对应的人物特征信息，各筛选条件对应的人物特征信息包括静态人物特征信息和动态人物特征信息中的至少一者；对于各筛选条件，利用筛选条件对应的人物特征信息筛选符合筛选条件的人物，以作为筛选条件的候选人物；基于各筛选条件的候选人物，得到至少一个目标人物。
[0007]其中，静态人物特征信息包括各人物在当前视频帧图像中的尺寸信息，静态人物特征信息对应的筛选条件包括若干静态子筛选条件，若干人物分别在当前视频帧图像中的位置信息包括各人物的掩码图；基于人物分割结果，得到若干人物的分别与各筛选条件对应的人物特征信息，包括：分别基于各人物的掩码图，统计得到各人物的尺寸信息；利用筛选条件对应的人物特征信息筛选符合筛选条件的人物，以作为筛选条件的候选人物，包括：从若干人物中，选出尺寸信息符合各静态子筛选条件的人物，作为筛选条件的候选人物。
[0008]其中，若干静态子筛选条件包括数量子筛选条件和距离子筛选条件中的至少一者；数量子筛选条件为：从若干人物的尺寸信息从大到小排序中，选出位于前预设人物数量
的人物；距离子筛选条件为：从若干人物中选出尺寸信息大于预设尺寸信息的人物。
[0009]其中，动态人物特征信息包括各人物在当前视频帧图像中的动作评估结果；基于人物分割结果，得到若干人物的分别与各筛选条件对应的人物特征信息，包括：基于若干人物分别在当前视频帧图像中的位置信息，从当前视频帧图像中提取得到各人物的人物图像区域；分别基于各人物的人物图像区域对各人物进行动作评估，得到各人物的动作评估结果；利用筛选条件对应的人物特征信息筛选符合筛选条件的人物，以作为筛选条件的候选人物，包括：从若干人物中，选出动作评估结果符合对应的筛选条件的人物，作为筛选条件的候选人物。
[0010]其中，若干人物分别在当前视频帧图像中的位置信息包括各人物的掩码图和检测框；基于若干人物分别在当前视频帧图像中的位置信息，从当前视频帧图像中提取得到各人物的人物图像区域，包括：对于各人物，从当前视频帧图像中获取人物的检测框对应的检测图像区域，利用人物的掩码图对人物的检测图像区域进行像素过滤，得到人物的人物图像区域。
[0011]其中，动作评估结果为动作评估分数，动态人物特征信息对应的筛选条件为从若干人物中，选出动作评估分数高于预设分数阈值的人物。
[0012]其中，对当前视频帧图像进行人物分割由人物分割网络执行；对当前视频帧图像进行人物分割，得到人物分割结果，包括：对当前视频帧图像进行特征提取，得到不同尺寸的若干特征图；基于若干特征图进行若干次特征融合，得到不同尺寸的若干特征融合图；对若干特征融合图进行解码，得到当前视频帧图像的人物分割结果。
[0013]其中，对当前视频帧图像进行特征提取，得到不同尺寸的若干特征图包括：依序对当前视频帧图像进行若干次下采样特征提取，得到不同尺寸的若干特征图，前一次特征提取得到的特征图作为下一次特征提取的输入；基于若干特征图进行若干次特征融合，得到不同尺寸的若干特征融合图，包括：按照预设排序方式将若干特征图进行排序，并将排序最前的特征图作为第一目标特征图；对第一目标特征图进行不同膨胀率的若干次空洞卷积，得到空洞卷积结果；依照排序分别将各尺寸的特征图与对应的待融合对象进行特征融合，得到对应的特征融合图，第一目标特征图对应的待融合对象为空洞卷积结果，其他特征图对应的待融合对象是上一次特征融合得到的特征融合图。
[0014]其中，若干人物分别在当前视频帧图像中的位置信息包括各人物的掩码图和检测框；对若干特征融合图进行解码，得到当前视频帧图像的人物分割结果包括：对除目标特征融合图以外的其他特征融合图分别进行解码，得到各其他特征融合图对应的候选检测框；目标特征融合图为对第二目标特征图与对应的待融合对象进行特征融合得到的，第二目标特征图为按照预设排序方式将若干特征图进行排序中，排序最后的特征图；利用各其他特征融合图对应的候选检测框，对目标特征融合图进行解码，得到各候选检测框对应的方向图和置信分布图，方向图表示候选检测框中各位置指向人物中心的方向，置信分布图表示候选检测框中各位置的置信度；对各其他特征融合图对应的候选检测框进行筛选，将筛选得到的各候选检测框作为各人物的检测框，并分别基于筛选得到的各候选检测框对应的方向图和置信分布图得到各人物的掩码图。
[0015]其中，利用当前视频帧图像中关于目标人物的目标图像区域，得到当前待显示图像包括：利用目标人物的位置信息，从当前视频帧图像中确定目标图像区域；利用预设图像
填充当前视频帧图像中除目标图像区域以外的背景部分，得到当前待显示图像。
[0016]为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述任一视频显示方法。
[0017]为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述任一视频显示方法。
[0018]上述方案，通过对当前视频帧画面进行人物分割，得到人物分割结果，从中筛选出符合人物图像显示条件的目标人物，基于目标人物的目标图像区域得到当前待显示图像，通过对视频画面中的人物进行分割和筛选，从中筛选符合人物图像显示条件的目标人物，利用符合人物图像显示条件的部分区域进行显示，实现对视频画面的选择性显示，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频显示方法，其特征在于，所述方法包括：获取当前视频帧图像；对所述当前视频帧图像进行人物分割，得到人物分割结果，所述人物分割结果包括若干人物分别在所述当前视频帧图像中的位置信息；基于所述人物分割结果，从所述若干人物中筛选出符合人物图像显示条件的目标人物；利用所述当前视频帧图像中关于所述目标人物的目标图像区域，得到当前待显示图像。2.根据权利要求1所述的方法，其特征在于，所述人物图像显示条件包括至少一个筛选条件，每个所述筛选条件对应不同人物特征信息，用于基于对应的所述人物特征信息进行筛选；所述基于所述人物分割结果，从所述若干人物中筛选出符合人物图像显示条件的目标人物，包括：基于所述人物分割结果，得到所述若干人物的分别与各所述筛选条件对应的人物特征信息，各所述筛选条件对应的人物特征信息包括静态人物特征信息和动态人物特征信息中的至少一者；对于各所述筛选条件，利用所述筛选条件对应的人物特征信息筛选符合所述筛选条件的所述人物，以作为所述筛选条件的候选人物；基于各所述筛选条件的候选人物，得到所述至少一个目标人物。3.根据权利要求2所述的方法，其特征在于，所述静态人物特征信息包括各所述人物在所述当前视频帧图像中的尺寸信息，所述静态人物特征信息对应的筛选条件包括若干静态子筛选条件，所述若干人物分别在所述当前视频帧图像中的位置信息包括各所述人物的掩码图；所述基于所述人物分割结果，得到所述若干人物的分别与各所述筛选条件对应的人物特征信息，包括：分别基于各所述人物的掩码图，统计得到各所述人物的所述尺寸信息；所述利用所述筛选条件对应的人物特征信息筛选符合所述筛选条件的所述人物，以作为所述筛选条件的候选人物，包括：从所述若干人物中，选出所述尺寸信息符合各所述静态子筛选条件的人物，作为所述筛选条件的候选人物；其中，所述若干静态子筛选条件包括数量子筛选条件和距离子筛选条件中的至少一者；所述数量子筛选条件为：从所述若干人物的所述尺寸信息从大到小排序中，选出位于前预设人物数量的人物；所述距离子筛选条件为：从所述若干人物中选出所述尺寸信息大于预设尺寸信息的人物。4.根据权利要求2所述的方法，其特征在于，所述动态人物特征信息包括各所述人物在所述当前视频帧图像中的动作评估结果；所述基于所述人物分割结果，得到所述若干人物的分别与各所述筛选条件对应的人物特征信息，包括：基于所述若干人物分别在所述当前视频帧图像中的位置信息，从所述当前视频帧图像
中提取得到各所述人物的人物图像区域；分别基于各所述人物的人物图像区域对各所述人物进行动作评估，得到各人物的所述动作评估结果；所述利用所述筛选条件对应的人物特征信息筛选符合所述筛选条件的所述人物，以作为所述筛选条件的候选人物，包括：从所述若干人物中，选出所述动作评估结果符合对应的筛选条件的人物，作为所述筛选条件的候选人物。5.根据权利要求4所述的方法，其特征在于，所述若干人物分别在所述当前视频帧图像中的位置信息包括各所述人物的掩码图和检测框；所述基于所述若干人物分别在所述当前视频帧图像中的位置信息，从所述当前视频帧图像中提取得到各所述人物的人物图像区域，包括：对于各所述人物，从所述当前视频帧图像中获取所述人物的检测框对应的检测图像区域，利用所...

【专利技术属性】
技术研发人员：宋子昂，朱树磊，殷俊，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：