用于视频处理的方法技术

本公开提供一种用于视频处理的方法

【技术实现步骤摘要】
用于视频处理的方法、装置、系统、设备和介质
[0001]分案声明
[0002]本申请是申请日为
2023
年5月
10
日
、
专利技术名称为“用于视频处理的方法
、
装置
、
系统
、
设备和介质”、
申请号为：
202310521076.8
的中国专利技术专利申请的分案申请
。


[0003]本公开涉及图像处理

、
视频处理
和人工智能
，特别涉及一种用于视频处理的方法
、
电子设备和存储介质
。

技术介绍

[0004]视频内容的传输对因特网的网络带宽带来了压力和挑战，业界致力于开发新的视频编码标准来降低带宽需求
。
而视频的分辨率和帧率的增加进一步提升了视频传输的带宽需求
。
此外，因特网的终点是移动网络，而即使对于
5G
移动网络，带宽也不能保证稳定
。
[0005]人工智能和深度学习被广泛的应用于图像
/
视频处理和生成
、
计算机视觉
、
自动语音识别
、
自动驾驶等各个领域
。
随着图形处理器
(Graphics Processing Unit
，
GPU)
和人工智能
(Artificial Intelligence/>，
AI)
专用集成电路
(Application Specific Integrated Circuit
，
ASIC)
的性能日益提升，
AI
的算力资源越来越强大，成本也越来越低廉
。
[0006]在此部分中描述的方法不一定是之前已经设想到或采用的方法
。
除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术
。
类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认
。

技术实现思路

[0007]根据本公开的一方面，提供一种用于视频处理的方法
。
该方法包括：基于第一预设规则，在待处理视频中确定目标帧和与目标帧对应的相关帧，其中，相关帧包括在目标帧中出现的至少一个目标对象；对相关帧进行分割，以得到第一分割结果；基于第一分割结果获取与相关帧对应的第一掩膜帧，其中，第一掩膜帧包括与至少一个目标对象对应的第一目标区域，并且第一目标区域中每一个像素的像素值指示相关帧中位置对应的像素所属于的目标对象；以及将待处理视频的相关帧替换为对应的第一掩膜帧，以得到待复原视频
。
[0008]根据本公开的一方面，提供一种用于视频处理的方法
。
该方法包括：在待复原视频中确定目标帧和与目标帧对应的第一掩膜帧，其中，目标帧包括至少一个目标对象，第一掩膜帧包括与至少一个目标对象对应的第一目标区域，并且第一目标区域中每一个像素的像素值指示该像素所属于的目标对象；基于目标帧对第一掩膜帧进行复原，以得到与第一掩膜帧对应的复原后的相关帧，其中，相关帧中与的第一目标区域位置对应的区域中的像素的像素值为基于目标帧中与至少一个目标对象对应的区域中的像素的像素值而复原；以及将待复原视频的第一掩膜帧替换为复原后的相关帧
。
[0009]根据本公开的一方面，提供一种用于视频处理的装置
。
该装置包括：第一确定单元，被配置为基于第一预设规则，在待处理视频中确定目标帧和与目标帧对应的相关帧，其
中，相关帧包括在目标帧中出现的至少一个目标对象；分割单元，被配置为对相关帧进行分割，以得到第一分割结果；获取单元，被配置为基于第一分割结果获取与相关帧对应的第一掩膜帧，其中，第一掩膜帧包括与至少一个目标对象对应的第一目标区域，并且第一目标区域中每一个像素的像素值指示相关帧中位置对应的像素所属于的目标对象；以及第一替换单元，被配置为将待处理视频的相关帧替换为对应的第一掩膜帧，以得到待复原视频
。
[0010]根据本公开的一方面，提供一种用于视频处理的装置
。
该装置包括：第二确定单元，被配置为在待复原视频中确定目标帧和与目标帧对应的第一掩膜帧，其中，目标帧包括至少一个目标对象，第一掩膜帧包括与至少一个目标对象对应的第一目标区域，并且第一目标区域中每一个像素的像素值指示该像素所属于的目标对象；复原单元，被配置为基于目标帧对第一掩膜帧进行复原，以得到与第一掩膜帧对应的复原后的相关帧，其中，相关帧中与的第一目标区域位置对应的区域中的像素的像素值为基于目标帧中与至少一个目标对象对应的区域中的像素的像素值而复原；以及第二替换单元，将待复原视频的第一掩膜帧替换为复原后的相关帧
。
[0011]根据本公开的一方面，提供一种用于视频处理的系统
。
该系统包括上述两种用于视频处理的装置
。
[0012]根据本公开的另一方面，提供一种电子设备，包括：处理器；以及存储程序的存储器，该程序包括指令，该指令在由处理器执行时使处理器执行上述方法
。
[0013]根据本公开的另一方面，提供一种存储程序的非暂态计算机可读存储介质，包括指令，该指令在由电子设备的处理器执行时，致使电子设备执行上述方法
。
[0014]根据本公开的另一方面，提供一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现上述方法
。
[0015]根据本公开的实施例，通过在目标帧中保留目标对象，而在和相关帧对应的掩膜帧中抹除目标对象的视觉内容信息并保留目标对象的情景信息
(
例如，位置
、
形状
、
类别
)
，进而在复原视频时可以基于目标帧的视觉信息重构相关帧，实现了在不影响视频的图像质量的情况下，在视频存储和传输等环节对视频数据进行压缩，降低了视频数据所占用的存储空间的大小，并降低了传输过程中对带宽的需求
。
[0016]根据在下文中所描述的实施例，本公开的这些和其它方面将是清楚明白的，并且将参考在下文中所描述的实施例而被阐明
。
附图说明
[0017]附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式
。
所示出的实施例仅出于例示的目的，并不限制权利要求的范围
。
在所有附图中，相同的附图标记指代类似但不一定相同的要素
。
[0018]图1是示出了根据本公开的示例性实施例的可以在其中实施本文描述的各种方法的示例性系统的示意图和对目标帧和相关帧进行处理的示意图；
[0019]图2是示出根据示例性实施例的用于视频处理的方法的流程图；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种用于视频处理的方法，其特征在于，所述方法包括：基于第一预设规则，在待处理视频中确定目标帧和与所述目标帧对应的相关帧，其中，所述相关帧包括在所述目标帧中出现的至少一个目标对象；对所述相关帧进行分割，以得到第一分割结果；基于所述第一分割结果获取与所述相关帧对应的第一掩膜帧，其中，所述第一掩膜帧包括与所述至少一个目标对象对应的第一目标区域，并且所述第一目标区域中每一个像素的像素值指示所述相关帧中位置对应的像素所属于的目标对象；以及将所述待处理视频的所述相关帧替换为对应的第一掩膜帧，以得到待复原视频
。2.
根据权利要求1所述的方法，其特征在于，所述第一目标区域包括与所述至少一个目标对象各自对应的至少一个第一目标子区域，其中，同一第一目标子区域中的任意两个像素具有相同的像素值，并且取自不同第一目标子区域的两个像素具有不同的像素值
。3.
根据权利要求1所述的方法，其特征在于，所述第一掩膜帧包括与所述第一目标区域不重叠的第一非目标区域，所述第一非目标区域中每一个像素的像素值是基于所述相关帧中位置对应的像素的像素值所确定的
。4.
根据权利要求1‑3中任一项所述的方法，其特征在于，所述第一预设规则包括以下中的至少一项：将所述待处理视频中的第一帧确定为目标帧；将与上一个视频帧的场景不同的视频帧确定为目标帧；以及将与上一个目标帧的间隔大于预设间隔的视频帧确定为目标帧
。5.
根据权利要求1‑3中任一项所述的方法，其特征在于，所述待处理视频包括多个目标帧，所述第一预设规则包括：将当前目标帧和下一个目标帧之间的视频帧确定为与所述当前目标帧对应的相关帧
。6.
根据权利要求1‑3中任一项所述的方法，其特征在于，所述第一掩膜帧的尺寸和颜色模式与所述相关帧的尺寸和颜色模式相同
。7.
根据权利要求6所述的方法，其特征在于，所述方法还包括：对所述待复原视频进行视频编码，以得到目标视频或视频流；以及向第一终端发送所述目标视频或视频流
。8.
根据权利要求1‑3中任一项所述的方法，其特征在于，所述第一目标区域包括与所述至少一个目标对象各自对应的至少一个第一目标子区域，所述方法还包括：确定所述待处理视频包括的多个待处理对象，所述多个待处理对象包括所述至少一个目标对象，其中，所述第一分割结果包括所述相关帧的原始掩膜图像，所述原始掩膜图像中每一个像素的像素值指示所述相关帧中位置对应的像素与所述多个待处理对象的从属关系，其中，所述基于所述第一分割结果获取与所述相关帧对应的第一掩膜帧包括：针对所述多个待处理对象中的每一个待处理对象，响应于确定该待处理对象属于所述至少一个目标对象，基于第二预设规则，在所述原始掩膜图像中的属于该待处理对象的像素中确定至少一个目标像素；以及将所述第一掩膜帧中与所述至少一个目标像素位置对应的区域确定为所述第一掩膜帧中与该待处理对象对应的第一目标子区域
。
9.
根据权利要求8所述的方法，其特征在于，所述第二预设规则包括所述至少一个目标对象各自对应的至少一个目标像素的总数量是否达到预设数量
。10.
根据权利要求8所述的方法，其特征在于，所述第一分割结果还包括所述从属关系的置信度，其中，所述第二预设规则包括所述原始掩膜图像中的属于所述至少一个目标对象的像素的对应的置信度是否大于预设置信度
。11.
根据权利要求8所述的方法，其特征在于，所述方法还包括：响应于从第一终端接收到在第一掩膜帧中保留其中一个目标对象的请求，将所述其中一个目标对象从所述多个待处理对象中移除
。12.
根据权利要求8所述的方法，其特征在于，所述方法还包括：响应于从第一终端接收到调整第一目标区域的请求，更新所述第二预设规则
。13.
一种用于视频处理的方法，其特征在于，所述方法包括：在待复原视频中确定目标帧和与所述目标帧对应的第一掩膜帧，其中，所述目标帧包括至少一个目标对象，所述第一掩膜帧包括与所述至少一个目标对象对应的第一目标区域，并且所述第一目标区域中每一个像素的像素值指示该像素所属于的目标对象；基于所述目标帧对所述第一掩膜帧进行复原，以得到与所述第一掩膜帧对应的复原后的相关帧，其中，所述相关帧中与所述的第一目标区域位置对应的区域中的像素的像素值是基于所述目标帧中与所述至少一个目标对象对应的区域中的像素的像素值而复原；以及将所述待复原视频的所述第一掩膜帧替换为所述复原后的相关帧
。14.
根据权利要求
13
所述的方法，其特征在于，所述基于所述目标帧对所述第一掩膜帧进行复原，以得到与所述第一掩膜帧对应的复原后的相关帧包括：将所述目标帧和所述第一...

【专利技术属性】
技术研发人员：高熙和，张磊，
申请(专利权)人：瀚博半导体上海有限公司，
类型：发明
国别省市：