用人工智能视频帧分割处理视频帧像素数据的方法和装置制造方法及图纸

本公开涉及用人工智能视频帧分割处理视频帧像素数据的方法和装置。所公开的示例包括视频帧分割器电路，来生成第一视频帧像素数据的分割数据，该分割数据包括与前景区域和背景区域相对应的元数据，前景区域对应于第一视频帧像素数据。所公开的示例还包括视频编码器电路，来基于分割数据生成第一前景限界区域和第一背景限界区域，确定第一视频帧像素数据的第一虚拟瓦片，第一虚拟瓦片位于第一前景限界区域中，将第一虚拟瓦片编码成视频数据比特流，而不对第一背景限界区域编码，并且经由网络传输视频数据比特流。输视频数据比特流。输视频数据比特流。

【技术实现步骤摘要】
用人工智能视频帧分割处理视频帧像素数据的方法和装置


[0001]本公开概括而言涉及计算机，更具体而言，涉及使用人工智能视频帧分割来处理视频帧像素数据的方法和装置。

技术介绍

[0002]诸如膝上型电脑或移动设备之类的电子用户设备包括相机，以捕捉图像。该相机可在视频呼叫期间被使用，其中该设备的用户的图像被传输到其他用户设备。

技术实现思路

[0003]根据本公开的一方面，提供了一种对视频帧像素数据编码的装置，包括：接口电路，用于对视频帧像素数据编码；以及处理器电路，其包括以下各项中的一个或多个：中央处理单元、图形处理单元或者数字信号处理器中的至少一者，所述中央处理单元、所述图形处理单元或者所述数字信号处理器中的至少一者具有：控制电路，用于控制数据在所述处理器电路内的移动；算术和逻辑电路，用于执行与指令相对应的一个或多个第一操作；以及一个或多个寄存器，用于存储所述一个或多个第一操作的结果，所述指令在所述装置中；现场可编程门阵列(FPGA)，所述FPGA包括逻辑门电路、多个可配置互连、以及存储电路，所述逻辑门电路和互连用于执行一个或多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对视频帧像素数据编码的装置，包括：接口电路，用于对视频帧像素数据编码；以及处理器电路，其包括以下各项中的一个或多个：中央处理单元、图形处理单元或者数字信号处理器中的至少一者，所述中央处理单元、所述图形处理单元或者所述数字信号处理器中的至少一者具有：控制电路，用于控制数据在所述处理器电路内的移动；算术和逻辑电路，用于执行与指令相对应的一个或多个第一操作；以及一个或多个寄存器，用于存储所述一个或多个第一操作的结果，所述指令在所述装置中；现场可编程门阵列(FPGA)，所述FPGA包括逻辑门电路、多个可配置互连、以及存储电路，所述逻辑门电路和互连用于执行一个或多个第二操作，所述存储电路用于存储所述一个或多个第二操作的结果；或者专用集成电路(ASIC)，其包括逻辑门电路来执行一个或多个第三操作；所述处理器电路用于执行所述第一操作、所述第二操作或者所述第三操作中的至少一者，以实例化：视频帧分割器电路，用于生成第一视频帧像素数据的分割数据，所述分割数据包括与前景区域和背景区域相对应的元数据，所述前景区域对应于所述第一视频帧像素数据；以及视频编码器电路，用于：基于所述分割数据生成第一前景限界区域和第一背景限界区域；确定所述第一视频帧像素数据的第一虚拟瓦片，所述第一虚拟瓦片位于所述第一前景限界区域中；将所述第一虚拟瓦片编码成视频数据比特流，而不对所述第一背景限界区域编码；并且提供所述视频数据比特流来经由网络传输。2.如权利要求1所述的装置，其中，所述视频编码器电路用于生成注释区域补充增强信息消息，所述注释区域补充增强信息消息包括与所述第一前景限界区域和所述第一背景限界区域相对应的大小数据、位置数据或标签数据中的至少一者。3.如权利要求1或2所述的装置，其中，所述处理器电路用于执行所述第一操作、所述第二操作或者所述第三操作中的至少一者，以实例化视频解码器电路和视频显示控制器电路，所述视频解码器电路用于：基于经由所述网络接收的注释区域补充增强信息(ARSEI)消息来创建第二前景限界区域和第二背景限界区域；确定第二视频帧像素数据的第二虚拟瓦片，所述第二虚拟瓦片位于所述第二前景限界区域中；并且对所述第二虚拟瓦片解码；所述视频显示控制器电路用于生成与所述第二虚拟瓦片和虚拟背景相对应的视频数据，所述第二虚拟瓦片和所述虚拟背景将被显示在屏幕上。4.如权利要求3所述的装置，其中，所述视频解码器电路用于将经解码的第二虚拟瓦片存储在第二存储器中的缓冲池中。
5.如权利要求1所述的装置，其中，所述视频编码器电路用于生成注释区域补充增强信息消息，所述注释区域补充增强信息消息包括与所述第一前景限界区域和第三背景限界区域相对应的大小数据、位置数据或标签数据中的至少一者，所述第三背景限界区域对应于所述背景区域的一部分，该部分与所述前景区域的一部分重叠。6.至少一个包括指令的计算机可读存储介质，所述指令当被执行时，使得处理器电路至少执行以下操作：生成第一视频帧像素数据的分割数据，所述分割数据包括与前景区域和背景区域相对应的元数据，所述前景区域对应于所述第一视频帧像素数据；基于所述分割数据生成第一前景限界区域和第一背景限界区域；确定所述第一视频帧像素数据的第一虚拟瓦片，所述第一虚拟瓦片位于所述第一前景限界区域中；将所述第一虚拟瓦片编码成视频数据比特流，而不对所述第一背景限界区域编码；并且提供所述视频数据比特流来经由网络传输。7.如权利要求6所述的计算机可读存储介质，其中，所述指令当被执行时，使得所述处理器电路生成注释区域补充增强信息消息，所述注释区域补充增强信息消息包括与所述第一前景限界区域和所述第一背景限界区域相对应的大小数据、位置数据或标签数据中的至少一者。8.如权利要求6或7所述的计算机可读存储介质，其中，所述指令当被执行时，使得所述处理器电路执行以下操作：基于从第二视频编码器电路接收的注释区域补充增强信息(ARSEI)消息来创建第二前景限界区域和第二背景限界区域；确定第二视频帧像素数据的第二虚拟瓦片，所述第二虚拟瓦片位于所述第二前景限界区域中；对所述第二虚拟瓦片解码；并且生成与所述第二虚拟瓦片和虚拟背景相对应的视频信号，所述第二虚拟瓦片和所述虚拟背景将被显示在屏幕上。9.如权利要求8所述的计算机可读存储介质，其中，所述指令当被执行时，使得所述处理器电路将经解码的第二虚拟瓦片存...

【专利技术属性】
技术研发人员：帕拉尼维尔，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：