通过提供几何代理进行视频编码制造技术

压缩视频帧包括接收视频帧、在该帧中标识三维(3D)对象、将3D对象与所存储的3D对象进行匹配、基于3D对象和所存储的3D对象使用颜色预测方案压缩视频帧、以及存储具有元数据的压缩帧，该元数据标识3D对象，指示3D对象在视频帧中的位置，并指示3D对象在视频帧中的定向。

【技术实现步骤摘要】
【国外来华专利技术】通过提供几何代理进行视频编码相关申请本申请是2018年9月26日提交的美国非临时申请No.16/143,165的继续并且要求其权益，其全部内容通过引用合并于此。
实施例涉及对三维(3D)视频数据进行压缩和解压缩。
技术介绍
用于视频压缩的技术都通过通用方法相关。通常，视频的帧通过将该帧的块定义为残差(例如，依据从先前帧或将来帧的位移)来临时压缩。对于帧内具有可以通过平面内刚性变换表征的残差的对象(例如，随时间推移在图像平面中移位和旋转的对象)，此压缩技术通常是可接受的(例如，在解压缩时具有最小的伪像或误差)。尽管此模型捕获许多视频动态源(例如，相机或场景平移)，但是存在常见场景，针对其这不是最佳模型(解压缩时效率低下或包含过多的伪像或误差)。换句话说，典型的预测方案可以可靠地预测先前和/或未来帧(例如，关键帧)中的像素/块/补片，以用于当对象大部分线性移动和/或具有从帧到帧的可预测运动。然而，当对象具有从帧到帧的动态非线性运动时，典型的预测方案可能无法可靠地预测先前帧和/或未来帧(例如，关键帧)中的像素/块/补片本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n接收视频的帧；/n在所述帧中标识三维(3D)对象；/n将所述3D对象与所存储的3D对象进行匹配；/n基于所述3D对象和所存储的3D对象使用颜色预测方案压缩所述视频的帧；以及/n存储具有元数据的压缩帧，所述元数据标识所述3D对象，指示所述3D对象在所述视频的帧中的位置并指示所述3D对象在所述视频的帧中的定向。/n

【技术特征摘要】
【国外来华专利技术】20180926 US 16/143,1651.一种方法，包括：
接收视频的帧；
在所述帧中标识三维(3D)对象；
将所述3D对象与所存储的3D对象进行匹配；
基于所述3D对象和所存储的3D对象使用颜色预测方案压缩所述视频的帧；以及
存储具有元数据的压缩帧，所述元数据标识所述3D对象，指示所述3D对象在所述视频的帧中的位置并指示所述3D对象在所述视频的帧中的定向。


2.根据权利要求1所述的方法，其中基于所述3D对象和所存储的3D对象使用所述颜色预测方案压缩所述视频的帧包括：
基于所存储的3D对象生成第一3D对象代理；
基于在所述帧中标识的所述3D对象变换所述第一3D对象代理；
基于所存储的3D对象生成第二3D对象代理；
在所述视频的关键帧中标识所述3D对象；
基于在所述关键帧中标识的所述3D对象变换所述第二3D对象代理；
将颜色属性从所述3D对象映射到经变换的第一3D对象代理；
将颜色属性从在所述关键帧中标识的所述3D对象映射到经变换的第二3D对象代理；以及
基于所述经变换的第一3D对象代理的颜色属性以及所述经变换的第二3D对象代理的颜色属性生成所述3D对象的残差。


3.根据权利要求1所述的方法，其中，基于所述3D对象和所存储的3D对象使用所述颜色预测方案压缩所述视频的帧包括：
基于所存储的3D对象生成第一3D对象代理；
基于在所述帧中标识的所述3D对象变换所述第一3D对象代理；
基于所存储的3D对象生成第二3D对象代理；
在所述视频的关键帧中标识所述3D对象；
基于在所述关键帧中标识的所述3D对象变换所述第二3D对象代理；
将颜色属性从所述3D对象映射到经变换的第一3D对象代理；以及
基于所述经变换的第一3D对象代理的颜色属性和所述经变换的第二3D对象代理的默认颜色属性生成所述3D对象的残差。


4.根据权利要求1所述的方法，其中基于所述3D对象和所存储的3D对象使用所述颜色预测方案压缩所述视频的帧包括：
基于所存储的3D对象生成第一3D对象代理；
使用自动编码器对所述第一3D对象代理进行编码；
基于在所述帧中标识的所述3D对象变换所编码的第一3D对象代理；
基于所存储的3D对象生成第二3D对象代理；
使用自动编码器对所述第二3D对象代理进行编码；
在所述视频的关键帧中标识所述3D对象；
基于在所述关键帧中标识的所述3D对象变换所编码的第二3D对象代理；
将颜色属性从所述3D对象映射到经变换的第一3D对象代理；
将颜色属性从在所述关键帧中标识的所述3D对象映射到经变换的第二3D对象代理；以及
基于所述经变换的第一3D对象代理的颜色属性以及所述经变换的第二3D对象代理的颜色属性生成所述3D对象的残差。


5.根据权利要求1所述的方法，其中基于所述3D对象和所存储的3D对象使用所述颜色预测方案压缩所述视频的帧包括：
基于所存储的3D对象生成第一3D对象代理；
使用自动编码器对所述第一3D对象代理进行编码；
基于在所述帧中标识的所述3D对象变换所编码的第一3D对象代理；
基于所存储的3D对象生成第二3D对象代理；
使用自动编码器对所述第二3D对象代理进行编码；
在所述视频的关键帧中标识所述3D对象；
基于在所述关键帧中标识的所述3D对象变换所编码的第二3D对象代理；
将颜色属性从所述3D对象映射到经变换的第一3D对象代理；以及
基于所述经变换的第一3D对象代理的颜色属性和所述经变换的第二3D对象代理的默认颜色属性生成所述3D对象的残差。


6.根据权利要求1所述的方法，进一步包括：
在存储所述3D对象之前：
标识与所述视频相关联的至少一个感兴趣的3D对象；
确定与所述感兴趣的3D对象相关联的多个网格属性；
确定与所述感兴趣的3D对象相关联的位置；
确定与所述感兴趣的3D对象相关联的定向；
确定与所述感兴趣的3D对象相关联的多个颜色属性；以及
使用自动编码器减少与所述感兴趣的3D对象的网格属性相关联的变量的数量。


7.根据权利要求1所述的方法，其中压缩所述视频的帧包括确定所述3D对象相对于关键帧中的背景3D对象的原点坐标的位置坐标。


8.根据权利要求1所述的方法，其中：
所存储的3D对象包括默认颜色属性，并且
所述颜色预测方案使用所述默认颜色属性。


9.根据权利要求1所述的方法，进一步包括：
标识与所述视频相关联的至少一个感兴趣的3D对象；
基于所述至少一个感兴趣的3D对象，生成至少一个所存储的3D对象，所述至少一个所存储的3D对象中的每一个由包括通过面连接的点的集合的网格定义，每个点存储至少一个属性，所述至少一个属性包括相应点的位置坐标；以及
与所述视频相关联地存储所述至少一个所存储的3D对象。


10.一种方法，包括：
接收视频的帧；
在所述帧中标识三维(3D)对象；
将所述3D对象与所存储的3D对象进行匹配；
基于所述3D对象和所存储的3D对象使用颜色预测方案解压缩所述视频的帧；以及
渲染所述视频的帧。


11.根据权利要求10所述的方法，其中基于所述3D对象和所存储的3D对象使用所述颜色预测方案解压缩所述视频的帧包括：
基于所存储的3D对象生成第一3D对象代理；
基于在所述帧中标识的所述3D对象变换所述第一3D对象代理；
在所述视频的关键帧中标识所述3D...

【专利技术属性】
技术研发人员：迈克尔·和梅尔，阿米什·马卡迪亚，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US