【技术实现步骤摘要】
本公开的实施例总体上涉及机器学习和计算机视觉，并且更具体地，涉及使用深度神经网络的稀疏颜色重建。
技术介绍
1、可穿戴设备(例如，虚拟现实(virtual reality，vr)、增强现实(augmentedreality，ar)和/或混合现实(mixed reality，mr)头戴式设备(headset))可以包括采集用户周围的物理空间的摄像头。例如，可穿戴设备可以包括一个或多个摄像头传感器，该一个或多个摄像头传感器采集来自用户周围的环境的光线。然后，来自该一个或多个摄像头传感器的像素值可以与ar内容、vr内容或其他生成的内容组合成图像或视频，这些图像或视频由可穿戴设备上的显示器输出给用户。
2、在一些情况下，可穿戴设备上的摄像头传感器往往比数码相机和其他类型的电子设备上的摄像头传感器更小、分辨率更低。例如，ar或vr头戴式设备中的摄像头传感器可能包括数百万的像素，而手机或数码相机中的摄像头传感器可能包括数千万的像素。此外，ar或vr头戴式设备上的摄像头传感器可以包括比手机或数码相机中的摄像头传感器更少数量的像素尺寸相同的...
【技术保护点】
1.一种用于执行稀疏颜色重建的计算机实现的方法，所述方法包括：
2.根据权利要求1所述的计算机实现的方法，还包括：将所述神经网络应用于与第二输入图像相关联的附加特征图，以生成所述输出图像。
3.根据权利要求2所述的计算机实现的方法，其中，所述第一输入图像包括第一视频帧，并且所述第二输入图像包括在所述第一视频帧之前的第二视频帧。
4.根据权利要求2所述的计算机实现的方法，其中，所述神经网络包括一个或多个循环回路，所述一个或多个循环回路基于所述附加特征图，生成所述特征图的至少一个子集。
5.根据权利要求1所述的计算机实现的方...
【技术特征摘要】
1.一种用于执行稀疏颜色重建的计算机实现的方法，所述方法包括：
2.根据权利要求1所述的计算机实现的方法，还包括：将所述神经网络应用于与第二输入图像相关联的附加特征图，以生成所述输出图像。
3.根据权利要求2所述的计算机实现的方法，其中，所述第一输入图像包括第一视频帧，并且所述第二输入图像包括在所述第一视频帧之前的第二视频帧。
4.根据权利要求2所述的计算机实现的方法，其中，所述神经网络包括一个或多个循环回路，所述一个或多个循环回路基于所述附加特征图，生成所述特征图的至少一个子集。
5.根据权利要求1所述的计算机实现的方法，还包括：基于所述第二组颜色值与第三组颜色值之间的一个或多个损失来训练所述神经网络，所述第三组颜色值包括在与所述第一输入图像相关联的地面真值图像中。
6.根据权利要求5所述的计算机实现的方法，其中，所述一个或多个损失包括所述第二组颜色值与所述第三组颜色值之间的l1损失。
7.根据权利要求1所述的计算机实现的方法，其中，所述第一组稀疏颜色值在所述第一输入图像所包括的像素值的总数的1％至16％的范围内。
8.根据权利要求1所述的计算机实现的方法，其中，所述多组像素值还包括与所述第一组亮度值相关联的一组边缘像素值。
9.根据权利要求1所述的计算机实现的方法，还包括：从rgbw传感器接收所述第一组亮度值和所述第一组稀疏颜色值。
10.根据权利要求1所述的计算机实现的方法，其中，所述神经网络包括u-net架构。
11.一种或多种非暂态计算机可读介质，所述一种或多种非暂态计算机可读介质存储指令，所述指令在由一个或多个处理器执行时，...
【专利技术属性】
技术研发人员：英格丽德·安达·科托罗斯，拉克什·兰詹，维卡斯·钱德拉，王乐乐，查克拉瓦蒂·雷迪·阿拉·柴坦尼亚，
申请(专利权)人：元平台技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。