在多相机/麦克风系统中应用风格转移函数的系统和方法技术方案

本文公开了在多相机/麦克风系统中应用风格转移函数的系统和方法。示例多相机风格转移系统包括：至少一个存储器；系统中的指令；以及处理器电路，用于执行指令以至少将风格转移函数应用于来自第二视频馈送的第二图像以基于参考图像生成风格化图像。参考图像对应于来自第一视频馈送的第一图像。第一视频馈送来自第一相机。第二视频馈送来自第二相机。处理器电路还执行指令以基于风格化图像来调整视频过滤器的一个或多个参数设置，并且使用具有调整后的参数设置的视频过滤器来过滤第二视频馈送以生成第二视频馈送的过滤后版本。送以生成第二视频馈送的过滤后版本。送以生成第二视频馈送的过滤后版本。

【技术实现步骤摘要】
在多相机/麦克风系统中应用风格转移函数的系统和方法


[0001]本公开总体上涉及多传感器系统，更具体而言，涉及用于在多相机系统和多麦克风系统中应用风格转移函数(style transfer function)的系统和方法。

技术介绍

[0002]现今，多传感器系统被用于许多环境中。例如，直播者常常利用多个相机和/或多个麦克风。直播者可以在流媒体会话期间在某些相机和/或麦克风之间进行切换，以向其观众进行广播。多相机和/或多麦克风系统也被用于其他场景中，例如视频会议、体育比赛广播，等等。

技术实现思路

[0003]根据本公开的第一方面，提供了一种多相机风格转移系统，包括：至少一个存储器；所述系统中的指令；以及处理器电路，用于执行所述指令以至少执行以下操作：将风格转移函数应用于来自第二视频馈送的第二图像以基于参考图像生成风格化图像，所述参考图像对应于来自第一视频馈送的第一图像，所述第一视频馈送来自第一相机，所述第二视频馈送来自第二相机；基于所述风格化图像来调整视频过滤器的一个或多个参数设置；并且使用具有调整后的参数设置的视频过滤器来过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多相机风格转移系统，包括：至少一个存储器；所述系统中的指令；以及处理器电路，用于执行所述指令以至少执行以下操作：将风格转移函数应用于来自第二视频馈送的第二图像以基于参考图像生成风格化图像，所述参考图像对应于来自第一视频馈送的第一图像，所述第一视频馈送来自第一相机，所述第二视频馈送来自第二相机；基于所述风格化图像来调整视频过滤器的一个或多个参数设置；并且使用具有调整后的参数设置的视频过滤器来过滤所述第二视频馈送以生成所述第二视频馈送的过滤后版本。2.根据权利要求1所述的多相机风格转移系统，其中，所述风格转移函数是逼真风格转移函数。3.根据权利要求1所述的多相机风格转移系统，其中，所述风格转移函数是机器学习模型。4.根据权利要求3所述的多相机风格转移系统，其中，所述风格转移函数是神经网络(NN)风格转移函数。5.根据权利要求1所述的多相机风格转移系统，其中，所述参数设置对应于视觉特性，所述视觉特性包括以下各项中的至少一者：色温、色调、曝光、白平衡、色相、饱和度、或者亮度。6.根据权利要求1所述的多相机风格转移系统，其中，所述处理器电路通过以下操作来调整所述视频过滤器的一个或多个参数设置：使用具有第一参数设置的视频过滤器来过滤所述第二图像以生成过滤后图像；并且应用损失函数，以用于：确定所述风格化图像和所述过滤后图像之间的差异；并且基于所述风格化图像和所述过滤后图像之间的差异来将所述第一参数设置改变到第二参数设置。7.根据权利要求1所述的多相机风格转移系统，其中，所述处理器电路确定是否要更新所述参考图像。8.根据权利要求7所述的多相机风格转移系统，其中，所述处理器电路基于参数与阈值的比较来确定是否要更新所述参考图像。9.根据权利要求8所述的多相机风格转移系统，其中，所述参数包括以下各项中的至少一者：时间限制、来自所述第一视频馈送的当前图像和所述参考图像之间的差异、或者所述第一视频馈送中的场景变化。10.根据权利要求1
‑
9中任一项所述的多相机风格转移系统，其中，所述处理器电路用于：识别所述参考图像中的第一片段；识别所述第二图像中的第二片段；将所述风格转移函数应用于所述第二图像中的第二片段以生成所述风格化图像；基于所述风格化图像来调整所述视频过滤器的一个或多个参数设置；并且
使用具有调整后的参数设置的视频过滤器来过滤所述第二视频馈送中的对应片段。11.一种非暂时性计算机可读存储介质，包括指令，所述指令在被执行时，使得至少一个处理器至少执行以下操作：将风格转移函数应用于来自第二视频馈送的第二图像以基于参考图像生成风格化图像，所述参考图像对应于来自第一视频馈送的第一图像，所述第一视频馈送来自第一相机，所述第二视频馈送来自第二相机；基于所述风格化图像来调整视频过滤器的一个或多个参数设置；并且使用具有调整后的参数设置的视频过滤器来过滤所述第二视频馈送以生成所述第二视频馈送的过滤后版本。12.根据权利要求11所述的非暂时性计算机可读存储介质，其中，所述风格转移函数是逼真风格转移函数。13.根据权利要求11所述的非暂时性计算机可读存储介质，其中，所述风格转移函数是机器学习模型。14.根据权利要求13所述的非暂时性计算机可读存储介质，其中，所述风格转移函数是神经网络(NN)风格转移函数。15.根...

【专利技术属性】
技术研发人员：斯坦利，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：