【技术实现步骤摘要】
使用先前帧统计信息经由卷积神经网络来处理视频帧
本申请涉及使用先前帧统计信息经由卷积神经网络来处理视频帧。
技术介绍
可以训练卷积神经网络(CNN)以执行针对输入图像的各种复原任务。例如，这样的复原任务可包括去除噪声、锐化、颜色校正等。
技术实现思路
本申请的一个方面提供了一种用于视频成像的装置，所述装置包括：特征估计器，用于计算在当前帧的经压缩特征集中的特征的局部值；验证器，用于基于所述当前帧的所述经压缩特征集来计算有效性图，该有效性图包括用于全帧求平均的权重；向量生成器，用于基于所述特征的所述局部值和所述权重来生成状态向量；相关性计算器，用于针对与先前帧相关联的经复原状态向量中的每个坐标计算与局部处理的相关性；和向量调制器，用于通过所述相关性来调制所述经复原状态向量，以生成输出特征集。本申请的一个方面提供了一种用于视频成像的方法，所述方法包括：在卷积神经网络(CNN)处接收视频流的帧；经由所述CNN的卷积层生成与该帧相对应的输入通道值；接收输出状态向量，该输出状态向量包括基于与所述视频流的先前...
【技术保护点】
1.一种用于视频成像的装置，所述装置包括：/n特征估计器，用于计算在当前帧的经压缩特征集中的特征的局部值；/n验证器，用于基于所述当前帧的所述经压缩特征集来计算有效性图，该有效性图包括用于全帧求平均的权重；/n向量生成器，用于基于所述特征的所述局部值和所述权重来生成状态向量；/n相关性计算器，用于针对与先前帧相关联的经复原状态向量中的每个坐标计算与局部处理的相关性；和/n向量调制器，用于通过所述相关性来调制所述经复原状态向量，以生成输出特征集。/n
【技术特征摘要】
20200213 US 16/790,4561.一种用于视频成像的装置，所述装置包括：
特征估计器，用于计算在当前帧的经压缩特征集中的特征的局部值；
验证器，用于基于所述当前帧的所述经压缩特征集来计算有效性图，该有效性图包括用于全帧求平均的权重；
向量生成器，用于基于所述特征的所述局部值和所述权重来生成状态向量；
相关性计算器，用于针对与先前帧相关联的经复原状态向量中的每个坐标计算与局部处理的相关性；和
向量调制器，用于通过所述相关性来调制所述经复原状态向量，以生成输出特征集。
2.如权利要求1所述的装置，包括通信地耦合到所述装置的卷积神经网络，所述卷积神经网络包括：
第一层，用于生成所述当前帧的特征集；以及
连结器，用于接收所述输出特征集并基于所述输出特征集来处理图像。
3.如权利要求1所述的装置，包括通道压缩器，用于通过以下操作来生成所述经压缩特征集：减少来自卷积神经网络层的输入特征集的通道的数目。
4.如权利要求1所述的装置，其中，所述相关性计算器、所述特征估计器、和所述验证器中的每一者包括单独的卷积神经网络，该单独的卷积神经网络具有两个或三个卷积层。
5.如权利要求1所述的装置，其中，所述验证器用于：经由所述权重从聚合中排除压缩后的当前帧的一个或多个坐标。
6.如权利要求1所述的装置，其中，所述状态向量包括经聚合的内部特征图的全帧加权平均值。
7.如权利要求1所述的装置，包括通信地耦合到所述装置的卷积神经网络，所述卷积神经网络用于生成所述当前帧的特征集以及接收所述输出特征集。
8.如权利要求1所述的装置，包括与所述装置共同训练的卷积神经网络，其中，感兴趣的退化参数是基于训练数据的多样性在训练期间确定的。
9.如权利要求1至8中任一项所述的装置，其中，所述输出特征集包括针对所述当前帧的相关统计信息。
10.如权利要求1所述的装置，包括通信地耦合到所述装置的卷积神经网络，所述卷积神经网络的拓扑包括：单尺度前馈网络、U-Net、长短期记忆(LSTM)网络、或其任何组合。
11.一种用于视频成像的方法，所述方法包括：
在卷积神经网络(CNN)处接收视频流的帧；
经由所述CNN的卷积层生成与该帧相对应的输入通道值；
接收输出状态向量，该输出状态向量包括基于与所述视频流的先前帧相对应的输入通道值而计算出...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。