【技术实现步骤摘要】
使用神经网络进行基于熵的预滤波用于流式传输应用
技术介绍
[0001]传统的视频游戏流式传输系统采用动态分辨率变化(例如，从1080p到720p等)来应对不断变化的网络条件。例如，这些系统可能会随着网络带宽的下降而降低帧分辨率，并可能随着网络带宽的增加而增加帧分辨率。为此，这些传统系统可能会在视频流中引入编码内帧(“I帧”)或其他帧内类型，以实现分辨率转换。但是，I帧仅进行空间压缩，而不进行时间压缩，因此需要更高的比特率才能传输。因此，由于动态分辨率变化可能是响应已经紧张的网络条件而触发的，因此这些传统系统可能会在信道容量降低的时间内传输高比特率I帧。因此，最终用户设备可能会接收不完整的I帧(例如，由于分组丢失)和/或可能接收具有较高延迟的完整或不完整的I帧。因此，流的帧的图片质量可能会降低，并且帧可能会以更高的延迟接收，从而导致明显的滞后，从而影响用户体验，特别是在高性能应用中，例如云游戏，虚拟现实，增强现实和/或混合现实应用。例如，从这些传统系统接收的流可能显示降级的视频流，其中图像细节因分组丢失而减少，而不考虑重要场景信息的保存。此外，这些传统...
【技术保护点】
【技术特征摘要】
1.一种处理器，包括：处理电路，用于：使用对应于帧的表面法线信息或对应于帧的深度信息中的至少一个来生成指示在所述帧中描绘的边缘的显著性图；使用深度神经网络DNN并至少部分地基于代表所述显著性图和所述帧的数据来计算预滤波帧；以及将代表所述预滤波帧的数据传输到最终用户设备。2.根据权利要求1所述的处理器，其中所述显著性图包括二进制图像或灰度图像中的一个，以及所述显著性图的像素值，其中对应于边缘的像素的像素值的大小能与不对应于边缘的像素的像素值的大小区分开来。3.根据权利要求1所述的处理器，还包括：处理电路，用于对所述预滤波帧进行编码以生成编码帧，其中代表所述预滤波帧的数据为代表所述编码帧的数据。4.根据权利要求1所述的处理器，还包括：处理电路，用于：监视与所述最终用户设备相关联的一个或更多个网络或系统条件；至少部分地基于所述一个或更多个网络或系统条件确定熵控制参数的值；以及至少部分地基于所述值，从多个DNN中选择所述DNN，其中每个DNN对应于所述熵控制参数的相应值。5.根据权利要求1所述的处理器，其中所述深度信息对应于深度图，所述表面法线信息对应于表面法线图，以及生成所述显著性图包括：将所述深度图或所述表面法线图中的至少一个进行缩放或归一化中的至少一项以生成一个或更多个第一中间图；对所述一个或更多个第一中间图进行形态学闭合以生成一个或更多个第二中间图；以及对所述一个或更多个第二中间图执行边缘检测算法以生成所述显著性图。6.根据权利要求5所述的处理器，其中所述边缘检测算法包括Sobel算子。7.根据权利要求1所述的处理器，其中使用对应于维护边缘细节的第一损失函数和对应于滤波的量的第二损失函数对所述DNN进行训练。8.根据权利要求1所述的处理器，其中所述DNN包括自动编码器架构。9.根据权利要求1所述的处理器，其中所述预滤波帧的计算还至少部分地基于应用于所述DNN的熵控制参数值，进一步，其中所述预滤波帧的滤波的量至少部分地基于所述熵控制参数值。10.根据权利要求1所述的处理器，其中所述处理器包括在以下至少一个中：用于执行模拟操作的系统；用于执行深度学习操作的系统；使用边缘设备实现的系统；包含一个或更多个虚拟机VM的系统；至少部分地在数据中心中实现的系统；或者至少部分地使用云计算资源实现的系统。11.一种系统，包括：
一个或更多个处理单元；以及存储指令的一个或更多个存储器单元，所述指令在由所述一个或更多个处理单元执行时，使所述一个或更多个处理单元执行操作，所述操作包括：至少部分地基于对应于最终用户设备的网络或系统条件中的至少一个，从多个深度神经网络DNN中选择一DNN；使用与帧相对应的表面法线或深度值中的至少一个来生成指示所述帧中描绘的边缘的显著性图；使用所选的DNN并且至少部分地基于代表所述显著性图和所述帧的数据来计算预滤波帧；以及将代表所述预...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。