流媒体系统和流媒体服务器技术方案

提供了流媒体系统和流媒体服务器。所述流媒体系统包括流媒体服务器和客户端设备。所述流媒体服务器被配置为：基于流媒体数据、用户输入和与所述用户输入相关联的元数据，训练交互式帧预测模型；通过选择性地使用基于训练后的所述交互式帧预测模型生成的预测帧，对所述流媒体数据进行编码；以及发送训练后的所述交互式帧预测模型和编码后的所述流媒体数据。所述客户端设备被配置为：接收训练后的所述交互式帧预测模型和编码后的所述流媒体数据；以及基于训练后的所述交互式帧预测模型对编码后的所述流媒体数据进行解码，以将恢复后的流媒体数据提供给用户。体数据提供给用户。体数据提供给用户。

【技术实现步骤摘要】
流媒体系统和流媒体服务器
[0001]相关申请的交叉引用
[0002]本申请要求于2020年4月16日在韩国知识产权局(KIPO)提交的韩国专利申请No.10
‑
2020
‑
0045787的优先权，其全部内容通过引用合并于此。


[0003]示例实施例总体上涉及提供流媒体数据(streaming data)，并且更具体地涉及提供具有交互式方案的流媒体服务的流媒体系统(streaming system)和流媒体服务器(streaming server)。

技术介绍

[0004]诸如游戏流媒体的交互式流媒体服务是最近出现的下一代领域之一。近来，引入了高规格游戏，而由于客户端设备不能运行高规格游戏而使得游戏流媒体服务变得重要。在游戏流媒体服务中，重要的是迅速为用户提供高分辨率帧。

技术实现思路

[0005]一些示例实施例提供了一种流媒体系统，该流媒体系统能够基于用户输入自适应地使用交互式帧预测模型。
[0006]一些示例实施例提供了一种提供交互式流媒体服务的方法，该方法能够基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种流媒体系统，所述流媒体系统包括：流媒体服务器，所述流媒体服务器被配置为：基于流媒体数据、用户输入和与所述用户输入相关联的元数据，训练交互式帧预测模型，通过选择性地使用基于训练后的所述交互式帧预测模型生成的预测帧，对所述流媒体数据进行编码，以及发送训练后的所述交互式帧预测模型和编码后的所述流媒体数据；以及客户端设备，所述客户端设备被配置为：接收训练后的所述交互式帧预测模型和编码后的所述流媒体数据，以及基于训练后的所述交互式帧预测模型对编码后的所述流媒体数据进行解码，以将恢复后的流媒体数据提供给用户。2.根据权利要求1所述的流媒体系统，其中，所述流媒体服务器包括：处理器；存储器，所述存储器耦接到所述处理器，所述存储器存储指令；运行服务器，所述运行服务器耦接到所述处理器，所述运行服务器包括编码器和被配置为生成所述流媒体数据的图形处理单元；以及训练服务器，所述训练服务器耦接到所述处理器，所述训练服务器被配置为存储被配置为实现所述交互式帧预测模型的神经网络。3.根据权利要求2所述的流媒体系统，其中，所述处理器被配置为执行所述指令，使得：所述图形处理单元被配置为将所述流媒体数据提供给所述训练服务器；并且使得所述训练服务器被配置为：将所述流媒体数据的帧、所述用户输入和所述元数据应用于所述交互式帧预测模型以训练所述交互式帧预测模型，使得所述交互式帧预测模型提供关于所述流媒体数据的对象帧的预测帧，当完成对所述交互式帧预测模型的训练时，向所述客户端设备发送训练后的所述交互式帧预测模型，以及将所述预测帧提供给所述编码器。4.根据权利要求3所述的流媒体系统，其中，所述处理器被配置为响应于所述预测帧的压缩率和与所述预测帧相关联的期望帧的压缩率之间的差在参考范围内，确定完成了对所述交互式帧预测模型的训练。5.根据权利要求4所述的流媒体系统，其中，所述处理器被配置为执行所述指令，使得：所述编码器被配置为：通过参考从所述流媒体数据的前一帧和所述预测帧中选择的较高相似度帧对所述对象帧进行编码，将编码后的所述流媒体数据提供给所述客户端设备，所述较高相似度帧与所述对象帧具有较高相似度，所述前一帧是所述对象帧的前一帧；以及通过参考所述较高相似度帧来执行运动估计。6.根据权利要求2所述的流媒体系统，其中，所述训练服务器被配置为通过进一步将超分辨率模型应用于所述流媒体数据的帧，来调整所述流媒体数据的所述帧的分辨率。7.根据权利要求1所述的流媒体系统，其中，所述客户端设备包括：
显示器；通信接口；输入/输出接口，所述输入/输出接口被配置为接收所述用户输入；处理器，所述处理器耦接到所述显示器、所述输入/输出接口和所述通信接口；以及存储器，所述存储器耦接到所述处理器，所述存储器存储指令。8.根据权利要求7所述的流媒体系统，其中，所述处理器被配置为执行所述指令，使得：所述输入/输出接口被配置为通过所述通信接口向所述流媒体服务器提供所述用户输入和基于所述用户输入的所述元数据；并且所述通信接口被配置为接收训练后的所述交互式帧预测模型，以将训练后的所述交互式帧预测模型存储在所述存储器中，从而通过将编码后的所述流媒体数据、所述用户输入和所述元数据应用于训练后的所述交互式帧预测模型来生成预测帧。9.根据权利要求8所述的流媒体系统，其中，所述处理器包括解码器，所述解码器被配置为通过选择性地使用所述预测帧来对编码后的所述流媒体数据进行解码，以生成恢复后的所述流媒体数据；并且所述处理器被配置为执行所述指令以在所述显示器中显示恢复后的所述流媒体数据。10.根据权利要求7所述的流媒体系统，其中，训练后的所述交互式帧预测模型对应于还应用了分辨率调整模型的模型，其中，所述处理器被配置为执行所述指令，从而：通过所述通信接口接收第一编码流媒体数据，所述第一编码流媒体数据对应于与第一域相关联的原始流媒体数据的第一分辨率；在与所述原始流媒体数据的多个分辨率相对应的多个训练后的交互式帧预测模型当中选择第一训练后的交互式帧预测模型，基于所述第一训练后的交互式帧预测模型，将所述第一流媒体数据解码成第一恢复流媒体数据，以及在所述显示器中显示所述第一恢复流媒体数据。11.根据权利要求10所述的流媒体系统，其中，所述第一域包括与多个区域相对应的多个子域。12.根据权利要求10所述的流媒体系统，其中，所述处理器被配置为基于所述用户输入选择与所述第一分辨率相对应的所述第一训练后的交互式帧预测模型。13.根据权利要求1所述的流媒体系...

【专利技术属性】
技术研发人员：全亨峻，河相赫，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：