提高影像媒体质量的方法技术

一种提高影像媒体质量的方法，其使用内建于客户端装置且经预先训练的人工智能增强模块来提高影像串流的质量。该AI增强模块是在服务器中以神经网络进行预先训练来分析由服务器产生的原图影像与经压缩的压缩影像之间的差异。其中，AI增强模块使用经由分析由服务器产生的原图影像与经压缩的压缩影像之间差异所得到的数学算式来提高压缩影像的质量。藉此，被提高后的影像在视觉上会比该压缩影像更接近该原图影像。

【技术实现步骤摘要】
提高影像媒体质量的方法
本专利技术是关于一种提高影像媒体质量的方法，尤指一种藉由内建于客户端装置且经预先训练的人工智能(ArtificialIntelligent；简称AI)增强模块来提高影像媒体质量的方法。
技术介绍
近几年来，网络在线游戏在全世界越来越受欢迎。在云端(Cloud-Based)运算相关系统与技术的发展下，一种由服务器将游戏内容串流以提供服务的技术也被开发出。传统上提供此类云端在线游戏(On-LineGame)服务的方式是让服务器进行几乎全部的运算。换言之，当提供在线游戏服务时，一特定应用程序会在服务器中执行以产生一包含许多3D(ThreeDimensional)对象的虚拟3D环境，其中包含了可被玩家控制或移动的3D对象。然后，依据玩家的控制结果，该服务器把这些3D对象与虚拟3D环境渲染(Render)至一2D(TwoDimensional)游戏画面中，以供显示在玩家的装置上。接着，服务器将渲染后的影像编码(Encode)压缩成2D影像串流并传送给玩家的装置。该玩家装置只需将接收到的2D影像串流译码后加以「播放」，无须进本文档来自技高网...

【技术保护点】
1.一种提高影像媒体质量的方法，其特征在于，包括以下步骤：/n步骤(A)：在一服务器中执行一第一应用程序；该第一应用程序依据至少一指令来产生多个原图影像；该多个原图影像被该服务器内的一编码器进行编码与压缩以产生多个编码后的影像；/n步骤(B)：在远离该服务器的一客户端装置内执行有一第二应用程序；该第二应用程序是关连于且合作于该第一应用程序；藉此，该客户端装置供一用户操作并产生与发送该指令给该服务器；/n步骤(C)：该客户端装置将该指令经由一网络传送给该服务器，然后经由该网络接收由该服务器产生且相对应于该指令的该多个编码后的影像；/n步骤(D)：该客户端装置将该多个编码后的影像译码成多个译码后的...

【技术特征摘要】
20180703 US 16/027,0221.一种提高影像媒体质量的方法，其特征在于，包括以下步骤：
步骤(A)：在一服务器中执行一第一应用程序；该第一应用程序依据至少一指令来产生多个原图影像；该多个原图影像被该服务器内的一编码器进行编码与压缩以产生多个编码后的影像；
步骤(B)：在远离该服务器的一客户端装置内执行有一第二应用程序；该第二应用程序是关连于且合作于该第一应用程序；藉此，该客户端装置供一用户操作并产生与发送该指令给该服务器；
步骤(C)：该客户端装置将该指令经由一网络传送给该服务器，然后经由该网络接收由该服务器产生且相对应于该指令的该多个编码后的影像；
步骤(D)：该客户端装置将该多个编码后的影像译码成多个译码后的影像，并使用一AI增强模块来增强该多个译码后的影像的质量，以产生多个增强后的影像；其中，该AI增强模块藉由分析该多个译码后的影像与相对应的该多个原图影像之间的差异所预先得到的至少一数学表达式来处理该多个译码后的影像；藉此，所得到的该多个增强后的影像在视觉上将会比该多个译码后的影像更接近于该多个原图影像；以及
步骤(E)：该客户端装置将该增强后的影像输出至一屏幕以作为被播放的输出影像。


2.如权利要求1所述的方法，其特征在于，该AI增强模块的该至少一数学表达式是藉由该服务器内的一人工神经网络模块所执行的一训练程序来定义；该训练程序包括：
步骤(a)：在一训练模式中执行该第一应用程序以产生多个训练原图影像；
步骤(b)：将该多个训练原图影像藉由该编码器编码成为多个训练编码影像；
步骤(c)：藉由该服务器中的一训练译码器将该多个训练编码影像译码成为多个训练译码影像；
步骤(d)：该人工神经网络模块接受该多个训练译码影像并使用至少一训练数学表达式来逐一处理该训练译码影像，以产生多个训练输出影像；该至少一训练数学表达式包含多个训练加权参数；
步骤(e)：以一比较与训练模块来逐一比较该训练输出影像与相对应的该训练原图影像之间的差异，并据以调整该至少一训练数学表达式的该多个训练加权参数；该多个训练加权参数被调整成使得该训练输出影像与相对应的该训练原图影像之间的差异最小化；每一次当该多个训练加权参数被调整后，该多个调整后的训练加权参数就会被回馈给该至少一训练数学表达式以供在步骤(d)中处理下一个该训练译码影像；
其中，在进行过预定数量的该训练输出影像与相对应的该训练原图影像的比较、以及预定次数的该训练加权参数的调整程序后，最后所得到的该多个训练加权参数会被应用在该客户端装置的该AI增强模块内来作为其数学表达式的加权参数。


3.如权利要求2所述的方法，其特征在于，当该训练译码影像和该训练输出影像具有相同颜色格式时，该人工神经网络模块是一残差网络模块；并且在步骤(d)中，每一个该训练输出影像都是相对应的该训练译码影像与该残差网络模块处理该训练译码影像的输出的加总。


4.如权利要求2所述的方法，其特征在于，在步骤(e)中，该比较与训练模块使用一鉴别器来比较该训练输出影像与相对应的该训练原图影像之间的差异，并据以收敛生成对抗网络损失及调整该训练加权参数。


5.如权利要求4所述的方法，其特征在于，该训练及比较模块的该鉴别器是以下列方式训练：
该训练原图影像包括n信道，其中n为大于2的正整数；该训练译码影像包括m信道，其中m为大于2的正整数；
于步骤(d)中，该人工神经网络模块处理该m信道的训练译码影像并产生n信道的训练输出影像；该n信道的训练输出影像及与其相对应的该m信道的训练译码影像被结合以产生多个具有m+n信道的仿真假样本；并且，该n信道的训练原图影像和其相对应的该m信道的训练译码影像两者结合以产生多个具有m+n信道的仿真真样本；
于步骤(e)中，该m+n信道的仿真假样本和该m+n信道的仿真真样本被回馈至该比较与训练模块的鉴别器以供训练该鉴别器去侦测及分辨该仿真假样本和该仿真真样本的能力。


6.如权利要求2所述的方法，其特征在于：
该训练原图影像是的颜色格式是YUV420，且该训练译码影像的颜色格式是RGB或YUV420；
于步骤(d)中，该人工神经网络模块包括一第一神经网络以及一第二神经网络；该第二神经网络是一卷积神经网络；该第一神经网络接受并处理该多个训练译码影像以供产生多个第一输出影像X2其具有和该训练原图影像相同的编码格式；该第二神经网络接受并处理该多个第一输出影像X2以供产生多个第二输出影像；该第一输出影像X2和该第二输出影像两者被相加以产生该训练输出影像；
于步骤(e)中，该比较与训练模块包含一第一比较器及一第二比较器；该第一比较器比较该第一输出影像X2与其相对应的该训练原图影像之间的差异以供训练该第一神经网络；该第二比较器比较该训练输出影像与其相对应的该训练原图影像之间的差异以供训练该第二神经网络。


7.如权利要求6所述的方法，其特征在于，于步骤(d)中，该第一神经网络接受并处理具YUV420颜色格式的该训练译码影像的步骤包括：
提取该训练译码影像中的Y-part数据，由具标准大小的该第一神经网络来处理该训练译码影像的Y-part数据以产生Y-part输出数据；
提取该训练译码影像中的UV-part数据，由具两倍放大的该第一神经网络来处理该训练译码影像的UV-part数据以产生具N信道的UV-part输出数据；
将该Y-part输出数据与该UV-part输出数据相加以产生该训练输出影像。


8.如权利要求6所述的方法，其特征在于，于步骤(d)中，该第一神经网络接受并处理具YUV420颜色格式的该训练译码影像的步骤包括：
该训练译码影像包括N信道，且N是大于2的正整数；
提取该训练译码影像中的Y-part数据；
提取该训练译码影像中的UV-part数据，并使用具两倍放大的该第一神经网络来处理该训练译码影像的UV-part数据以产生具N-1信道的UV-part输出数据；
以合并函数Concat处理该Y-part数据及该UV-part数据以产生该训练输出影像。


9.如权利要求1所述的方法，其特征在于，该客户端装置的该AI增强模块的该至少一数学表达式包括多个加权参数；该加权参数是和该译码后的影像及相对应的该原图影像之间的差异相关连，且是藉由该服务器内的一人工神经网络模块所执行的一训练程序来定义；其中，该加权参数是以下其中之一：预先储存于该客户端装置中、当该客户端装置执行该第二应用程序时才从该服务器下载至该客户端装置。


10.如权利要求9所述的方法，其特征在于：
由该第一应用程序所产生的该多个原图影像被区分为多组场景，每一场景各包含多个该原图影像；
客户端装置中的该AI增强模块所使用的该多个加权参数也被区分为多组，每一组分别包含多个该加权参数而且是对应于其中之一该场景；
对应于不同该场景的该原图影像的该多个译码后的影像会被同一个该AI增强模块使用该多个不同组的该加权参数中与该场景相对应的该组加权参数来进行影像增强处理；
其中，当该多个不同组的加权参数是全部预先储存于该客户端装置内时，每当该场景改变，相对应于改变后的新场景的该组加权参数就会被运用于该AI增强模块中以供产生该增强后的影像；
其中，当该多个不同组的加权参数是全部储存于该服务器端时，每当该场景改变，相对应于改变后的新场景的该组加权参数就会由服务器被下载至该客户端装置，然后被运用于该AI增强模块中以供产生该增强后的影像。


11.如权利要求2所述的方法，其特征在于，在该训练模式中，该多个训练原图影像是高质量的影像；该多个高质量的训练原图影像是符合以下一或多个性质的影像：具有较高分辨率、具有较大视野、具有较高影格速率、拥有双眼立体信息、拥有视觉深度信息、拥有额外颜色信息、拥有较佳音讯、高采样频率或高分辨率；
于步骤(a)与步骤(b)之间更增加以下步骤：影像劣化处理；以一劣化模块将该多个训练原图影像加以劣化以降低其影像质量，以获得以获得符合以下所述一或多个性质的劣化后的训练原图影像：以取样方式来降低分辨率，以剪裁方式来缩小视野，以抛弃影格的方式来降低影格速率，以撷取方式将双眼立体信息取出单一画面，舍弃视觉深度信息，舍弃视觉深度信息，将音频转换成立体双声道、降低采样频率)、降低分辨率，加入噪声，模糊化；
于步骤(b)中，将该多个劣化后的训练原图影像藉由该编码器加以编码压缩成为多个该训练编码影像。


12.如权利要求2所述的方法，其特征在于，于步骤(d)中，在该训练模式中，该人工神经网络模块是接受该训练译码影像的数个影格并据以产生并输出该训练输出影像的至少一个影格；并且，于步骤(D)中，在客户端装置中，该AI增强模块是接受该译码后的影像的数个影格并据以产生并输出该增强后的影像的至少一个影格。


13.如权利要求2所述的方法，其特征在于，该人工神经网络模块接受及处理该训练译码影像以及一音频；并且，该AI增强模块接受及处理该译码后的影像以及另一音频。


14.一种提高影像媒体质量的方法，其特征在于，包括：
提供一包括一AI增强模块的一客户端装置，该AI增强模块包括预先定义的至少一数学表达式，且该至少一数学表达式中包含有至少一加权参数；该至少一数学表达式的该至少一加权参数是藉由一服务器内的一人工神经网络...

【专利技术属性】
技术研发人员：郭荣昌，魏泽人，邓安伦，曾玉如，江容，
申请(专利权)人：日商优必达株式会社股份有限公司，
类型：发明
国别省市：日本;JP