图像收发系统、数据收发系统、收发方法、计算机程序、图像发送系统、图像接收装置、发送系统、接收装置制造方法及图纸

由服务器(2

【技术实现步骤摘要】
【国外来华专利技术】图像收发系统、数据收发系统、收发方法、计算机程序、图像发送系统、图像接收装置、发送系统、接收装置


[0001]本专利技术披露涉及图像收发系统、数据收发系统、收发方法、计算机程序、图像发送系统、图像接收装置、发送系统、接收装置，特别是适用于发布服务器向观众所用客户端发布视频内容的视频发布系统的结构。

技术介绍

[0002]使用了图像发布系统，在该系统中，发布用服务器向观众所用客户端发送视频或静态图像，以及按需合成声音的图像内容(又称“图像节目”“节目”“内容”，以下也会使用此类说法)，观众观看显示于客户端显示画面上的图像内容。
[0003]例如，以下专利文献1的图1、0012段至0016段以及0032段至0035段等披露了以下系统结构：多个终端装置400通过网络500连接至发布视频数据的流服务器300，可根据用户的选择操作从多个视频数据中选择所期视频数据并接收发布。现有技术文献专利文献
[0004]专利文献1：日本国特许第5956761号公报专利文献2：日本国特开2017—123649号公报专利文献3：日本国特开2017—49686号公报专利文献4：日本国特开2017—158067号公报专利文献5：日本国特开2015—201819号公报

技术实现思路

专利技术致力于解决的课题
[0005]特别是视频内容应发送的数据量较大，发布源即内容发布用服务器通过广域网(含因特网通信网络)等通信路径，向接收端即观众所用终端发布视频内容时，通信路径负荷增大；如接收终端数继续增多，或发布集中于一定时间段，则容易导致数据密集，发布中断。
[0006]对此，上述专利文献2披露的视频编码系统，如0024段至0025段等记载，在通过只具备有限带宽的因特网通信网络收发视频流观看视频的系统中，需要使用可为压缩视频数据而在实质上降低数字视频信号数据比的高效数字视频编码。而专利文献2所披露系统具备的编码器，首先将视频流拆分为多个场景，并确定每个场景所属的场景类型，如“高速运动”“静止”“说话的人物头像”“文字”“片头或片尾字幕”“几乎全黑图像”“图像长度少于5帧的短场景”等，再运用事先为各场景类型定义的视频编码参数(图像编码参数)输出经编码的视频流。
[0007]为提升压缩视频内容带宽的效率，还可选择降低发送视频内容数据的发送速率(比特率)，即以较少数据量发送的方法。但是，该方法会使视频内容数据中所含数据量减
少，导致图像品质下降，即容易缺失细节信息或显示包含块噪声或蚊式噪声的图像，从而引发观众(用户)不满。
[0008]另一方面，为改变此类缺失细节的图像数据，提升分辨率，生成接近原图像的图像，还提出了利用机器学习技术(包括深度学习)等多项提案，尽管机器学习的框架最初的设计意图并非应用于视频内容发布系统。
[0009]例如，上述专利文献3披露了将低画质图像复原为高画质图像的技术(称为“超解像技术”)，首先将整个过程分为学习过程和复原过程，前者是制作复原所用辞典数据库的过程，后者是利用该辞典数据库将低画质图像复原为高画质图像的过程(0043段)。过程中使用了学习型超解像技术。在学习过程，成对制作源于同一学习图像中同一局部区域的微尺寸高像素图像，以及降低该高像素图像画质的低质图像；在复原过程，从即将复原的低画质图像裁剪补丁图像，在经学习后存入辞典数据库的微尺寸低质图像中确定与该补丁图像类似的低质图像，再合成与该低质图像对应的微尺寸高像素图像，从而将图像复原为高画质。
[0010]另外，在同样利用深度学习复原高像素图像的上述专利文献4中还披露，当可能出现多种拍摄对象物体时，为提供监控准确性更高的监控系统(0004段)，如0015段、0029段至0041段记载，采用了利用对应对象物体种类的辞典数据64执行超解像处理的结构；辞典数据64中包括为获取经超解像处理图像而执行卷积运算时所需的系数，是通过深度学习等手法学习多个正确数据即高像素数据与低像素数据的组合后生成的产物。因此，后段图像处理部54会利用通过该学习生成的辞典数据64，对实际得到的图像执行卷积运算，获取高像素图像(放大图像)。
[0011]另外，在同样利用深度学习复原高像素图像的上述专利文献5中披露了，针对模拟记录媒体(录像带、胶片等)所记录低质视频的画质提升系统。
[0012]然而，上述各专利文献披露的结构，并未针对如前所述用于在发布源向接收端发布视频内容等大量图像数据时降低通信路径等负荷且发布图像品质适当的视频内容的结构，进行任何披露或暗示。
[0013]本专利技术的目的是，解决上述各类传统技术至今未能解决的课题，即在通过只具备有限带宽的因特网通信网络收发视频流观看视频的系统中，提供图像收发系统、数据收发系统、收发方法、计算机程序、图像发送系统、图像接收装置、发送系统、接收装置，可高效压缩传输带宽，复原图像具备接近原图像分辨率并高效减轻操作者负担。解决课题的方法
[0014]本专利技术为解决上述课题，提供图像收发系统、数据收发系统、收发方法、计算机程序、图像发送系统、图像接收装置、发送系统、接收装置，具体如以下各项所示。1)图像收发系统，其特征在于：其单个或多个发送装置至少任一个具备通过机器学习生成模型数据的机器学习部，该模型数据用于根据将原图像编码为低比特率的经低比特率编码图像生成更接近原图像的改良图像；其单个或多个发送装置至少任一个具备向该发送装置外部发送经低比特率编码图像和模型数据的发送部；其接收装置具备根据接到的经低比特率编码图像及模型数据，生成该经低比特率
编码图像的改良图像的改良图像生成部。
[0015]2)如1)所述的图像收发系统，其特征在于，机器学习所用数据还包括经低比特率编码图像的元信息。
[0016]3)如2)所述的图像收发系统，其特征在于，经低比特率编码图像的元信息是图像编码技术中编码块量化参数(QP)、预测误差系数、预测模式信息和运动矢量中至少任一种信息。
[0017]4)如1)至3)中任一项所述的图像收发系统，其特征在于，其单个或多个发送装置至少任一个还具备基于发送部发送的任一经低比特率编码图像的有关信息，从多个数据中选择与经低比特率编码图像同时发送的模型数据的模型数据选择部。
[0018]5)数据收发系统，其特征在于：其单个或多个发送装置至少任一个具备通过机器学习生成模型数据的机器学习部，该模型数据用于根据将原数据编码为低比特率的经低比特率编码数据生成更接近原数据的改良数据；其单个或多个发送装置至少任一个具备向该发送装置外部发送经低比特率编码数据和模型数据的发送部；其接收装置具备根据接到的经低比特率编码数据及模型数据，生成该经低比特率编码数据的改良数据的改良数据生成部。
[0019]6)图像的收发方法，其特征在于，具备以下步骤：单个或多个发送装置至少任一个具备的机器学习部通过机器学习生成模型数据的步骤，该模型数据用于根据将原图像编码为低比特率的经低比特率编码图像生成更接近原图像的改良图像；单个或多个发送装置至少任一个具备的发送部向该发送装置外部发送经低比本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.图像收发系统，其特征在于：其单个或多个发送装置至少任一个具备通过机器学习生成模型数据的机器学习部，该模型数据用于根据将所述原图像编码为低比特率的经低比特率编码图像生成更接近原图像的改良图像；其所述单个或多个发送装置至少任一个具备向该发送装置外部发送所述经低比特率编码图像和所述模型数据的发送部；其接收装置具备根据接到的所述经低比特率编码图像及所述模型数据，生成该经低比特率编码图像的所述改良图像的改良图像生成部。2.如权利要求1所述的图像收发系统，其特征在于，所述机器学习所用数据还包括所述经低比特率编码图像的元信息。3.如权利要求2所述的图像收发系统，其特征在于，所述经低比特率编码图像的元信息是图像编码技术的编码块量化参数(QP)、预测误差系数、预测模式信息和运动矢量中的至少任一种信息。4.如权利要求1至3中任一项所述的图像收发系统，其特征在于，其所述单个或多个发送装置至少任一个还具备基于所述发送部发送的任一所述经低比特率编码图像的有关信息，从多个数据中选择与所述经低比特率编码图像同时发送的所述模型数据的模型数据选择部。5.数据收发系统，其特征在于：其单个或多个发送装置至少任一个具备通过机器学习生成模型数据的机器学习部，该模型数据用于根据将原数据编码为低比特率的经低比特率编码数据生成更接近所述原数据的改良数据；其所述单个或多个发送装置至少任一个具备向该发送装置外部发送所述经低比特率编码数据和所述模型数据的发送部；其接收装置具备根据接到的所述经低比特率编码数据及所述模型数据，生成该经低比特率编码数据的所述改良数据的改良数据生成部。6.图像的收发方法，其特征在于，具备以下步骤：单个或多个发送装置至少任一个具备的机器学习部通过机器学习生成模型数据的步骤，该模型数据用于根据将原图像编码为低比特率的经低比特率编码图像生成更接近所述原图像的改良图像；所述单个或多个发送装置至少任一个具备的发送部向该发送装置外部发送所述经低比特率编码图像和所述模型图像的步骤；接收装置的改良图像生成部根据接到的所述经低比特率编码图像及所述模型数据，生成该经低比特率编码图像的所述改良图像的步骤。7.如权利要求6所述的收发方法，其特征在于，所述机器学习所用数据还包括所述经低比特率编码图像的元信息。8.如权利要求7所述的收发方法，其特征在于，所述经低比特率编码图像的元信息是图像编码技术的编码块量化参数(QP)、预测误差系数、预测模式信息和运动矢量中的至少任一种信息。9.如权利要求6至8中任一项所述的收发方法，其特征在于，所述单个或多个发送装置
至少任一个还具备基于所述发送部发送的所述经低比特率编码图像的有关信息，从多个数据中选择与所述经低比特率编码图像同时发送的所述模型数据的模型数据选择部。10.收发方法，其特征在于，具备以下步骤：单个或多个发送装置至少任一个具备的机器学习部通过机器学习生成模型数据的步骤，该模型数据用于根据将原数据编码为低比特率的经低比特率编码数据生成更接近所述原数据的改良数据；所述...

【专利技术属性】
技术研发人员：小岛尚，草野一彦，加藤肇，
申请(专利权)人：多玩国株式会社，
类型：发明
国别省市：