【技术实现步骤摘要】
说明书公开一种通过超级分辨率演算法得出大尺寸影像的技术，特别是一种通过遮罩与类神经网络技术训练一非整数倍率超级分辨率模型的训练方法、超级分辨率方法与系统。
技术介绍
1、现有超级分辨率(super resolution)是一种可以提高影像分辨率的演算技术，常配合人工智能技术以机器学习演算法提高影像分辨率，称人工智能超级分辨率(artificial intelligence super resolution，aisr)演算法，其中技术概念是使用大量范例照片来训练基于卷积神经网络(convolution neural network)的超级分辨率机器学习模型(super resolution machine learning model)，训练模型以低分辨率影像匹配高分辨率影像，例如可将1,000万像素的影像提高为4,000万像素的影像，同时还能保有照片丰富的细节。现有超级分辨率演算法的运行方式可参考图1显示的概念图，输入影像101为低分辨率影像，经过超级分辨率机器学习模型103处理后，输出影像105即为演算得出的高分辨率影像。
2、目前现有人工智能超级分辨率(aisr)演算法技术与硬件设计主要都是做整数倍率(1x,2x,3x,……)的设计，另有一些技术曾提及如何利用演算法去处理任意倍率放大。
3、关于整数倍率的人工智能超级分辨率演算法，现有曾有论文提出实现单张影像超级分辨率的增强型深度残差网络(enhanced deep residual networks for single imagesuper res
4、关于以任意倍率执行超级分辨率演算法的方法，现有提出一种用于超级分辨率的任意放大网络(magnification-arbitrary network for super resolution)，仅以单一模型实现任意尺度的超级分辨率演算法，其中通过输入尺度系数(scale factors)与使用动态预测的提升尺度滤波器权重(weights of upscale filters)，可以将低分辨率影像形成任意尺寸的高分辨率影像。
5、而在现有基于神经网络的硬件设计中，需要利用管路(pipeline)方式处理输入输出的信息。在实际应用上，当输出/输入(output/input)比例不是整数时，会有所限制导致不能够直接利用人工智能超级分辨率技术提升影像画质，而需要在演算过程的后半段加上尺度计(scaler)以内插方式补足不到的放大倍率。
6、相关演算法示意图可参考图2，根据实作上述超级分辨率演算法的管路硬件设计，在超级分辨率机器学习模型203中除了超级分辨率模型(sr model)外，还设有影像放大转换器(image up-scaling converter)。列举整数倍率放大的范例，可参考图3显示通过硬件运行超级分辨率演算法的时序示意图，当应用超级分辨率演算法的输入影像201大小为10(像素)x10(行)，设定尺度系数(scaling factor)为2x，通过超级分辨率机器学习模型203中的影像放大功能转换形成22(4)张输入小图，如图显示为单线单像素图211、单线双像素图212、双线单像素图213以及双线双像素图214，之后再重组回一张大图，此例显示输出20(像素)x20(行)的输出影像205。也就是说，参考图3显示的时序图，当在相同时间内输入具有一条10像素线的输入影像信号301，经过超级分辨率机器学习模型203后，将输出两条20像素的输出影像信号305。
7、另外，针对非整数倍率放大的超级分辨率演算法，因为传统的人工智能超级分辨率演算法无法实现非整数倍率放大，因此采取两阶段方式先做，根据图4显示实作非整数倍率的现有超级分辨率演算法范例示意图，举例来说，输入影像401大小为10(像素)x10(行)，设定尺度系数为1.5x，先通过超级分辨率机器学习模型403执行第一阶段超级分辨率演算法，输出第一输出影像405，之后再通过一个影像倍率转换器407，转换成为非整数倍率放大的第二输出影像409，例如在尺度系数为1.5x的倍率下输出15(像素)x15(行)的影像。
8、在实际运行上，以输入10(像素)x10(行)影像为例，输入影像401通过超级分辨率机器学习模型403可形成同样是10(像素)x10(行)的第一输出影像405，之后再进行放大转换为15(像素)x15(行)的第二输出影像409。或是先通过超级分辨率机器学习模型403执行2x放大倍率形成20(像素)x20(行)的第一输出影像405，之后再以缩小倍率的方式形成15(像素)x15(行)的第二输出影像409。
9、然而，现有的非整数倍率超级分辨率演算法仍会因为第二阶段的影像放大转换器407放大或缩小的效果不好而产生像素丢失(missing pixels)的问题。
技术实现思路
1、为了实现非整数倍率超级分辨率演算法，并解决现有非整数倍率超级分辨率演算法仍需要采用传统的影像倍率转换器产生的问题，本公开书提出一种超级分辨率模型的训练方法、超级分辨率方法与系统、应用其中人工智能超级分辨率模型的超级分辨率演算法与系统，借此实现非整数倍率人工智能的超级分辨率演算法，其中根据影像信息取得影像倍率转换所需的遮罩信息，并据此训练超级分辨率机器学习模型，能够得出效果更好的大尺寸高分辨率影像。
2、根据非整数倍率人工智能的超级分辨率模型的训练方法实施例，在此方法中，提供一输入影像，并设定一放大倍率与一影像品质门限，经取得输入影像的像素值后，获取影像特征，即根据输入影像的影像特征与所设定的放大倍率，通过一超级分辨率模型得出多张通道图，之后根据该放大倍率，对照输出像素的位置得到的相位信息，得出每张通道图对应的遮罩，再将多张通道图套用对应的多个遮罩后，重组一输出影像，之后可以对照所设定的影像品质门限，评估取得输出影像的多个遮罩，据此训练一人工智能超级分辨率模型。
3、优选地，在训练模型的过程中，通过反复以上步骤，通过迭代程序更新该非整数倍率人工智能的超级分辨率模型的模型参数，使输出影像符合影像品质门限。
4、进一步地，还可重复输入不同的输入影像，利用大量的影像与迭代程序，收敛得出人工智能超级分辨率模型的模型参数。
5、优选地，上述模型参数可实作一倒传递类神经网络的卷积运算中的每个节点之间连结的权重值。
6、其中由超级分辨率模型得出多张通道图通过对应多个遮罩推导出输出影像，而此推导输出影像的过程即根据相位信息得出对应的多个遮罩的过程。
7、应用上述非整数倍率人工智能的超级分辨率模型的训练方法所得出的人工智能超级分辨率模型，实现一超级分辨率方法，其中将可根据一非整数倍率，使一输入影像通过人工智能超级分辨率模型得出经过非整数倍率放大的输出影像。
8、公开书还提出一应用上述人工智能超级分辨率模型的系统，系统主要的电路元件包括一运行超本文档来自技高网...
【技术保护点】
1.一种非整数倍率人工智能的超级分辨率模型的训练方法，包括：
2.如权利要求1所述的非整数倍率人工智能的超级分辨率模型的训练方法，其中，通过反复该非整数倍率人工智能的超级分辨率模型的训练方法的步骤，通过一迭代程序更新该非整数倍率人工智能的超级分辨率模型的模型参数，使该输出影像符合该影像品质门限。
3.如权利要求2所述的非整数倍率人工智能的超级分辨率模型的训练方法，其中训练该人工智能超级分辨率模型的步骤还包括：重复输入不同的输入影像，利用大量的影像与迭代程序，收敛得出该人工智能超级分辨率模型的模型参数，其中该模型参数为实作一倒传递类神经网络的一卷积运算中的每个节点之间连结的权重值。
4.如权利要求2所述的非整数倍率人工智能的超级分辨率模型的训练方法，其中由该超级分辨率模型得出多张通道图通过对应所述多个遮罩推导出该输出影像，推导该输出影像的过程即根据该相位信息得出对应的所述多个遮罩的过程。
5.如权利要求4所述的非整数倍率人工智能的超级分辨率模型的训练方法，其中在该遮罩的设计中，每张通道图的像素对应到该输出影像的像素标上1，其余没有对应
6.一种超级分辨率方法，应用如权利要求1所述的非整数倍率人工智能的超级分辨率模型的训练方法所得出的一人工智能超级分辨率模型，根据一非整数倍率，使一输入影像通过该人工智能超级分辨率模型得出经过非整数倍率放大的一输出影像。
7.一种应用人工智能超级分辨率模型的系统，所述人工智能超级分辨率模型通过如权利要求1所述的非整数倍率人工智能的超级分辨率模型的训练方法所得出，该系统包括：
8.如权利要求7所述的应用人工智能超级分辨率模型的系统，其中该系统实作应用于一影音装置中的一特殊应用集成电路。
9.如权利要求8所述的应用人工智能超级分辨率模型的系统，其中该系统通过降低该运行超级分辨率模型的电路的工作频率到一适当比例运行该超级分辨率方法。
10.如权利要求8所述的应用人工智能超级分辨率模型的系统，其中该存储器为一先进先出式静态随机存取存储器，该系统使该运行超级分辨率模型的电路与该影像倍率卷积运算电路运行于一相同工作频率，并采用该先进先出式静态随机存取存储器，以运行该超级分辨率方法。
...【技术特征摘要】
1.一种非整数倍率人工智能的超级分辨率模型的训练方法，包括：
2.如权利要求1所述的非整数倍率人工智能的超级分辨率模型的训练方法，其中，通过反复该非整数倍率人工智能的超级分辨率模型的训练方法的步骤，通过一迭代程序更新该非整数倍率人工智能的超级分辨率模型的模型参数，使该输出影像符合该影像品质门限。
3.如权利要求2所述的非整数倍率人工智能的超级分辨率模型的训练方法，其中训练该人工智能超级分辨率模型的步骤还包括：重复输入不同的输入影像，利用大量的影像与迭代程序，收敛得出该人工智能超级分辨率模型的模型参数，其中该模型参数为实作一倒传递类神经网络的一卷积运算中的每个节点之间连结的权重值。
4.如权利要求2所述的非整数倍率人工智能的超级分辨率模型的训练方法，其中由该超级分辨率模型得出多张通道图通过对应所述多个遮罩推导出该输出影像，推导该输出影像的过程即根据该相位信息得出对应的所述多个遮罩的过程。
5.如权利要求4所述的非整数倍率人工智能的超级分辨率模型的训练方法，其中在该遮罩的设计中，每张通道图的像素对应到该输出影像的像素标上1，其余没有对...
【专利技术属性】
技术研发人员：包苡廷，余家伟，王浩然，林天鸿，
申请(专利权)人：瑞昱半导体股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。