【技术实现步骤摘要】
增强帧序列的质量的方法及系统
[0001]本专利技术的实施例涉及图像处理技术，更具体地，涉及图像及视频处理以执行帧质量增强。
技术介绍
[0002]典型的边缘电子设备，例如电视、智能手机、可穿戴设备、便携式计算设备、游戏设备等，由于对功耗和热性能的严格要求而具有有限的计算能力。边缘设备上的图形渲染(Graphics rendering)操作通常会产生大量的图形处理单元(Graphics Processing Unit，GPU)工作负载。为了保持进行平滑图像显示的目标帧速率，边缘设备可能会遭受高功耗。有时，由于各种资源限制，例如高计算工作量和功耗限制，无法实现目标帧速率。因此，需要改进图像处理技术以最小化资源限制对帧质量的影响。
技术实现思路
[0003]本专利技术提供了增强帧序列的质量的方法及系统。
[0004]在一个实施例中，本专利技术提供的增强引擎增强帧序列的质量的方法，可包括：从第一级电路接收到具有至少一个质量下降的帧的帧序列，其中该质量下降包括不均匀分辨率和不均匀每秒帧数(FPS)中至少一种；...
【技术保护点】
【技术特征摘要】
1.一种增强引擎增强帧序列的质量的方法，其特征在于，包括：从第一级电路接收到具有至少一个质量下降的帧的帧序列，其中该质量下降包括不均匀分辨率和不均匀每秒帧数中至少一种；使用基于该质量下降的帧的查询输入来查询信息库以获得该质量下降的帧的参考信息作为查询输出；对该查询输入和该查询输出应用神经网络来产生优化后的帧；将包括该优化后的帧的增强后的帧序列发送给第二级电路。2.如权利要求1所述的增强引擎增强帧序列的质量的方法，其特征在于，该神经网络对该质量下降的帧执行超分辨率操作和修复操作中至少一个。3.如权利要求1所述的增强引擎增强帧序列的质量的方法，其特征在于，该信息库通过互联网访问。4.如权利要求1所述的增强引擎增强帧序列的质量的方法，其特征在于，该信息库是由该增强引擎读写的数据库。5.如权利要求4所述的增强引擎增强帧序列的质量的方法，其特征在于，该数据库存储多组关键元素和相应的值，其中使用基于该质量下降的帧的查询输入来查询信息库以获得该质量下降的帧的参考信息作为查询输出包括：使用给定的神经网络并基于该质量下降的帧生成特征图；使用该特征图的元素来查询该数据库中的关键元素以生成一组混合权重；和对该相应的值应用该组混合权重或导致该组混合权重被应用于该相应的值以生成该查询输出的元素。6.如权利要求5所述的增强引擎增强帧序列的质量的方法，其特征在于，该使用给定的神经网络并基于该质量下降的帧生成特征图进一步包括：将该给定的神经网络应用于该质量下降的帧中具有缺失像素的区域以生成该特征图。7.如权利要求4所述的增强引擎增强帧序列的质量的方法，其特征在于，该数据库存储多个(关键元素，值)对，且其中每一个该关键元素的长度与每一个相应的值的长度无关。8.如权利要求4所述的增强引擎增强帧序列的质量的方法，其特征在于，还包括：基于该帧序列中的一给定帧中的对象的第一区域计算图像嵌入；对该图像嵌入应用卷积核权重或导致卷积权重被应用于该图像嵌入来获得新的(关键元素，值)对；通过将该新的(关键元素，值)对加入该数据库来扩展该数据库或导致该数据库被拓展。9.如权利要求8所述的增强引擎增强帧序列的质量的方法，其特征在于，还包括：其中该质量下降的帧包括该给定帧的一后续帧，且使用基于该质量下降的帧的查询输入来查询信息库以获得该质量下降的帧的参考信息作为查询输出包括：使用基于该后续帧的查询输入查询扩展后的该数据库来获得该后续帧中该对象的第二区域上的信息，其中该第二区域在该给定帧中可见并且在该后续帧中至少预测为可见。10.如权利要求4所述的增强引擎增强帧序列的质量的方法，其特征在于，还包括：基于该帧序列中的一给定帧中的对象的第一区域计算图像嵌入；对该图像嵌入应用卷积核权重或导致该卷积权重被应用于该图像嵌入来获得新的(关
键元素，值)对；通过用该新的(关键元素，值)对替换现有的(关键元素，值)对来更新该数据库或导致该数据库被更新。11.如权利要求8或10所述的增强引擎增强帧序列的质量的方法，其特征在于，对该图像嵌入应用卷积核权重或导致该卷积权重被应用于该图像嵌入来获得新的(关键元素，值)对进一步包括：对该图像嵌入应用该卷积核权重或导致该卷积权重被应用于该图像嵌入来获得中间(关键元素，值)对，并对该中间(关键元素，...
【专利技术属性】
技术研发人员：王耀笙，丛培贵，吕佳倪，张棹闵，林钰盛，黄伟文，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。