终端设备、视频增强方法、计算机设备及介质技术

本发明专利技术实施例公开一种终端设备、视频增强方法、计算机设备及介质。在一具体实施方式中，终端设备包括：获取模块，用于获取视频数据；解码模块，用于对视频数据进行逐帧解码处理；颜色增强模块，用于按解码顺序对解码处理得到的每一视频帧进行颜色增强处理；超分辨率模块，用于按解码顺序对每一颜色增强处理后的视频帧进行超分辨率处理；编码模块，用于按解码顺序对每一超分辨率处理处理后的视频帧进行编码处理；其中，解码模块、颜色增强模块、超分辨率模块和编码模块基于多线程流水线处理框架进行多线程并发执行处理，解码模块调用CPU或GPU的资源，颜色增强模块调用GPU的资源，超分辨率模块调用NPU的资源，编码模块调用终端设备的CPU或GPU的资源。备的CPU或GPU的资源。备的CPU或GPU的资源。

【技术实现步骤摘要】
终端设备、视频增强方法、计算机设备及介质


[0001]本专利技术涉及计算机
更具体地，涉及一种终端设备、视频增强方法、计算机设备及介质。

技术介绍

[0002]目前，手机、平板电脑、笔记本电脑等终端设备可以进行视频增强，以提升视频质量，为用户提供更好的观看体验。专利技术人发现，由于用户的终端设备往往数据处理能力有限，因此无法兼顾视频增强的效率和效果，如果降低视频增强的效果以适应终端设备的数据处理能力则视频质量提升有限，如果要保证视频增强的效果则视频增强的效率难以得到保证，无法实现实时的视频画质增强，播放时会出现延迟、卡顿的现象。因此，已有的视频增强方式限制了终端设备进行实时有效的视频增强，特别是对于数据处理能力较低的终端设备而言。

技术实现思路

[0003]本专利技术的目的在于提供一种终端设备、视频增强方法、计算机设备及介质，以解决现有技术存在的问题中的至少一个。
[0004]为达到上述目的，本专利技术采用下述技术方案：
[0005]本专利技术第一方面提供了一种终端设备，包括：
[0006]获取模块，用于获取视频数据；
[0007]解码模块，用于对所述视频数据进行逐帧解码处理；
[0008]颜色增强模块，用于按照解码处理顺序对解码处理得到的每一视频帧进行颜色增强处理；
[0009]超分辨率模块，用于按照解码处理顺序对每一颜色增强处理后的视频帧进行超分辨率处理；
[0010]编码模块，用于按照解码处理顺序对每一超分辨率处理处理后的视频帧进行编码处理；
[0011]其中，所述解码模块、所述颜色增强模块、所述超分辨率模块和所述编码模块基于多线程流水线处理框架进行多线程并发执行处理，所述解码模块调用所述终端设备的中央处理器或图形处理器的资源，所述颜色增强模块调用所述终端设备的图形处理器的资源，所述超分辨率模块调用所述终端设备的神经网络处理器的资源，所述编码模块调用所述终端设备的中央处理器或图形处理器的资源。
[0012]可选地，所述解码模块、所述颜色增强模块、所述超分辨率模块和所述编码模块基于多线程流水线处理框架进行的多线程并发执行处理配置为采用信号量进行同步控制。
[0013]可选地，对于所述解码模块、所述颜色增强模块、所述超分辨率模块和所述编码模块中的第一模块和第二模块之间的采用信号量的同步控制，所述终端设备分配至少一个内存地址，所述内存地址配置有读取信号量和写入信号量，所述第一模块用于根据所述写入
信号量将处理后的视频帧数据写入所述内存地址，所述第二模块用于根据所述读取信号量读取所述内存地址中的视频帧数据。
[0014]可选地，所述读取信号量初始为等待状态，所述写入信号量初始为可写入状态，所述第一模块用于根据所述写入信号量将其处理后的视频帧数据写入所述内存地址，所述第二模块用于根据所述读取信号量读取所述内存地址中的视频帧数据包括：
[0015]第一模块，用于在调用等待函数判断所述内存地址的写入信号量为可写入状态时将处理后的视频帧数据写入所述内存地址，并在将所述处理后的视频帧数据写入所述内存地址后调用释放函数将所述内存地址的读取信号量置为可读取状态，其中，在所述第一模块将处理后的视频帧数据写入所述内存地址时等待函数将所述内存地址的写入信号量置为等待状态；
[0016]第二模块，用于在调用等待函数判断所述内存地址的读取信号量为可读取状态时读取所述内存地址中的视频帧数据，并在读取所述内存地址中的视频帧数据后调用释放函数将所述内存地址的写入信号量置为可写入状态，其中，在所述第二模块读取所述内存地址中的视频帧数据时等待函数将所述内存地址的读取信号量置为等待状态。
[0017]可选地，所述第一模块为所述解码模块且所述第二模块为所述颜色增强模块，或，所述第一模块为所述颜色增强模块且所述第二模块为所述超分辨率模块，或，所述第一模块为所述超分辨率模块且所述第二模块为所述编码模块。
[0018]可选地，所述颜色增强模块，用于基于离屏渲染技术，按照解码处理顺序对得到的每一视频帧进行颜色增强处理。
[0019]可选地，所述超分辨率模块，用于根据深度学习推理框架，按照解码处理顺序对每一颜色增强处理后的视频帧进行超分辨率处理。
[0020]本专利技术第二方面提供一种视频增强方法，应用于终端设备，所述方法包括：
[0021]获取视频数据；
[0022]对所述视频数据进行逐帧解码处理，并按照解码处理顺序对解码处理得到的每一视频帧依次进行颜色增强处理、超分辨率处理和编码处理，其中，所述解码处理、所述颜色增强处理、所述超分辨率处理和所述编码处理基于多线程流水线处理框架进行多线程并发执行，所述解码处理调用所述终端设备的中央处理器或图形处理器的资源执行，所述颜色增强处理调用所述终端设备的图形处理器的资源执行，所述超分辨率处理调用所述终端设备的神经网络处理器的资源执行，所述编码处理调用所述终端设备的中央处理器或图形处理器的资源执行。
[0023]可选地，所述解码处理、所述颜色增强处理、所述超分辨率处理和所述编码处理基于多线程流水线处理框架进行的多线程并发执行采用信号量进行同步控制。
[0024]可选地，对于所述解码处理、所述颜色增强处理、所述超分辨率处理和所述编码处理中的第一处理和第二处理之间的采用信号量的同步控制，所述终端设备分配至少一个内存地址，所述内存地址配置有读取信号量和写入信号量，用于执行第一处理的第一模块根据所述写入信号量将处理后的视频帧数据写入所述内存地址，用于执行第二处理的第二模块用于根据所述读取信号量读取所述内存地址中的视频帧数据。
[0025]可选地，所述读取信号量初始为等待状态，所述写入信号量初始为可写入状态，所述用于执行第一处理的第一模块根据所述写入信号量将处理后的视频帧数据写入所述内
存地址，用于执行第二处理的第二模块用于根据所述读取信号量读取所述内存地址中的视频帧数据包括：
[0026]用于执行第一处理的第一模块在调用等待函数判断所述内存地址的写入信号量为可写入状态时将所述第一处理后的视频帧数据写入所述内存地址，并在将所述第一处理后的视频帧数据写入所述内存地址后调用释放函数将所述内存地址的读取信号量置为可读取状态，其中，在所述将所述第一处理后的视频帧数据写入所述内存地址时等待函数将所述内存地址的写入信号量置为等待状态；
[0027]用于执行第二处理的第二模块在调用等待函数判断所述内存地址的读取信号量为可读取状态时读取所述内存地址中的视频帧数据，并在读取所述内存地址中的视频帧数据后调用释放函数将所述内存地址的写入信号量置为可写入状态，其中，在所述读取所述内存地址中的视频帧数据时等待函数将所述内存地址的读取信号量置为等待状态。
[0028]可选地，所述第一处理为所述解码处理且所述第二处理为所述颜色增强处理，或，所述第一处理为所述颜色增强处理且所述第二处理为所述超分辨率处理，或，所述第一处理为所述超分辨率处理且所述第二处理为所述编码处理。
[0029本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种终端设备，其特征在于，包括：获取模块，用于获取视频数据；解码模块，用于对所述视频数据进行逐帧解码处理；颜色增强模块，用于按照解码处理顺序对解码处理得到的每一视频帧进行颜色增强处理；超分辨率模块，用于按照解码处理顺序对每一颜色增强处理后的视频帧进行超分辨率处理；编码模块，用于按照解码处理顺序对每一超分辨率处理处理后的视频帧进行编码处理；其中，所述解码模块、所述颜色增强模块、所述超分辨率模块和所述编码模块基于多线程流水线处理框架进行多线程并发执行处理，所述解码模块调用所述终端设备的中央处理器或图形处理器的资源，所述颜色增强模块调用所述终端设备的图形处理器的资源，所述超分辨率模块调用所述终端设备的神经网络处理器的资源，所述编码模块调用所述终端设备的中央处理器或图形处理器的资源。2.根据权利要求1所述的终端设备，其特征在于，所述解码模块、所述颜色增强模块、所述超分辨率模块和所述编码模块基于多线程流水线处理框架进行的多线程并发执行处理配置为采用信号量进行同步控制。3.根据权利要求2所述的终端设备，其特征在于，对于所述解码模块、所述颜色增强模块、所述超分辨率模块和所述编码模块中的第一模块和第二模块之间的采用信号量的同步控制，所述终端设备分配至少一个内存地址，所述内存地址配置有读取信号量和写入信号量，所述第一模块用于根据所述写入信号量将处理后的视频帧数据写入所述内存地址，所述第二模块用于根据所述读取信号量读取所述内存地址中的视频帧数据。4.根据权利要求3所述的终端设备，其特征在于，所述读取信号量初始为等待状态，所述写入信号量初始为可写入状态，所述第一模块用于根据所述写入信号量将其处理后的视频帧数据写入所述内存地址，所述第二模块用于根据所述读取信号量读取所述内存地址中的视频帧数据包括：第一模块，用于在调用等待函数判断所述内存地址的写入信号量为可写入状态时将处理后的视频帧数据写入所述内存地址，并在将所述处理后的视频帧数据写入所述内存地址后调用释放函数将所述内存地址的读取信号量置为可读取状态，其中，在所述第一模块将处理后的视频帧数据写入所述内存地址时等待函数将所述内存地址的写入信号量置为等待状态；第二模块，用于在调用等待函数判断所述内存地址的读取信号量为可读取状态时读取所述内存地址中的视频帧数据，并在读取所述内存地址中的视频帧数据后调用释放函数将所述内存地址的写入信号量置为可写入状态，其中，在所述第二模块读取所述内存地址中的视频帧数据时等待函数将所述内存地址的读取信号量置为等待状态。5.根据权利要求3或4所述的终端设备，其特征在于，所述第一模块为所述解码模块且所述第二模块为所述颜色增强模块，或，所述第一模块为所述颜色增强模块且所述第二模块为所述超分辨率模块，或，所述第一模块为所述超分辨率模块且所述第二模块为所述编码模块。
6.根据权利要求1所述的终端设备，其特征在于，所述颜色增强模块，用于基于离屏渲染技术，按照解码处理顺序对得到的每一视频帧进行颜色增强处理。7.根据权利要求1所述的终端设备，其特征在于，所述超分辨率模块，用于根据深度学习推理框架，按照解码处理顺序对每一颜色增强处理后的视频帧进行超分辨率处理。8....

【专利技术属性】
技术研发人员：高艳，吴艳红，朱丹，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：