本发明专利技术提供一种用于优化移动设备中多媒体信号处理功耗的系统和方法。系统(100)包括媒体(语音、音频、图像和视频)编解码器编码器模块(103)、媒体编解码器解码器模块(106)以及预处理和后处理(滤波、去块滤波器、分析、人员检测、关键字/关键帧检出)模块(102、107)模块。预处理模块和后处理模块在DSP/VLIW处理器上实施，媒体编码器模块和解码器模块在带有SIMD扩展的CPU上实施。与采用同步RPC(阻塞)的多CPU/DSP/VLIW核中模块实施相比，多核中模块的该流水线式(异步RPC，非阻塞)实施将SoC中电流消耗降低达50％。模块(102、103、106、107)电流消耗的显著降低能减少多媒体处理用例中的功耗。因此，本发明专利技术提供一种通过在实际用例中使用移动设备中多媒体信号处理的多核实施模块优化功耗的简单方法。优化功耗的简单方法。优化功耗的简单方法。
【技术实现步骤摘要】
优化移动设备中的多媒体信号处理的功耗的系统和方法
[0001]本说明序言
[0002]以下说明书特别描述了本专利技术及其执行方式：
[0003]本专利技术涉及一种用于对移动设备中的功耗进行优化的系统和方法。更具体地，本专利技术涉及通过以下操作对移动设备中的功耗进行优化：通过在CPU和DSP/VLIW核之间以流水线(pipeline)方式，在具有单指令多数据(SIMD)扩展的中央处理单元(CPU)上实施媒体(语音、音频、图像和视频)编解码器(codec)以及在数字信号处理器(DSP)核/超长指令字(VLIW)核上实施预/后处理模块，包括滤波器(去块滤波)、人员检测、关键字/关键帧检测、分析、回声消除、降噪来减少多媒体应用用例中的电流消耗。CPU和DSP/VLIW核之间的模块的处理通过异步远程过程调用(RPC)机制(非阻塞模式)作用于数据块/帧。
技术介绍
[0004]随着5G技术的采用，多媒体应用正迅速变得计算密集型，该技术在核处提供高数据速率，这是现实世界应用中多媒体信号处理的典型特征。有各种小型设备可以设计为采用5G技术，例如手机、智能电话和其他便携式无线设备。多媒体应用大体包含压缩/解压缩，然后是预处理/后处理模块。
[0005]多媒体信号处理涉及数字媒体(语音、音频、图像、视频)数据的编码(压缩)和解码(解压缩)。这些数字媒体有各种压缩标准，即，自适应多速率(AMR)
‑
NB、AMR
‑
WB、用于语音的增强语音服务(EVS)编解码器、用于音频的mp3和高级音频编码(AAC)、用于图像的联合图像专家组(JPEG)、视频压缩标准，例如运动图像专家组(MPEG)
‑
1、MPEG
‑
2、MPEG
‑
4、H.264、H.265、AV1、VP8、VP10以及许多更多即将推出的标准。这些编解码器通过利用各种冗余和预测技术对媒体信号进行编码。处理这些模块的计算复杂性需要很多处理周期，因此当多媒体应用在电池驱动的小工具/设备(例如智能手机)中运行时会消耗大量电流。
[0006]多媒体信号处理中处理器的高负载会导致大量功耗，因此在多媒体用例应用中设备使用的电池寿命大大缩短。
[0007]最小化功耗和/或提高用户设备(UE)设备中的数据速率和用户体验对于所有无线通信系统都很重要。随着UE设备变得越来越复杂，它们消耗的功率也越来越大。UE设备具有容量有限的板载电池。因此，在有限电池的约束下获得尽可能好的用户体验存在问题。
[0008]题为“System and method for optimizing power consumption in mobile devices(用于对移动设备功耗进行优化的系统和方法)”的美国专利文件US10390309公开了一种通过适当的指令集架构特征改变和语音编解码器的优化实施来优化移动设备功耗的方法和装置。但是，该解决方案主要针对语音呼叫用例。
[0009]因此，需要对移动设备中的功耗进行优化的系统和方法，以优化多媒体应用中的功耗，该多媒体应用不仅涉及语音，还涉及其他媒体，例如用于使用这些媒体的各种真实世界用例，诸如音频、图像、视频。
技术实现思路
[0010]本专利技术克服了现有技术的不足，提供了一种对移动设备多媒体应用的功耗进行优化的系统和方法。许多解决无数问题陈述的实际用例以多媒体信号处理作为其核，包括编码器/解码器和预处理/后处理，诸如分析、人员检测/识别、讲话者识别、关键字/关键帧检出(spotting)。我们为这些用例提出了一种功率有效的解决方案。
[0011]该系统包括与移动设备集成的传感器(麦克风/相机)。传感器捕获输入媒体并转换为不同分辨率的数字媒体，即，采样频率、样本分辨率和媒体帧尺寸。
[0012]在本专利技术的实施方式中，根据压缩标准对数字媒体信号进行编码，压缩标准包括但不限于：MPEG
‑
1、MPEG
‑
2、MPEG
‑
4、H.264、H.265、AV1、VP8、VP10标准视频编解码器、AMR
‑
NB、AMR
‑
WB、EVS语音编解码器、mp3、AAC音频编解码器、JPEG图像编解码器或任何其他适合应用的标准。各种压缩工具/算法在CPU中实施，该CPU具有：带有SIMD扩展的指令集，但没有关键的单周期指令乘法和累加(MAC)。预处理模块包括但不限于去块滤波器、回声消除、降噪、分析、人员检测/识别、关键字/关键帧检出、讲话者识别在DSP上实施。通过在SoC中的DSP/VLIW核上实施预处理而在带有SIMD扩展的CPU中实施媒体编解码器来减少片上系统(SoC)中的电流消耗。然后通过网络传输经编码的信号。
[0013]该系统还包括设置在接收端处的媒体编解码器解码器模块。媒体编解码器解码器模块被配置为对从网络所接收的经压缩的视频信号进行解压缩/解码。然后对经解码的媒体信号进行后处理。后处理包括但不限于：去块滤波器、回声消除、降噪、分析、人员检测/识别、关键字/关键帧检出、讲话者识别。后处理模块在DSP/VLIW核中实施，而视频编解码器解码器在带有SIMD扩展的CPU中实施。
[0014]在媒体数据的块/帧级别，通过异步RPC(非阻塞模式)在CPU和DSP/VLIW之间流水线式地进行模块的处理。
[0015]因此，本专利技术还提供了一种改善移动设备中多媒体应用的功耗的方法。与具有同步RPC机制(阻塞模式)的在带有SIMD扩展的CPU上实施媒体编解码器和在数字信号处理器(DSP)/超长指令字(VLIW)处理器上实现预处理/后处理模块相比，本方法在多媒体应用中产生达50％的电流消耗的节省。
附图说明
[0016]当结合附图阅读时，从实施方式的以下详细描述中，实施方式的前述和其他特征将变得更加明显。在附图中，相同的附图标记指代相同的元件。
[0017]图1图示了根据本专利技术的一种实施方式的用于对移动设备中的多媒体应用中的功耗进行优化的系统的框图。
[0018]图2图示了根据本专利技术的一种实施方式的用于对移动设备中的功耗进行优化的方法。
[0019]图3图示了根据本专利技术的一种实施方式的用于对移动设备中的功耗进行优化的方法。
具体实施方式
[0020]现在将详细参考本主题的描述，其一个或更多个示例在图中示出。提供每个示例
以对主题进行解释而非限制。对本专利技术所属领域的技术人员而言明显的各种变化和修改被认为在本专利技术的精神、范围和构思之内。
[0021]为了更清楚、简明地描述和指出所要求保护的专利技术的主题，为特定术语提供了以下定义，这些术语用于以下书面描述中。
[0022]本专利技术提供了一种对移动设备中的多媒体应用的功耗进行优化的系统和方法。该系统包括麦克风/相机、媒体编解码器编码器、媒体编解码器解码器、媒体预处理/后处理模块，包括但不限于：去块滤波器、回声消除、降噪、分析、人员检测/识别、关键本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于对移动设备中的多媒体信号处理的功耗进行优化的系统(100)，所述系统(100)包括：a.集成在所述移动设备中的传感器(麦克风/相机)(101)，所述传感器用于捕获不同分辨率(采样频率、以位表示的样本分辨率、帧尺寸)的媒体(语音、音频、图像、视频)；b.预处理模块，所述预处理模块包括但不限于：去块滤波器、回声消除、降噪、分析、人员检测/识别、关键字/关键帧检出、讲话者识别(102)，其中所述预处理模块(102)在DSP/VLIW处理器中实施；c.媒体编解码器编码器模块(103)，所述媒体编解码器编码器模块(103)被配置为将媒体信号进行压缩/编码以通过无线信道进行有效传输，其中，所述实施是在带有SIMD扩展的CPU上执行的，其中，经编码的信号经由网络(105)传输；d.媒体编解码器解码器模块(106)，所述媒体编解码器解码器模块(106)被配置为：将从网络(105)所接收的经压缩的媒体信号进行解压缩/解码，其中，所述媒体编解码器解码器在带有SIMD扩展的CPU上实施，其中，所述媒体编解码器解码器模块(106)设置于接收端处；e.后处理模块，所述后处理模块包括但不限于：去块滤波器、降噪、分析、人员检测/识别、关键字检出/识别、讲话者识别、(107)，其中，经解码的媒体样本在DSP/VLIW核上进行处理；f.SoC被设计为具有：带有SIMD扩展的CPU、和DSP/VLIW处理核，以在所述两个核之间流水线式地实施多媒体信号处理模块；其中，CPU的算术逻辑单元ALU被设计为在关键指令中不饱和，其中，所述关键指令包括但不限于乘法和累加(MAC)以及移位指令；g.所述CPU与DSP/VLIW核之间的流水线式实施经由异步RPC(非阻塞)机制作用于媒体数据的块或帧级别；和h.媒体渲染器(108)，所述媒体渲染器(108)被配置为对来自后处理模块(107)的媒体帧样本进行渲染。2.根据权利要求1所述的系统，其中，所述媒体编解码器模块(103、106)包括但不限于：MPEG
‑
1、MPEG
‑
2、MPEG
‑
4、H.264、H.265、AV1、VP8、VP10标准视频编解码器、AMR
‑
NB、AMR
‑
WB、EVS语音编解码器、mp3、AAC音频编解码器、JPEG图像编解码器。3.根据权利要求1所述的系统，其中，所述移动设备包括便携式手机、移动手持电话、移动电话、无线电话、蜂窝电话、便携式电话、个人数字助理(PDA)和智能手机。4.根据权利要求1所述的系统，其中，对功耗进行的所述优化适用于在无传输的回放和记录时的多媒体信号处理。5.根据权利...
【专利技术属性】
技术研发人员：纳拉辛汉，
申请(专利权)人：特锐斯贝斯技术OPC私人有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。