基于音频关注度的分级编码方法及系统技术方案

本发明专利技术涉及音频编码技术领域，尤其涉及一种基于音频关注度的分级编码方法及系统。本发明专利技术分核心层编码和扩展层编码，首先对输入信号进行预处理，进行核心层编码和扩展层编码，其中扩展层对预处理后的信号进行子带划分、计算每个子带关注度值，并根据子带关注度值优先提取子带关注度最大的子带、进行量化编码；本发明专利技术系统包括预处理模块、核心层编码模块、残差映射模块、子带划分模块、关注度计算模块、基于关注度的子带比特分配模块、量化／编码模块。本发明专利技术对关注度程度高的子带优先编码，针对关注音源逐级提升质量的缺陷，从而实现了高效的基于关注度的可分级音频编码。

【技术实现步骤摘要】

本专利技术涉及音频编码
，尤其涉及一种基于音频关注度的分级编码方法及 系统。
技术介绍
在安防监控系统中，不同的客户端具有不同的限制和需求，采用不同的监控终端 与网络系统，提供不同的服务质量。异构的安防监控网络导致网络带宽波动频繁，使得系统 无法为各种不同的客户端提供最优的码流。可分级编码技术是解决这一问题的有效手段， 它将码流划分为一个核心层及多个增强层，其中核心层保证信号的最低重建质量，增强层 则通过提高信噪比或者扩展频带的方式渐次改善重建质量。接收到的增强层数越多，解码 音质越高。其优点在于，分级编码只需要提供一个唯一的码流，不需要为不同网络和客户端 提供不同的码流，网络设备和客户端可以通过直接截短码流的方式实现码率的平滑切换， 适应不同网络的带宽波动，满足不同客户端的应用需求。传统的可分级编码通常针对人耳 感知特性，依据子带信号能量或信掩比等特征作为码率分配策略的依据，而安防监控环境 下所关注的音频信号常常具有高能量、能量快速变化及方位快速变化等特征，如果依据人 耳掩蔽等感知特性有可能造成能量较低但快速变化的关注音源被分配较少的编码比特，导 致量化噪声增大，关注音源音质下降。这成为提高安防监控关注音源编码质量的障碍。要针对安防监控关注音频重点编码，前提是需要准确地判断出关注音频，这需要 借助音频关注度分析技术。音频关注度即对音频信号的关注程度。在安防监控中，突然出 现的高能量声音、能量快速变化或方位快速变化等类型音频信号往往标志着突发事件的发 生，应当引起较高的关注。在这些关注音源中包含着重要的监控信息，对事件辨识的效果和 特定关注音源的编码质量存在密切关系，因此应当重点针对监控所关注的音源对象提升质 量。因而在现有安防监控系统带宽波动频繁的状况下，需要对音频中的关注音源进行优先 编码，从而能以更准确地记录关注音源。
技术实现思路
针对上述存在的技术问题，本专利技术的目的是提供一种基于音频关注度的分级编码 方法及系统，以解决安防监控对音频智能分析与高效精准编码提出的需求。为达到上述目的，本专利技术采用如下的技术方案一种基于音频关注度的分级编码系统预处理模块对输入信号进行预处理，其输入为音频原始信号，输出为预处理后的 信号，预处理后的信号做两路输出一路输出给核心编码器模块；一路输出给残差映射模 块；核心层编码模块采用通用的编码算法对来自预处理模块的输入信号进行编码， 编码后作两路输出，其中一路输出为核心层码流，作为码流的一部分，另一路输出为解码后 的重构信号，输出给残差映射模块；残差映射模块预处理模块输出的预处理后的信号和核心层编码模块输出的解码 后重构的信号为本模块的输入，用预处理后的信号和解码后的重构信号得到残差信号，本 模块的输出为残差信号；子带划分模块残差映射模块输出的残差信号为本模块的输入，本模块对残差信 号进行子带划分，得到子带残差信号，输出给量化/编码模块；关注度计算模块该模块的输入为关注度分析信号，关注度分析信号可以是预处 理后的信号，也可以是解码后的重构信号，但不局限于这两种特征信号，本模块输出为子带 关注度值，输出给基于关注度比特分配模块；基于关注度比特分配模块根据关注度计算模块输出的子带关注度值，对子带关 注度值按照从高到低的顺序进行排序，提取子带关注度值最大的子带，该模块的输出为子 带关注度值最大的子带编号，用于指导量化/编码模块的比特分配；量化/编码模块由子带划分模块输出的子带信号作为本模块的输入，并通过基 于关注度比特分配模块输出的子带编号进行量化编码，该模块的输出为扩展层码流，作为 码流的一部分。所述关注度计算模块中，通过关注度分析信号来计算每个子带关注度值大小，依 据每个子带关注度值按照从大到小的顺序，然后逐个子带进行编码。所述关注度计算模块中，子带关注度值可以根据子带能量的高低，空间线索变化 的快慢以及子带能量变化的快慢等特征进行计算或基于其中部分特征进行计算。一种基于音频关注度的分级编码方法①输入音频信号，所述输入音频信号可以是单声道或多声道信号，预处理可以包 括高通滤波、分帧等处理，得到预处理后的音频信号s (η)；②由步骤①所得的预处理后的音频信号作为核心层编码的输入，核心层编码进行 编码后，一路输出为核心编码码流作为码流的一部分，另一路作解码得到解码后的重构信 号彻).③由步骤①得到预处理后的音频信号s(n)和由步骤②得到解码后的重构信号 S㈨，获得残差信号e (η)，对e (η)进行子带划分，划分成N个子带，其中N > 1 ；④计算N个子带的每个子带关注度值，此步骤首先确定计算输入的关注度分析信 号，关注度分析信号可以是预处理后的信号s (η)，也可以是解码后的重构信号，但不局 限于这两种信号，然后将子带按照子带关注度值的大小将子带从大到小进行排序；⑤提取未编码子带子带关注度值最大的子带编号；⑥根据步骤⑤获得的音频关注度值最大的子带编号，首先对该子带进行量化编 码，如果关注度分析信号为预处理后的信号s (η)，编码端需要对子带编号进行编码，如果关 注度分析信号为预处理后的信号，则编码端不需要对子带编号进行编码；⑦判断用于编码的比特数是否用尽，是则结束编码，否则返回步骤⑤。所述步骤④进一步包括以下子步骤子带划分的步骤对输入的关注度特征信号进行子带的划分；特征参数提取的步骤提取子带关注度计算所需特征参数，包括ILD、子带能量等 特征参数；子带关注度计算的步骤结合特征参数提取的步骤计算的特征参数，得到这个子5带关注度值，子带关注度值的计算方法可以根据具体情况的不同，设计不同的模型；子带排序的步骤根据子带关注度计算的步骤计算出的各个子带关注度值将子带 从大到小进行排序。所述子带关注度计算的步骤中，子带关注度值的计算方法为f (Si, Ii) = Si^Ii其中，Si为子带空间音频参数，Ii为子带的能量。本专利技术具有以下优点和积极效果1)本专利技术根据音频关注度模型，提出基于子带关注度优先级的可分级码率分配策 略，克服了现有可分级编码方法无法针对关注音源逐级提升质量的缺陷；2)本专利技术通过计算音频关注度来指导关注度分级编码层的量化与编码，能够针对 人耳关注的音频信号进行优先编码，在安防监控领域有较好的应用前景。附图说明图1是本专利技术提供的基于音频关注度的分级编码系统的框架示意图。图2是本专利技术提供的关注度分级的分级编码方法的流程图。图3是本专利技术子带划分及根据子带关注度值大小对子带的排序的一个示意图。图4是本专利技术提供的基于音频关注度的分级编码方法的框架例子示意图。附图标记101-音频原始信号，102-预处理后信号，103-解码后重构信号，104-残差信号， 105-子带残差信号，106-关注度分析信号，107-子带关注度值，108-子带编号，109-核心层 码流，110-扩展层码流；201-音频原始信号，202-预处理后信号，203-解码后重构信号，204-残差信号， 205-子带残差信号，206-解码后重构信号，207-子带关注度值，208-子带编号，209-核心层 码流，210-扩展层码流。具体实施例方式本专利技术提供的基于音频关注度的分级编码系统分为两部分，一部分为核心编码 层，另一部分为关注度编码层，其中核心层是通用的编码技术，关注度编码层可以分为多个 增强层本文档来自技高网...

【技术保护点】
一种基于音频关注度的分级编码系统，其特征在于，包括：预处理模块：对输入信号进行预处理，其输入为音频原始信号，输出为预处理后的信号，预处理后的信号做两路输出：一路输出给核心编码器模块；一路输出给残差映射模块；核心层编码模块：采用通用的编码算法对来自预处理模块的输入信号进行编码，编码后作两路输出，其中一路输出为核心层码流，作为码流的一部分，另一路输出为解码后的重构信号，输出给残差映射模块；残差映射模块：预处理模块输出的预处理后的信号和核心层编码模块输出的解码后重构的信号为本模块的输入，用预处理后的信号和解码后的重构信号得到残差信号，本模块的输出为残差信号；子带划分模块：残差映射模块输出的残差信号为本模块的输入，本模块对残差信号进行子带划分，得到子带残差信号，输出给量化／编码模块；关注度计算模块：该模块的输入为关注度分析信号，关注度分析信号可以是预处理后的信号，也可以是解码后的重构信号，但不局限于这两种特征信号，本模块输出为子带关注度值，输出给基于关注度比特分配模块；基于关注度比特分配模块：根据关注度计算模块输出的子带关注度值，对子带关注度值按照从高到低的顺序进行排序，提取子带关注度值最大的子带，该模块的输出为子带关注度值最大的子带编号，用于指导量化／编码模块的比特分配；量化／编码模块：由子带划分模块输出的子带信号作为本模块的输入，并通过基于关注度比特分配模块输出的子带编号进行量化编码，该模块的输出为扩展层码流，作为码流的一部分。...

【技术特征摘要】
一种基于音频关注度的分级编码系统，其特征在于，包括预处理模块对输入信号进行预处理，其输入为音频原始信号，输出为预处理后的信号，预处理后的信号做两路输出一路输出给核心编码器模块；一路输出给残差映射模块；核心层编码模块采用通用的编码算法对来自预处理模块的输入信号进行编码，编码后作两路输出，其中一路输出为核心层码流，作为码流的一部分，另一路输出为解码后的重构信号，输出给残差映射模块；残差映射模块预处理模块输出的预处理后的信号和核心层编码模块输出的解码后重构的信号为本模块的输入，用预处理后的信号和解码后的重构信号得到残差信号，本模块的输出为残差信号；子带划分模块残差映射模块输出的残差信号为本模块的输入，本模块对残差信号进行子带划分，得到子带残差信号，输出给量化/编码模块；关注度计算模块该模块的输入为关注度分析信号，关注度分析信号可以是预处理后的信号，也可以是解码后的重构信号，但不局限于这两种特征信号，本模块输出为子带关注度值，输出给基于关注度比特分配模块；基于关注度比特分配模块根据关注度计算模块输出的子带关注度值，对子带关注度值按照从高到低的顺序进行排序，提取子带关注度值最大的子带，该模块的输出为子带关注度值最大的子带编号，用于指导量化/编码模块的比特分配；量化/编码模块由子带划分模块输出的子带信号作为本模块的输入，并通过基于关注度比特分配模块输出的子带编号进行量化编码，该模块的输出为扩展层码流，作为码流的一部分。2.根据权利要求1所述的基于音频关注度的分级编码系统，其特征在于所述关注度计算模块中，通过关注度分析信号来计算每个子带关注度值大小，依据每 个子带关注度值按照从大到小的顺序，然后逐个子带进行编码。3.根据权利要求1或2所述的基于音频关注度的分级编码系统，其特征在于所述关注度计算模块中，子带关注度值可以根据子带能量的高低，空间线索变化的快 慢以及子带能量变化的快慢等特征进行计算或基于其中部分特征进行计算。4.一种基于音频关注度的分级编码方法，其特征在于，...

【专利技术属性】
技术研发人员：胡瑞敏，杭波，杨玉红，杨裕才，高丽，赵云，王松，王国英，周超群，
申请(专利权)人：武汉大学，
类型：发明
国别省市：83[中国|武汉]