基于子带空间关注测度的可分级音频编码系统及方法技术方案

本发明专利技术提供一种基于子带空间关注测度的可分级音频编码系统及方法，包括基于能量、频率和空间信息综合计算各子带的子带重要性测度并排序，根据综合测度的排序结果进行比特分配、残差量化编码，对子带排序编号的编码结果和残差量化编码都加入码流。本发明专利技术根据能量、频率和空间信息作为子带优先级分配策略，相比单纯利用能量或频率作为感知测度具有更明显的指导意义。

【技术实现步骤摘要】
基于子带空间关注测度的可分级音频编码系统及方法
本专利技术涉及音频编码
，尤其涉及一种基于子带空间关注测度的可分级音频编码系统及方法。
技术介绍
现有的可分级编码方法中主要根据高能量和低频率成分优先的准则作为可分级子带重要性测度划分的依据。然而，简单通过能量或频率成分的高低并不能确定最重要的声音对象所在的子带。在频域子带中，能量高的子带或低频子带并不一定对应着最重要的声音对象所在的子带。除了能量和频率以外，空间位置信息也可用于确定重点的声音对象。点声源或类似点声源通常具有明确的空间位置信息，往往是需要重点关注的声音对象，而环境声或噪声等声源，往往不具备明确的空间位置信息，在分级编码中可以分配更少的优先级。现有的双声道可分级编码方法，在确定下混声道子带重要性测度时，单纯以下混声道的子带能量或频率成分来确定子带分级编码的优先级，由于下混声道中缺失声道间的相关性以及声源的空间位置信息等，如果仅仅根据下混声道的能量或频率的高低来确定最重要声源对应的子带，这样或多或少会导致编码一些重要的具有高关注的或具有明确位置信息的声源时带来质量的损失。因此，若能提供一种分级音频编码方法结合声源的空间位置信息来确定频域子带的重要性，重点关注声音信号中需要重点编码的声音对象，从而提高具有明确位置的、具有高关注的重要声音的编码质量，对音频编码领域具有重要实际意义。
技术实现思路
本专利技术的目的是提供一种基于子带空间关注测度的可分级音频编码系统及方法，使得频率子带重要性测度更加反映双声道信号中需要重点关注和编码的声音对象。为达到上述目的，本专利技术提供一种基于子带空间关注测度的可分级音频编码系统，包括以下模块：预处理模块，用于对双声道输入信号进行预处理，得到两个声道的当前帧的音频信号sl和sr并做三路输出，一路输出给核心编码器模块，一路输出给残差提取模块，一路输出给时频变换模块；核心编码器模块，用于对从预处理模块输入的音频信号sl和sr进行编码，编码结果分作两路，其中一路作为码流的一部分输出给解码端；一路解码得到两个声道的重构信号和输出给残差提取模块；残差提取模块，用于根据从预处理模块输入的音频信号sl和sr和从核心编码器模块输入的重构信号和得到两个声道的残差信号el和er，对残差信号el和er进行时频变换得到两个声道的残差频谱系数efl和efr，下混为和声道sum和差声道diff，对sum和diff进行频谱子带划分，将所得和声道和差声道各个子带的频谱系数sum(i)和diff(i)分两路输出，一路输出给残差量化编码模块，一路输出给比特分配模块，i取值1,2,…,N，子带数N＞1；时频变换模块，用于对从预处理模块输入的音频信号sl和sr进行时频变换，得到频谱系数xl和xr，输出给子带划分模块；子带划分模块，用于对时频变换模块输入的频谱系数xl和xr进行子带划分，得到两个声道的子带频谱系数xl(i)和xr(i)，输出给基于空间关注的子带重要性测度模块；基于空间关注的子带重要性测度模块，用于根据从子带划分模块输入的两个声道的子带频谱系数xl(i)和xr(i)，基于能量、频率和空间信息综合计算各子带的子带重要性测度npi，按照子带重要性从高到低对N个子带进行排序，记子带i的排序所得编号为pSi，得到最后的子带排序编号PSi＝{pS1,pS2,...,pS(N-1),pSN}并做两路输出，一路输出给子带测度编码模块，一路输出给比特分配模块；子带测度编码模块，用于对从基于空间关注的子带重要性测度模块输入的子带排序编号PSi＝{pS1,pS2,...,pS(N-1),pSN}进行熵编码，将编码结果作为码流的一部分输出给解码端；比特分配模块，用于根据从残差提取模块输入的频谱系数sum(i)和diff(i)，按照从基于空间关注的子带重要性测度模块输入的排序后的子带编号P＝{p1,p2,...,p(N-1),pN}对每个子带进行比特数的分配，将分配的比特数输出给残差量化编码模块；残差量化编码模块，用于按照从基于空间关注的子带重要性测度模块输入的排序后的子带编号P＝{p1,p2,...,p(N-1),pN}，以子带重要性测度由大到小的顺序依次取一个子带，对从残差提取模块输入的该子带的频谱系数sum(i)和diff(i)，按比特分配模块所得该子带分配的比特数进行球型矢量量化编码，直到编码器给定传输码率下可用的所有编码比特数用完，将编码结果作为码流的一部分输出给解码端。而且，所述基于空间关注的子带重要性测度模块包括方位感知测度模块、距离感知测度模块、能量感知测度模块、频率感知测度模块和子带空间关注模块，方位感知测度模块，用于根据子带划分模块所得两个声道的各个子带的频谱系数xl(i)和xr(i)，计算出各个子带的声道间强度差ILi和IRi分别表示第i个子带左声道和右声道的能量和；将当前帧各个子带的声道间强度差与上一帧的相应子带的声道间强度差计算差值，按照差值绝对值从大到小的顺序对子带进行排序，记子带i的排序所得编号为pSi，得到所有子带排序的编号PSi＝{pS1,pS2,...,pS(N-1),pSN}并输出给子带空间关注模块；距离感知测度模块，用于根据子带划分模块所得两个声道的各个子带的频谱系数xl(i)和xr(i)，计算出各个子带的频率依赖相关性变量变量变量表示xl(i)的复共轭，〈·〉表示跨时均值；将当前帧各个子带的频率依赖相关性系数与上一帧相应子带的频率依赖相关性系数计算差值，按照差值绝对值从大到小的顺序对N个子带进行排序，记子带i的排序所得编号为pRi，得到所有子带排序的编号PRi＝{pR1,pR2,...,pR(N-1),pRN}并输出给子带空间关注模块；能量感知测度模块，用于根据子带划分模块所得两个声道的各个子带的频谱系数xl(i)和xr(i)，计算出各个子带的能量和Ii＝ILi+IRi，按照能量从高到低的顺序对N个子带进行排序，记子带i的排序所得编号为pIi，得到所有子带排序的编号PIi＝{pI1,pI2,...,pI(N-1),pIN}并输出给子带空间关注模块；频率感知测度模块，用于根据子带划分模块所得两个声道的各个子带的频谱系数xl(i)和xr(i)，计算各个子带基于人耳对频率成分的感知敏感度，按照感知敏感性从高到低的顺序对子带进行排序，记子带i的排序所得编号为pFi，得到所有子带排序的编号PFi＝{pF1,pF2,...,pF(N-1),pFN}输出给子带空间关注模块；子带空间关注模块，用于对方位感知测度模块、距离感知测度模块、能量感知测度模块、频率感知测度模块所得结果，进行加权求和得到最终的子带重要性测度npi＝λ1pSi+λ2pRi+λ3pIi+λ4pFi，根据加权求和结果从低到高对N个子带进行排序，得到最后的子带排序编号P＝{p1,p2,...,p(N-1),pN}，做两路输出，一路输出给子带测度编码模块；一路输出给比特分配模块；其中，λ1、λ2、λ3、λ4分别为方位感知测度、距离感知测度、能量感知测度、频率感知测度的相应权值。本专利技术还提供一种基于子带空间关注测度的可分级音频编码方法，包括以下步骤：步骤1，对双声道输入信号进行预处理，得到两个声道的当前帧的音频信号sl和sr；步骤2，对步骤1所得音频信号sl和sr进行编码，本文档来自技高网...

【技术保护点】
一种基于子带空间关注测度的可分级音频编码系统，其特征在于，包括以下模块：预处理模块，用于对双声道输入信号进行预处理，得到两个声道的当前帧的音频信号sl和sr并做三路输出，一路输出给核心编码器模块，一路输出给残差提取模块，一路输出给时频变换模块；核心编码器模块，用于对从预处理模块输入的音频信号sl和sr进行编码，编码结果分作两路，其中一路作为码流的一部分输出给解码端；一路解码得到两个声道的重构信号和输出给残差提取模块；残差提取模块，用于根据从预处理模块输入的音频信号sl和sr和从核心编码器模块输入的重构信号和得到两个声道的残差信号el和er，对残差信号el和er进行时频变换得到两个声道的残差频谱系数efl和efr，下混为和声道sum和差声道diff，对sum和diff进行频谱子带划分，将所得和声道和差声道各个子带的频谱系数sum(i)和diff(i)分两路输出，一路输出给残差量化编码模块，一路输出给比特分配模块，i取值1,2,…,N，子带数N＞1；时频变换模块，用于对从预处理模块输入的音频信号sl和sr进行时频变换，得到频谱系数xl和xr，输出给子带划分模块；子带划分模块，用于对时频变换模块输入的频谱系数xl和xr进行子带划分，得到两个声道的子带频谱系数xl(i)和xr(i)，输出给基于空间关注的子带重要性测度模块；基于空间关注的子带重要性测度模块，用于根据从子带划分模块输入的两个声道的子带频谱系数xl(i)和xr(i)，基于能量、频率和空间信息综合计算各子带的子带重要性测度npi，按照子带重要性从高到低对N个子带进行排序，记子带i的排序所得编号为pSi，得到最后的子带排序编号PSi＝{pS1,pS2,...,pS(N‑1),pSN}并做两路输出，一路输出给子带测度编码模块，一路输出给比特分配模块；子带测度编码模块，用于对从基于空间关注的子带重要性测度模块输入的子带排序编号PSi＝{pS1,pS2,...,pS(N‑1),pSN}进行熵编码，将编码结果作为码流的一部分输出给解码端；比特分配模块，用于根据从残差提取模块输入的频谱系数sum(i)和diff(i)，按照从基于空间关注的子带重要性测度模块输入的排序后的子带编号P＝{p1,p2,...,p(N‑1),pN}对每个子带进行比特数的分配，将分配的比特数输出给残差量化编码模块；残差量化编码模块，用于按照从基于空间关注的子带重要性测度模块输入的排序后的子带编号P＝{p1,p2,...,p(N‑1),pN}，以子带重要性测度由大到小的顺序依次取一个子带，对从残差提取模块输入的该子带的频谱系数sum(i)和diff(i)，按比特分配模块所得该子带分配的比特数进行球型矢量量化编码，直到编码器给定传输码率下可用的所有编码比特数用完，将编码结果作为码流的一部分输出给解码端。...

【技术特征摘要】
1.一种基于子带空间关注测度的可分级音频编码系统，其特征在于，包括以下模块：预处理模块，用于对双声道输入信号进行预处理，得到两个声道的当前帧的音频信号sl和sr并做三路输出，一路输出给核心编码器模块，一路输出给残差提取模块，一路输出给时频变换模块；核心编码器模块，用于对从预处理模块输入的音频信号sl和sr进行编码，编码结果分作两路，其中一路作为码流的一部分输出给解码端；一路解码得到两个声道的重构信号和输出给残差提取模块；残差提取模块，用于根据从预处理模块输入的音频信号sl和sr和从核心编码器模块输入的重构信号和得到两个声道的残差信号el和er，对残差信号el和er进行时频变换得到两个声道的残差频谱系数efl和efr，下混为和声道sum和差声道diff，对sum和diff进行频谱子带划分，将所得和声道和差声道各个子带的频谱系数sum(i)和diff(i)分两路输出，一路输出给残差量化编码模块，一路输出给比特分配模块，i取值1,2,…,N，子带数N＞1；时频变换模块，用于对从预处理模块输入的音频信号sl和sr进行时频变换，得到频谱系数xl和xr，输出给子带划分模块；子带划分模块，用于对时频变换模块输入的频谱系数xl和xr进行子带划分，得到两个声道的子带频谱系数xl(i)和xr(i)，输出给基于空间关注的子带重要性测度模块；基于空间关注的子带重要性测度模块，用于根据从子带划分模块输入的两个声道的子带频谱系数xl(i)和xr(i)，基于能量、频率和空间信息综合计算各子带的子带重要性测度npi，按照子带重要性从高到低对N个子带进行排序，记子带i的排序所得编号为pSi，得到最后的子带排序编号PSi＝{pS1,pS2,...,pS(N-1),pSN}并做两路输出，一路输出给子带测度编码模块，一路输出给比特分配模块；子带测度编码模块，用于对从基于空间关注的子带重要性测度模块输入的子带排序编号PSi＝{pS1,pS2,...,pS(N-1),pSN}进行熵编码，将编码结果作为码流的一部分输出给解码端；比特分配模块，用于根据从残差提取模块输入的频谱系数sum(i)和diff(i)，按照从基于空间关注的子带重要性测度模块输入的排序后的子带编号P＝{p1,p2,...,p(N-1),pN}对每个子带进行比特数的分配，将分配的比特数输出给残差量化编码模块；残差量化编码模块，用于按照从基于空间关注的子带重要性测度模块输入的排序后的子带编号P＝{p1,p2,...,p(N-1),pN}，以子带重要性测度由大到小的顺序依次取一个子带，对从残差提取模块输入的该子带的频谱系数sum(i)和diff(i)，按比特分配模块所得该子带分配的比特数进行球型矢量量化编码，直到编码器给定传输码率下可用的所有编码比特数用完，将编码结果作为码流的一部分输出给解码端；所述基于空间关注的子带重要性测度模块包括方位感知测度模块、距离感知测度模块、能量感知测度模块、频率感知测度模块和子带空间关注模块，方位感知测度模块，用于根据子带划分模块所得两个声道的各个子带的频谱系数xl(i)和xr(i)，计算出各个子带的声道间强度差ILi和IRi分别表示第i个子带左声道和右声道的能量和；将当前帧各个子带的声道间强度差与上一帧的相应子带的声道间强度差计算差值，按照差值绝对值从大到小的顺序对子带进行排序，记子带i的排序所得编号为pSi，得到所有子带排序的编号并输出给子带空间关注模块；距离感知测度模块，用于根据子带划分模块所得两个声道的各个子带的频谱系数xl(i)和xr(i)，计算出各个子带的频率依赖相关性变量变量Gll(i)＝<|xl(i)|2>，变量Grr(i)＝<|xr(i)|2>，表示xl(i)的复共轭，<·>表示跨时均值；将当前帧各个子带的频率依赖相关性系数与上一帧相应子带的频率依赖相关性系数计算差值，按照差值绝对值从大到小的顺序对N个子带进行排序，记子带i的排序所得编号为pRi，得到所有子带排序的编号PRi＝{pR1,pR2,...,pR(N-1),pRN}并输出给子带空间关注模块；能量感知测度模块，用于根据子带划分模块所得两个声道的各个子带的频谱系数xl(i)和xr(i)，计算出各个子带的能量和Ii＝ILi+IRi，按照能量从高到低的顺序对N个子带进行排序，记子带i的排序所得编号为pIi，得到所有子带排序的编号PIi＝{pI1,pI2,...,pI(N-1),pIN}并输出给子带空间关注模块；频率感知测度模块，用于根据子带划分模块所得两个声道的各个子带的频谱系数xl(i)和xr(i)，计算各个子带基于人耳对频率成分的感知敏感度，按照感知敏感性从高到低的顺序对子带进行排序，记子带i的排序所得编号为pFi，得到所有子带排序的编号PFi＝{pF1,pF2,...,pF(N-1),pFN}输出给子带空间关注模块；子带空...

【专利技术属性】
技术研发人员：胡瑞敏，高丽，杨玉红，王晓晨，涂卫平，高戈，董石，王松，李登实，张茂胜，杨乘，姜林，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42