机载三维通话虚拟听觉处理方法技术

本发明专利技术提出一种机载三维通话虚拟听觉处理方法，旨在提供一种既满足话音来源快速变化又提升话音通信质量的虚拟听觉处理方法，本发明专利技术通过下述技术方案予以实现：多通道话音输入模块根据各通道的选通状态，接收选通通道话音数据，将选通通道数量及选通通道编号信息送虚拟方位角度生成模块，虚拟方位角度生成模块根据各话音通道预先设定的初始虚拟通道方位及可懂度最优方位角度产生每个通道的话音移动轨迹和调整轨迹，并按时间函数输出轨迹所对应的方位信息送入基于头相关传递函数HRTF的虚拟听觉合成模块，虚拟听觉合成模块将每路话音数据与对应的头相关传递函数HRTF进行卷积，生成多路三维音频信号送混音输出模块，合并成一路三维音频信号输出。

Virtual auditory processing method for airborne three-dimensional conversation

The invention provides a method for airborne 3D virtual auditory call processing method, which aims to provide a virtual auditory can meet the rapid change and enhance the voice source of voice communication quality processing method, the invention is realized by the following technical scheme: multi channel voice input module on state according to the channel selection, receiving gated channel voice data, will gated channel number and gated channel number information to send virtual azimuth generation module, initial virtual channel virtual range azimuth generation module according to the voice channel preset and intelligibility optimal position angle from each channel of the mobile voice track and adjust the trajectory, the virtual auditory synthesis module as a function of time and azimuth information output trajectory the Fed based on head related transfer function HRTF, virtual auditory synthesis module of each voice data and on the road The head related transfer function HRTF is used for convolution, and a multi-channel audio signal sending and mixing output module is generated, which is combined into a three-dimensional audio signal output.

【技术实现步骤摘要】
机载三维通话虚拟听觉处理方法
本专利技术涉及机载平台下话音通信技术，特别是涉及一种通过三维音频技术实现机载三维通话的虚拟听觉处理方法。
技术介绍
在现有技术中，机载信息通信的方法一般有两种方法:语音通信和数码通信。语音通信可以使飞行员能跟指挥中心或其他飞行员进行交流；但是,语音通信有着十分明显的不足:语音通信速度相对较慢,因而在相同时间内，语音通信能够表达的信息量少,且语音通信容易受到对方无线电的干扰,其可靠性较差；语音通信会或多或少地影响飞行员的注意力,这样就会影响到飞行员的操作和判断。数码通信在部分先进的飞机中有应用,但还未起到主导作用。而且数码通信仅局限于飞机与飞机之间进行。机间数码通信方法的数码通信的传输信息包编码解码都是由机载通信设备来完成的。首先,信息从机载的各个系统经过控制计算机,达到通信网络终端设备后,通信设备必须对其进行编码。一方面,编码是数码通信的基本要求；另一方面,编码可以提高数码通信的抗干扰能力，其次,数码无线电台接收到的信号需要进行模数转换,转换成数字信号后才能被机载通讯设备使用,它将数字信号译码和处理后,根据编码的结构可以检查出接收到的数据是否正确，另外,专用控制计算机可以协调数码无线电台与通讯设备工作的同步性,使二者相互匹配，同时专用控制计算机可以控制设备译码信息的分发,机载各个子系统可充分利用这些数码信息。由通信原理知道,信息编码的方法很多。机载综合通信系统由一部超短波语音通讯电台,一部超短波/微波数码通讯电台,一部短波通讯电台,一部备用短波通讯电台,内话及转接装置,应急接收机,网络数码通讯终端设备,网络通讯专用计算机,电台控制及检查装置和发射接收天线等组机载语音通信系统一般都是无线电台,一般工作在超短波或短波波段；数码通信系统由数码电台和网络终端设备组成,一般工作在超短波波段或者微波波段。网络数码通信和语音通信可以同时进行,数码通信和语音通信在机载设备中是彼此独立的。在飞机进行网络数码通信时,参加系统工作的部件有:数码通讯电台,内话及转接装置,网络数码通讯终端设备,网络通讯专用计算机,电台控制及检查装置和发射接收天线等.备用短波通讯电台在系统的短波通讯电台和数码电台都故障后才使用,当短波通讯电台故障后就用数码通讯电台来代替使用,这时就不能进行数码通讯了。网络数码通信核心的硬件设备是数码无线电台和支持网络传输协议的数码终端设备。硬件设备由专用计算机控制,一方面按照程序控制,将机载传感器的探测信息在数码终端设备进行编码和其他处理后,通过数码无线电台传送到网络中心,在这个网络的核心,对所有网络上的数据进行评估,融合和分析，另一方面,通过数码无线电台接收后,信息在数码终端设备进行解码和做其他处理,然后将数码信息通过专用控制计算机发给机载航电设备,或提供给机载综合系统使用,或直接在飞机显示画面上显示。通过专用计算机控制和网络化数码终端设备可以连接网络的任何一个节点,与系统其他节点一起构成了三维空间网络。在民航飞机中飞行员通过耳机监听来自短波电台、超短波电台、卫星通信系统以及机组成员等多路话音。在目前设备中通常采用直接混音方式生成最终输出话音，即将多路话音数据直接相加合并成一路话音输出。采用该种方式，主要存在以下两点不足：第一，话音来源辨识度低。当突然传来一路话音时，由于潜在发声通道较多，飞行员无法快速判断其话音来源，需经过一定交流后方才可确认话音来源通路，降低了通话效率。第二，多人通话时话音可懂度低。当多个通道同时传来话音时，由于话音空间信息丧失，双耳效应消失，因此话音可懂度急剧下降，当话音多于3路时几乎无法理解语义。基于现有技术水平可利用基于HRTF(HeadRelatedTransferFunction，头相关变换函数)的虚拟听觉技术对各路话音实现三维化以恢复双耳效应。目前在多人会议或防撞系统等相似应用场景中，基于三维音频的话音通信系统主要采用的方法是为每个通路音频数据预先设定其对应虚拟方位角，以保证各通路话音空间可分离。其虚拟方位角的设定通常采用按通道实际方位部署或按一定规律部署的原则进行设定，通过前期对操作人员进行短期训练以熟悉各通道所对应虚拟方位，以实现各通道的辨识。按通道实际方位部署或按一定单一规律部署虽然可实现话音分离，提升话音来源辨识度低，但对于话音可懂度的提升并非最优。此外相关文献研究表示多通道话音通信时其最优可懂度的方位随着通道数目的不同而不同，因此无法采用单一预设虚拟通道方位的方式来实现多通道通信的最优可懂度。综上所述，通过设定单一虚拟方位方式无法既确保话音来源可辨识又提升话音最优可懂度，使得虚拟听觉技术在多通道通信商的应用存在一定局限性。
技术实现思路
本专利技术的目的是针对上述现有技术存在的不足之处，和机载音频领域直接应用虚拟听觉技术的局限性，提供一种既满足话音来源快速变化又提升多通道通信话音来源辨识度，可以通过话音方位动态调整提升话音通信质量的机载三维通话虚拟听觉处理方法。本专利技术上述目的可以通过以下措施来达到，一种机载三维通话虚拟听觉处理方法，其特征在于包括如下步骤：在机载平台下接收一个或多个话音通道数据中，多通道话音输入模块根据各通道的选通状态，接收选通通道话音数据，将选通通道数量及选通通道编号信息送虚拟方位角度生成模块，虚拟方位角度生成模块根据各话音通道预先设定的初始虚拟通道方位及可懂度最优方位角度产生每个通道的话音移动轨迹和调整轨迹，并按时间函数输出轨迹所对应的方位信息送入基于头相关传递函数HRTF的虚拟听觉合成模块，虚拟听觉合成模块根据接收的方位信息生成对应方位的头相关传递函数HRTF，同时接收多通道话音输入模块送入的多路话音数据，并将每路话音数据与对应的头相关传递函数HRTF进行卷积，生成多路三维音频信号送混音输出模块，混音模块将多路三维话音按双声道进行混音，合并成一路三维音频信号输出。所述话音通道初始角度为按一定规则设定的虚拟角度，其初始角度满足空间可分离即可；所述头相关传递函数应优选为离线生成，可以采用真实测量或由专门的软件生成；虚拟方位角度生成模块根据话音通道所设定的初始角度及可懂度最优方位角度生成话音移动轨迹；所述可懂度最优方位角度为离线时通过听觉主观实验确定，不同话音通道数目通信时其对应的可懂度最优位置可不同；所述话音移动轨迹即可为离线生成也可为在线生成，其根据初始角度及可懂度最优方位角度按任意凸函数生成，可为但不局限于线性轨迹或圆周轨迹。凸函数的定义为若设函数f(x)在[a，b]上有定义，若[a，b]中任意不同两点x1，x2都成立：f[(x1+x2)/2]<＝[f(x1)+f(x2)]/2则称f(x)在[a，b]上是凸的。虚拟方位角度生成模块根据生成话音移动轨迹，按一定调节速率对话音方位进行调整，直至各通道话音达到最优可懂度位置。所述调节速率可为时间函数，也可为基于话音活动性检测等语音信号处理手段的动态调节；所述话音方位调整，采用基于头相关传递函数(HRTF)的空间插值方法实现。当话音通道数目发生变化时，按上述步骤重新调整，直至各通道达到可懂度最优。本专利技术相比于现有技术具有以下有益效果：提升了多通道通信话音来源辨识度。本专利技术在传统基于HRTF的虚拟听觉方法的基础上引入虚拟方位角动态调整的方法，使得虚拟方位角从较好辨识的方本文档来自技高网...

【技术保护点】
一种机载三维通话虚拟听觉处理方法，其特征在于包括如下步骤：在机载平台下接收一个或多个话音通道数据中，多通道话音输入模块根据各通道的选通状态，接收选通通道话音数据，将选通通道数量及选通通道编号信息送虚拟方位角度生成模块，虚拟方位角度生成模块根据各话音通道预先设定的初始虚拟通道方位及可懂度最优方位角度产生每个通道的话音移动轨迹和调整轨迹，并按时间函数输出轨迹所对应的方位信息送入基于头相关传递函数HRTF的虚拟听觉合成模块，虚拟听觉合成模块根据接收的方位信息生成对应方位的头相关传递函数HRTF，同时接收多通道话音输入模块送入的多路话音数据，并将每路话音数据与对应的头相关传递函数HRTF进行卷积，生成多路三维音频信号送混音输出模块，混音模块将多路三维话音按双声道进行混音，合并成一路三维音频信号输出。

【技术特征摘要】
1.一种机载三维通话虚拟听觉处理方法，其特征在于包括如下步骤：在机载平台下接收一个或多个话音通道数据中，多通道话音输入模块根据各通道的选通状态，接收选通通道话音数据，将选通通道数量及选通通道编号信息送虚拟方位角度生成模块，虚拟方位角度生成模块根据各话音通道预先设定的初始虚拟通道方位及可懂度最优方位角度产生每个通道的话音移动轨迹和调整轨迹，并按时间函数输出轨迹所对应的方位信息送入基于头相关传递函数HRTF的虚拟听觉合成模块，虚拟听觉合成模块根据接收的方位信息生成对应方位的头相关传递函数HRTF，同时接收多通道话音输入模块送入的多路话音数据，并将每路话音数据与对应的头相关传递函数HRTF进行卷积，生成多路三维音频信号送混音输出模块，混音模块将多路三维话音按双声道进行混音，合并成一路三维音频信号输出。2.如权利要求1所述的机载三维通话虚拟听觉处理方法，其特征在于：虚拟方位角度生成模块存储各通道所设定的初始虚拟角度方位及不同数目通道情况下的最优可懂度方位，并根据存储方位动态生成通道方位调整轨迹，按每秒10以上的调整速率依次生成该时刻各通道所对应的方位，并位依次输入给虚拟听觉处理单元供其调整。3.如权利要求1所述的机载三维通话虚拟听觉处理方法，其特征在于：基于HRTF的虚拟听觉合成模块根据虚拟方位生成模块所生成的各通道方位角度，从预先存储的数据库中获取对应方位的HRTF函数；然后将HRTF与输入音频信号卷积，混音输出模块通过实现耳机虚拟三维化效果。4.如权利要求1所述的机载三维通话虚拟听觉处理方法，其特征在于：可懂度最优方位角度为离线时通过听觉主观实验确定，不同话音通道...

【专利技术属性】
技术研发人员：吕燚，李锋，潘皓，王刚，
申请(专利权)人：西南电子技术研究所中国电子科技集团公司第十研究所，
类型：发明
国别省市：四川,51