用于处理音频信号的方法和设备技术

一种音频信号处理设备包括：索引估计单元，接收作为输入的三维图像信息，并基于该三维图像信息产生用于沿向右方向、向左方向、向上方向、向下方向、向前方向和向后方向中的至少一个方向将三维效果应用于音频对象的索引信息；以及呈现单元，用于基于索引信息沿向右方向、向左方向、向上方向、向下方向、向前方向和向后方向中的至少一个方向将三维效果应用于音频对象。

【技术实现步骤摘要】
【国外来华专利技术】用于处理音频信号的方法和设备
与示例性实施例一致的方法和设备涉及一种用于处理音频信号的方法和设备，更具体地讲，涉及一种用于处理音频信号的、产生立体声的方法和设备。
技术介绍
由于成像技术的发展，用户可看到3D立体图像。考虑到双眼视差，3D立体图像向左眼显露左视点图像数据，并向右眼显露右视点图像数据。用户可识别似乎真得要从屏幕跳出或返回到屏幕中的对象。此外，随着成像技术的发展，用户对声音的兴趣增加，特别是，立体声得到了显著发展。在当前的立体声技术中，在用户周围放置多个扬声器，以使得用户可体验到在不同位置的定位和空间感（perspective）。例如，通过使用5.1声道音频系统获得立体声，其中，5.1声道音频系统用于输出通过使用六个扬声器而被划分为六个音频信号的音频信号。然而，在立体声技术中，可能没有向用户提供与图像对象的三维效果中的变化相应的立体声。因此，需要一种用于产生与图像对象的三维效果中的变化相应的立体声的方法和设备。另外，重要的是增大音频对象的三维效果。因此，需要一种用于增大三维效果的方法和设备。
技术实现思路
技术问题示例性实施例提供一种用于处理音频信号的方法和设备，该方法和设备产生与图像对象的三维效果的变化相应的立体声。示例性实施例还提供一种用于处理音频信号的方法和设备，该方法和设备增大音频对象的三维效果。问题的解决方案根据示例性实施例的一方面，提供一种音频信号处理设备，该音频信号处理设备包括：索引估计单元，接收作为输入的三维图像信息，并基于该三维图像信息产生用于沿向右方向、向左方向、向上方向、向下方向、向前方向和向后方向中的至少一个方向将三维效果应用于音频对象的索引信息；以及呈现单元，用于基于该索引信息，沿向右方向、向左方向、向上方向、向下方向、向前方向和向后方向中的至少一个方向将三维效果应用于音频对象。索引估计单元可产生索引信息，该索引信息包括沿向右方向和向左方向的声音扩展信息、沿向前方向和向后方向的深度信息、以及沿向上方向和向下方向的高度信息。三维图像信息对于每一个图像帧可包括具有最大视差值和最小视差值中的至少一个的图像对象的位置信息、以及最大视差值或最小视差值中的至少一个。当对于每一个帧可输入三维图像信息时，图像对象的位置信息可包括关于通过将与一个帧相应的一个屏幕划分为至少一个子帧而获得的子帧的信息。可基于音频对象沿向右方向和向左方向的位置获得声音扩展信息，通过使用最大视差值和所述位置信息中的至少一个估计所述位置。可基于音频对象沿向前方向和向后方向的深度值获得深度信息，通过使用最大视差值和/或最小视差值估计所述深度值。可基于音频对象沿向上方向和向下方向的位置获得高度信息，通过使用最大视差值和所述位置信息中的至少一个估计所述位置。在当音频对象和图像对象彼此不对应时的情况和当音频对象对应于非效果声音时的情况之中的至少一种情况下，索引估计单元可产生索引信息，以便减小音频对象的三维效果。音频信号处理设备还可包括信号提取单元，该信号提取单元接收作为输入的立体声音频信号，提取该立体声音频信号中的右/左信号和中心声道信号，并将所提取的信号发送到呈现单元。索引估计单元可包括：声源检测单元，接收作为音频信号的立体声音频信号、右/左信号和中心声道信号中的至少一个，分析输入音频信号的方向角度和用于每一个频段的能量中的至少一个，并基于第一分析结果区分效果声音和非效果声音；比较单元，确定音频对象是否对应于图像对象；以及索引产生单元，在当图像对象和音频对象彼此不对应时的情况和当音频对象对应于非效果声音时的情况中的至少一种情况下，产生索引信息，以便减小音频对象的三维效果。声源检测单元可接收立体声音频信号、右/左信号和中心声道信号中的至少一个，跟踪立体声音频信号中所包括的音频对象的方向角度，并基于跟踪结果区分效果声音和非效果声音。当方向角度的变化等于或小于预定值时，或者当方向角度沿向右方向和向左方向收敛时，声音检测单元确定音频对象对应于效果声音。当方向角度的变化等于或小于预定值时，或者当方向角度收敛到中心点时，声音检测单元可确定音频对象对应于静态声源。声音检测单元可分析右/左信号与中心声道信号之间的高频区域的能量比，并且当右/左信号的能量比低于中心声道信号的能量比时，声音检测单元可确定音频对象对应于非效果声音。声音检测单元可分析中心声道信号中语音频带频段与非语音频带频段之间的能量比，并且可基于第二分析结果确定音频对象是否对应于与非效果声音相应的语音信号。三维图像信息可包括关于一个图像帧中所包括的每一个图像对象的视差值、该图像对象的位置信息和图像的深度图中的至少一个。根据示例性实施例的另一方面，提供一种处理音频信号的方法，该方法包括：接收包括至少一个音频对象的音频信号和三维图像信息；基于该三维图像信息产生用于沿向右方向、向左方向、向上方向、向下方向、向前方向和向后方向中的至少一个方向将三维效果应用于音频对象的索引信息；并基于该索引信息，沿向右方向、向左方向、向上方向、向下方向、向前方向和向后方向中的至少一个方向将三维效果应用于音频对象。产生索引信息的步骤可包括：基于所述至少一个音频对象沿向右方向和向左方向的位置产生沿向右方向和向左方向的索引信息，通过使用最大视差值和位置信息中的至少一个估计所述位置；基于所述至少一个音频对象沿向前方向和向后方向的深度值产生沿向前方向和向后方向的索引信息，通过使用最大视差值和最小视差值中的至少一个估计所述深度值；并基于所述至少一个音频对象沿向上方向和向下方向的位置产生沿向上方向和向下方向的索引信息，通过使用最大视差值和位置信息中的至少一个估计所述位置。所述处理音频信号的方法还可包括确定所述至少一个音频对象是否对应于图像对象，其中，产生索引信息的步骤包括：当所述至少一个音频对象和图像对象彼此不对应时，产生索引信息，以便减小所述至少一个音频对象的三维效果。所述处理音频信号的方法还可包括确定所述至少一个音频对象是否对应于非效果声音，其中，产生索引信息的步骤包括：当所述至少一个音频对象对应于非效果声音时，产生索引信息，以便减小所述至少一个音频对象的三维效果。根据又一示例性实施例，提供一种处理音频信号的方法，该方法包括：接收与三维图像相应的音频信号；并基于关于该三维图像的三维效果信息将三维效果应用于音频信号。三维效果信息可包括关于该三维图像的深度信息和位置信息中的至少一个。将三维效果应用于音频信号的步骤可包括：对音频信号进行处理以使得用户感觉到如同声源的位置被改变为对应于三维图像中所包括的对象的移动一样。此外，将三维效果应用于音频信号的步骤包括：基于指示三维图像的深度、向右和向左扩展以及高度的感觉中的至少一个的索引信息，沿多个方向呈现音频信号。本专利技术的有益效果根据示例性实施例的音频信号处理设备可产生具有使得与图像屏幕的三维效果中的变化相应的三维效果的音频信号。因此，当用户观看预定图像并且听音频时，用户可体验到最大三维效果。另外，根据示例性实施例的音频信号处理设备可产生沿六个方向具有三维效果的音频对象，从而增大音频信号的三维效果。附图说明通过参照附图详细地描述示例性实施例，以上和其他特征将变得更清楚，其中：图1是根据示例性实施例的音频信号处理设备的框图；图2是根据另本文档来自技高网...

【技术保护点】
一种音频信号处理设备，包括：索引估计单元，接收三维图像信息，并基于三维图像信息产生用于沿向右方向、向左方向、向上方向、向下方向、向前方向和向后方向中的至少一个方向将三维效果应用于音频对象的索引信息；和呈现单元，基于索引信息沿向右方向、向左方向、向上方向、向下方向、向前方向和向后方向中的至少一个方向将三维效果应用于音频对象。

【技术特征摘要】
【国外来华专利技术】2011.07.29 KR 10-2011-00761481.一种音频信号处理设备，包括：索引估计单元，接收三维图像信息和包括至少一个音频对象的音频信号，并基于三维图像信息产生用于沿向右方向、向左方向、向上方向、向下方向、向前方向和向后方向中的至少一个方向将三维效果应用于所述至少一个音频对象的索引信息，其中，所述至少一个音频对象被改变以与包括在三维图像中的图像对象的运动相应；和呈现单元，基于索引信息沿向右方向、向左方向、向上方向、向下方向、向前方向和向后方向中的至少一个方向将三维效果应用于所述至少一个音频对象，其中，所述音频信号处理设备还包括：信号提取单元，接收立体声音频信号，提取立体声音频信号中的右/左信号和中心声道信号，并将提取的信号发送到索引估计单元，以进行分析来区分效果声音和非效果声音，其中，效果声音包括在音频对象移动时所产生的声音，其中，非效果声音包括来自于声源的位置未被显著改变的静态声源的声音，其中，在当音频对象和图像对象彼此不对应时的情况和当音频对象对应于非效果声音时的情况之中的至少一种情况下，索引估计单元产生索引信息以便减小音频对象的三维效果。2.根据权利要求1所述的音频信号处理设备，其中，索引估计单元产生索引信息，所述索引信息包括沿向右方向和向左方向的声音扩展信息、沿向前方向和向后方向的深度信息、以及沿向上方向和向下方向的高度信息。3.根据权利要求1所述的音频信号处理设备，其中，三维图像信息对于每一个图像帧包括最小视差值、最大视差值、以及具有最大视差值和最小视差值中的至少一个的图像对象的位置信息中的至少一个。4.根据权利要求3所述的音频信号处理设备，其中，当对于每一个帧输入三维图像信息时，图像对象的位置信息包括关于通过将与一个帧相应的一个屏幕划分为至少一个子帧而获得的子帧的信息。5.根据权利要求4所述的音频信号处理设备，其中，基于音频对象沿向右方向和向左方向的位置获得声音扩展信息，其中，通过使用最大视差值和所述位置信息中的至少一个估计所述位置。6.根据权利要求4所述的音频信号处理设备，其中，基于音频对象沿向前方向和向后方向的深度值获得深度信息，其中，通过使用最大视差值和最小视差值中的至少一个估计所述深度值。7.根据权利要求4所述的音频信号处理设备，其中，基于音频对象沿向上方向和向下方向的位置获得高度信息，其中，通过使用最大视差值和所述位置信息中的至少一个估计所述位置。8.根据权利要求1所述的音频信号处理设备，其中，信号提取单元还将提取的信号发送到呈现单元。9.根据权利要求8所述的音频信号处理设备，其中，索引估计单元包括：声源检测单元，接收作为音频信号的立体声音频信号、右/左信号和中心声道信号中的至少一个，分析以下项中的至少一个并基于第一分析结果区分效果声音和非效果声音：输入音频信号的方向角度和用于每一个频段的能量；比较单元，确定音频对象是否对应于图像对象；和索引产生单元，在当图像对象和音频对象彼此不对应时的情况和当音频对象对应于非效果声音时的情况之中的至少一种情况下，产生索引信息，以便减小音频对象的三维效果。10.根据权利要求9所述的音频信号处理设备，其中，声源检测单元接收立体声音频信号、右/左信号和中心声道信号中的至少一个，跟踪立...

【专利技术属性】
技术研发人员：金善民，李英宇，李允宰，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR