音频同步方法及相关电子设备技术

本发明专利技术提供一种音频同步方法及相关电子设备。音频同步方法包括：从第一记录设备接收第一音频信号；从第二记录设备接收第二音频信号；对第一音频信号和第二音频信号执行相关运算以对准第一音频信号的第一样式和第二音频信号的第一样式；在第一音频信号和第二音频信号的第一样式对准之后，计算第一音频信号的第二样式和第二音频信号的第二样式之间的差；以及根据第一音频信号的第二样式和第二音频信号的第二样式之间的差，获得第一音频信号和第二音频信号之间的开始时间差以用于音频同步。本发明专利技术的音频同步方法及相关电子设备可以同步音频信号，解决延迟误差问题。

Audio synchronization method and related electronic equipment

The invention provides an audio synchronization method and related electronic equipment. Including audio synchronization methods: from the first recording apparatus receives the first audio signal; from the second recording apparatus receives second audio signal; the first style first pattern and the second audio signal to perform related operations the first audio signal and a second audio signal to align the first audio signal; after the alignment of the first style of a first audio signal and a second audio signal. Between the second styles and second audio signal to calculate the first audio signal of the second style; and according to second styles and second audio signal of the first audio signal of the second style of the difference between the obtained between the first audio signal and a second audio signal start time difference for audio synchronization. The audio synchronization method and the related electronic equipment of the invention can synchronize the audio signals to solve the delay error problem.

【技术实现步骤摘要】
音频同步方法及相关电子设备
本专利技术有关于360度音频/视频应用，更具体来说，有关于用于虚拟现实的360度音频/视频应用的音频同步方法和相关电子设备。
技术介绍
在360度音频/视频应用中，多个相机和麦克风被用于记录用于使用虚拟现实(virtualreality)的音频和视频轨道。当用户佩戴头戴式显示器或耳机以享受虚拟现实时，所记录的音频和视频轨道可以由头戴式显示器或耳机播放，以向用户提供沉浸式体验。然而，因为音频轨道由两个或更多个麦克风记录，并且麦克风的开始时间(即麦克风开始记录的时间点)由于内部硬件或软件情况而总是不同，所以音频轨道可能不是本征同步的(intrinsicallysynchronized)。
技术实现思路
有鉴于此，本专利技术特提供以下技术方案：本专利技术实施例提供一种音频同步方法，包括：从第一记录设备接收第一音频信号；从第二记录设备接收第二音频信号；对第一音频信号和第二音频信号执行相关运算以对准第一音频信号的第一样式和第二音频信号的第一样式；在第一音频信号和第二音频信号的第一样式对准之后，计算第一音频信号的第二样式和第二音频信号的第二样式之间的差；以及根据第一音频信号的第二样式和第二音频信号的第二样式之间的差，获得第一音频信号和第二音频信号之间的开始时间差以用于音频同步。本专利技术实施例又提供一种音频同步方法，包括：控制第一扬声器播放具有第一样式的声音；控制第二扬声器播放具有第二样式的声音；从记录由第一扬声器和第二扬声器产生的声音的第一记录设备接收第一音频信号；从记录由第一扬声器和第二扬声器产生的声音的第二记录设备接收第二音频信号；以及参考第一音频信号内的第一样式和第二样式的多个时间点以及第二音频信号内的第一样式和第二样式的多个时间点，以获得第一音频信号和第二音频信号之间的开始时间差用于音频同步。本专利技术实施例又提供一种电子设备，包括处理电路，用于分别从第一记录设备和第二记录设备接收第一音频信号和第二音频信号，以及对第一音频信号和第二音频信号执行相关运算，以对准第一音频信号的第一样式和第二音频信号的第一样式；以及在第一音频信号的第一样式和第二音频信号的第一样式对准之后，计算第一音频信号的第二样式和第二音频信号的第二样式之间的差；以及根据第一音频信号的第二样式与第二音频信号的第二样式之间的差，获得第一音频信号和第二音频信号之间的开始时间差以用于音频同步。以上的音频同步方法和相关电子设备可以同步音频信号，解决延迟误差问题。【附图说明】图1是360度音频/视频应用的示意图。图2为本专利技术一实施例的音频同步方法的示意图。图3是扬声器和麦克风具有特殊的布置的示意图。图4是示出根据本专利技术另一实施例的音频同步方法的示意图。图5是对由麦克风记录的音频信号执行相关运算的示意图。图6示出根据本专利技术的一个实施例的能够记录用于360度音频应用的两个音频信号的电子设备。图7示出了根据本专利技术另一实施例的能够记录用于360度音频应用的音频信号的电子设备。图8是根据本专利技术的一个实施例的音频同步方法的流程图。图9是根据本专利技术的一个实施例的能够记录用于360度音频应用的音频信号的系统。图10是根据本专利技术另一实施例的音频同步方法的流程图。图11是根据本专利技术的一个实施例的能够记录用于360度音频应用的音频信号的系统。图12是根据本专利技术另一实施例的音频同步方法的流程图。图13是根据本专利技术的一个实施例的虚拟现实应用的系统。图14是根据本专利技术的另一实施例的虚拟现实应用的系统。【具体实施方式】在说明书及权利要求书当中使用了某些词汇来指称特定的组件。所属领域中的技术人员应可理解，制造商可能会用不同的名词来称呼同样的组件。本说明书及权利要求书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的基准。在通篇说明书及权利要求书当中所提及的「包含」是开放式的用语，故应解释成「包含但不限定于」。另外，「耦接」一词在此包含任何直接及间接的电气连接手段。因此，若文中描述第一装置耦接于第二装置，则代表第一装置可直接电气连接于第二装置，或透过其它装置或连接手段间接地电气连接至第二装置。本专利技术的音频同步方法的实施例用于确定两个麦克风之间的开始时间差(starting-timedifference)(即，麦克风开始记录音频信号的时间点之间的差)，并且使用所确定的开始时间差同步所记录的音频信号。另外，音频同步方法的实施例可以应用于如图1所示的360度音频/视频应用，其中多个相机110_1和110_2以及麦克风120_1和120_2用于记录用于使用虚拟现实的音频和视频信号。请参考图2，图2为本专利技术一实施例的音频同步方法的示意图。如图所示，在图2中，假设三个麦克风220_1-220_3用于记录音频信号，扬声器210用于产生用于音频同步的同步声音样式(synchronizationsoundpattern)。同步声音样式可以是能够与环境噪声区分开的任何预先设计的声音样式，并且同步声音样式可以具有单音、扫描音(sweeptone)或啁啾，并且同步声音样式可以是正常声音或超声波。在该实施例中，扬声器210的位置由用户或产品工程师确定，因此扬声器210和麦克风220_1-220_3之间的距离是用户或工程师已知的，其中扬声器210和麦克风220_1-220_3之间的距离分别由“x”、“y”和“z”表示，并且假设y>x>z。在开始时，用户使能(enable)麦克风220_1-220_3分别开始记录音频信号，然后扬声器210产生同步声音样式，其中，图2所示的黑点是麦克风220_1-220_3开始记录音频信号的开始时间，并且图2中所示的三角波表示由麦克风220_1-220_3记录的同步声音样式。在接收到原始记录的音频信号之后，对原始记录的音频信号执行自相关操作(auto-correlationoperation)以对准原始记录的音频信号内的同步声音样式。然后，因为设备/麦克风规格和布置是已知的，所以可以预先计算与距离差“y-x”和“y-z”相对应的声音延迟，并且施加对应于距离差“y-x”和“y-z”的声音延迟以补偿对准的音频信号，以产生补偿的音频信号。在图2所示的补偿音频信号中，与麦克风220_1和220_2对应的补偿音频信号的同步声音样式具有与距离差“y-x”对应的延迟，并且与麦克风220_2和220_3相对应的补偿音频信号的同步声音样式具有对应于距离差“y-z”的延迟，并且这些补偿的音频信号用作补偿开始时间差异情况的同步音频信号。在图2所示的实施例中，声音延迟需要被预先计算以补偿音频信号，然而，声音延迟计算可能受到由环境温度、湿度和空气密度确定的声速的影响。因此，可能引入延迟误差影响经补偿的音频信号的精度。为了解决延迟误差问题，提供了一种解决方案以使扬声器和麦克风具有特殊的布置，例如如图3中(a)和(b)所示的环形或对称布置。图3是扬声器和麦克风具有特殊的布置的示意图。参考图3中的(a)和(b)，扬声器310/330与麦克风320_1-320_4/340_1-340_4中的每一个之间的距离相同，因此扬声器310/330与麦克风320_1-320_4/340_1-340_4中的每一个之间的声音传播延迟是相同的，以防止图2的实施例中的声本文档来自技高网...

【技术保护点】
一种音频同步方法，其特征在于，包括：从第一记录设备接收第一音频信号；从第二记录设备接收第二音频信号；对所述第一音频信号和所述第二音频信号执行相关运算以对准所述第一音频信号的第一样式和所述第二音频信号的所述第一样式；在所述第一音频信号和所述第二音频信号的所述第一样式对准之后，计算所述第一音频信号的第二样式和所述第二音频信号的所述第二样式之间的差；以及根据所述第一音频信号的所述第二样式和所述第二音频信号的所述第二样式之间的差，获得所述第一音频信号和所述第二音频信号之间的开始时间差以用于音频同步。

【技术特征摘要】
2016.03.10 US 62/306,112;2017.03.05 US 15/450,0051.一种音频同步方法，其特征在于，包括：从第一记录设备接收第一音频信号；从第二记录设备接收第二音频信号；对所述第一音频信号和所述第二音频信号执行相关运算以对准所述第一音频信号的第一样式和所述第二音频信号的所述第一样式；在所述第一音频信号和所述第二音频信号的所述第一样式对准之后，计算所述第一音频信号的第二样式和所述第二音频信号的所述第二样式之间的差；以及根据所述第一音频信号的所述第二样式和所述第二音频信号的所述第二样式之间的差，获得所述第一音频信号和所述第二音频信号之间的开始时间差以用于音频同步。2.根据权利要求1所述的音频同步方法，其特征在于，根据所述第一音频信号的所述第二样式和所述第二音频信号的所述第二样式之间的所述差，获得所述第一音频信号和所述第二音频信号之间的所述开始时间差用于音频同步的步骤包括：移动所述第一音频信号和/或所述第二音频信号以使所述第一音频信号的所述第一样式和所述第二音频信号的所述第一样式具有特定延迟，其中所述特定延迟是所述第一音频信号的所述第二样式和所述第二音频信号的所述第二样式的所述差的一半；以及比较所述第一音频信号的头部位置和所述第二音频信号的头部位置，以获得所述第一音频信号和所述第二音频信号之间的所述开始时间差。3.根据权利要求1所述的音频同步方法，其特征在于，所述第一音频信号的所述第一样式和所述第二音频信号的所述第一样式来自第一扬声器，所述第一音频信号的所述第二样式和所述第二音频信号的所述第二样式来自第二扬声器。4.根据权利要求3所述的音频同步方法，其特征在于，所述第一扬声器、所述第二扬声器、所述第一记录设备和所述第二记录设备在同一条线上对准。5.根据权利要求4所述的音频同步方法，其特征在于，所述第一记录设备和所述第二记录设备被放置在所述第一扬声器和所述第二扬声器之间，所述第一扬声器相较于所述第二记录设备更靠近所述第一记录设备，所述第二扬声器相较于所述第一记录设备更靠近所述第二记录设备。6.根据权利要求3所述的音频同步方法，其特征在于，所述音频同步方法由电子设备内的处理器执行，并且所述第一扬声器、所述第二扬声器、所述第一记录设备和所述第二记录设备在所述电子设备内。7.根据权利要求3所述的音频同步方法，其特征在于，所述音频同步方法由电子设备内的处理器执行，并且所述电子设备分别从所述第一记录设备和所述第二记录设备无线地接收所述第一音频信号和所述第二音频信号。8.根据权利要求1所述的音频同步方法，其特征在于，所述音频同步方法用于360度视频应用中的360度音频同步，所述音频同步方法还包括：通过使用所获得的所述开始时间差来同步所述第一音频信号和所述第二音频信号；以及将同步的所述第一音频信号和同步的所述第二音频信号无线地发送到用于提供虚拟现实的电子设备。9.一种音频同步方法，其特征在于，包括：控制第一扬声器播放具有第一样式的声音；控制第二扬声器播放具有第二样式的声音；从记录由所述第一扬声器和所述第二扬声器产生的声音的第一记录设备接收第一音频信号；从记录由所述第一扬声器和所述第二扬声器产生的所述声音的第二记录设备接收第二音频信号；以及参考所述第一音频信号内的所述第一样式和所述第二样式的时间点以及所述第二音频信号内的所述第一样式和所述第二样式的时间点，以获得所述第一音频信号和所述第二音频信号之间的开始时间差用于音频同步。10....

【专利技术属性】
技术研发人员：施信玮，李佳盈，许肇凌，郑尧文，张胜凯，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71