本发明专利技术提供了一种音视频处理同步方法、装置、电子设备和存储介质，该方法包括：对至少两个音视频数据分离得到至少两个视频数据和至少两个音频数据；在基准时钟下，根据基准帧率和任一视频数据的当前帧率对所述至少两个视频数据的帧率统一，得到帧率统一后的至少两个视频数据；对至少两个音频数据播放时长进行调整，任一音频在任一时刻的播放时长等于当前音频播放时长加上音频数据长度除以数据通信传输量，得到调整后的至少两个音频数据；根据帧率统一后的至少两个视频数据和调整后的至少两个音频数据对应后合成输出或发送给其他设备或直接显示。通过本发明专利技术，解决了相关技术中存在多路音视频处理时同步效果不好的问题。存在多路音视频处理时同步效果不好的问题。存在多路音视频处理时同步效果不好的问题。
【技术实现步骤摘要】
一种音视频处理同步方法、装置、电子设备和存储介质
[0001]本专利技术涉及音视频处理领域，尤其涉及一种音视频处理同步方法、装置、电子设备和存储介质。
技术介绍
[0002]多个不同音视频信号源(可以是设备采集的视频信号，也可以是录制生成的多媒体文件，也可以是网络视频流)在同一个设备中或者同一个时钟信号中进行处理时，视频帧率不同或音频采样率不同会导致多路音视频不同步。目前，在实现多路音视频同步播放时，可以通过选择器切换某路输入发送给接收终端，接收终端在接收到各路发送的音视频后，混合编码成单路音视频数据发给各路发送终端；但在处理多个不同信号源的音视频时，视频因存在信号格式问题会导致信号接入不了或者信号不稳定，音频因采样率不同会导致声音失真，若某一路暂时不需要处理还会占用资源。因此，现有技术中存在多路音视频处理时同步效果不好的问题。
技术实现思路
[0003]本专利技术提供了一种音视频处理同步方法、装置、电子设备和存储介质，以至少解决相关技术中存在多路音视频处理时同步效果不好的问题。
[0004]根据本专利技术实施例的第一方面，提供了一种音视频处理同步方法，该方法包括：获取至少两个音视频数据，对所述至少两个音视频数据分离，得到至少两个视频数据和至少两个音频数据，其中，所述视频数据为视频裸数据；在基准时钟下，根据基准帧率和任一视频数据的当前帧率对所述至少两个视频数据的帧率统一，得到帧率统一后的至少两个视频数据；对所述至少两个音频数据播放时长进行调整，得到调整后的至少两个音频数据，其中，任一音频在任一时刻的播放时长等于当前音频播放时长加上音频数据长度除以数据通信传输量，所述数据通信传输量等于采样率、单个数据大小和通道数的乘积；根据所述帧率统一后的至少两个视频数据和所述调整后的至少两个音频数据对应后合成输出或发送给其他设备或直接显示。
[0005]可选地，所述在基准时钟下，根据基准帧率和任一视频数据的当前帧率对所述至少两个视频数据的帧率统一，得到帧率统一后的至少两个视频数据包括：当所述多个视频数据的帧率不相同时，在任一视频数据的当前帧率大于所述基准帧率时抽帧；在任一视频数据的当前帧率小于所述基准帧率时补帧，得到帧率统一后的至少两个视频数据。
[0006]可选地，所述在任一视频数据的当前帧率大于所述基准帧率时抽帧包括：在任一视频数据的当前帧率大于所述基准帧率时，根据所述当前帧率除以所述基准帧率得到抽帧因子；若所述抽帧因子为整数，根据帧数和所述抽帧因子抽帧；若所述抽帧因子为非整数，根据所述基准时钟下的周期和所述抽帧因子抽帧。
[0007]可选地，所述在任一视频数据的当前帧率小于所述基准帧率时补帧包括：在任一视频数据的当前帧率小于所述基准帧率时，根据所述基准帧率除以所述当前帧率得到补帧
因子；若所述补帧因子为整数，根据帧数和所述补帧因子补帧；若所述补帧因子为非整数，根据所述基准时钟下的周期和所述补帧因子补帧。
[0008]可选地，在对所述至少两个音视频数据分离之前，包括：当所述音视频数据的信号源是网络流或文件时通过解码得到所述至少两个音视频数据；在对所述至少两个音视频数据分离之后，包括：得到至少两个视频数据，控制所述至少两个视频数据连通、不连通或动态关闭，其中，所述连通用于控制所述至少两个视频数据传送和处理，所述不连通用于控制所述至少两个视频数据停止传送和处理，所述动态关闭用于远程控制信号源关闭。
[0009]可选地，所述方法还包括：根据预设的颜色空间对所述帧率统一后的至少两个视频数据进行内存布局的转换，得到内存布局转换后的至少两个视频数据；获取至少两个视频数据对应的数据格式，根据所述内存布局转换后的至少两个视频数据和所述至少两个视频数据对应的数据格式输出处理转换后的至少两个视频数据。
[0010]根据本专利技术实施例的第二方面，还提供了一种音视频处理同步装置，该装置包括：第一得到模块，用于获取至少两个音视频数据，对所述至少两个音视频数据分离，得到至少两个视频数据和至少两个音频数据，其中，所述视频数据为视频裸数据；第二得到模块，用于在基准时钟下，根据基准帧率和任一视频数据的当前帧率对所述至少两个视频数据的帧率统一，得到帧率统一后的至少两个视频数据；第三得到模块，用于对所述至少两个音频数据播放时长进行调整，得到调整后的至少两个音频数据，其中，任一音频在任一时刻的播放时长等于当前音频播放时长加上音频数据长度除以数据通信传输量，所述数据通信传输量等于采样率、单个数据大小和通道数的乘积；合成模块，用于根据所述帧率统一后的至少两个视频数据和所述调整后的至少两个音频数据对应后合成输出或发送给其他设备或直接显示。
[0011]可选地，第二得到模块包括：抽帧单元，用于当所述多个视频数据的帧率不相同时，在任一视频数据的当前帧率大于基准帧率时抽帧；补帧单元，用于在任一视频数据的当前帧率小于基准帧率时补帧，得到帧率统一后的至少两个视频数据。
[0012]可选地，抽帧单元包括：得到子模块，用于在任一视频数据的当前帧率大于所述基准帧率时，根据所述当前帧率除以所述基准帧率得到抽帧因子；第一抽帧子模块，用于当所述抽帧因子为整数，根据帧数和所述抽帧因子抽帧；第二抽帧子模块，用于当所述抽帧因子为非整数，根据所述基准时钟下的周期和所述抽帧因子抽帧。
[0013]可选地，补帧单元包括：得到子模块，用于在任一视频数据的当前帧率小于所述基准帧率时，根据所述基准帧率除以所述当前帧率得到补帧因子；第一补帧子模块，用于当所述补帧因子为整数，根据帧数和所述补帧因子补帧；第二补帧子模块，用于当所述补帧因子为非整数，根据所述基准时钟下的周期和所述补帧因子补帧。
[0014]可选地，所述装置还包括：第四得到模块，用于当所述音视频数据的信号源是网络流或文件时通过解码得到所述至少两个音视频数据；控制模块，用于得到至少两个视频数据，控制所述至少两个视频数据连通、不连通或动态关闭，其中，所述连通用于控制所述至少两个视频数据传送和处理，所述不连通用于控制所述至少两个视频数据停止传送和处理，所述动态关闭用于远程控制信号源关闭。
[0015]可选地，所述装置还包括：第五得到模块，用于根据预设的颜色空间对所述帧率统一后的至少两个视频数据进行内存布局的转换，得到内存布局转换后的至少两个视频数
据；输出模块，用于获取至少两个视频数据对应的数据格式，根据所述内存布局转换后的至少两个视频数据和所述至少两个视频数据对应的数据格式输出处理转换后的至少两个视频数据。
[0016]根据本专利技术实施例的第三方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；其中，存储器，用于存储计算机程序；处理器，用于通过运行所述存储器上所存储的所述计算机程序来执行上述任一实施例中的方法步骤。
[0017]根据本专利技术实施例的第四方面，还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一实施例中的方法步骤。
本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种音视频处理同步方法，其特征在于，所述方法包括：获取至少两个音视频数据，对所述至少两个音视频数据分离，得到至少两个视频数据和至少两个音频数据，其中，所述视频数据为视频裸数据；在基准时钟下，根据基准帧率和任一视频数据的当前帧率对所述至少两个视频数据的帧率统一，得到帧率统一后的至少两个视频数据；对所述至少两个音频数据播放时长进行调整，得到调整后的至少两个音频数据，其中，任一音频在任一时刻的播放时长等于当前音频播放时长加上音频数据长度除以数据通信传输量，所述数据通信传输量等于采样率、单个数据大小和通道数的乘积；根据所述帧率统一后的至少两个视频数据和所述调整后的至少两个音频数据对应后合成输出或发送给其他设备或直接显示。2.根据权利要求1所述的方法，其特征在于，所述在基准时钟下，根据基准帧率和任一视频数据的当前帧率对所述至少两个视频数据的帧率统一，得到帧率统一后的至少两个视频数据包括：当所述多个视频数据的帧率不相同时，在任一视频数据的当前帧率大于所述基准帧率时抽帧；在任一视频数据的当前帧率小于所述基准帧率时补帧，得到帧率统一后的至少两个视频数据。3.根据权利要求2所述的方法，其特征在于，所述在任一视频数据的当前帧率大于所述基准帧率时抽帧包括：在任一视频数据的当前帧率大于所述基准帧率时，根据所述当前帧率除以所述基准帧率得到抽帧因子；若所述抽帧因子为整数，根据帧数和所述抽帧因子抽帧；若所述抽帧因子为非整数，根据所述基准时钟下的周期和所述抽帧因子抽帧。4.根据权利要求2所述的方法，其特征在于，所述在任一视频数据的当前帧率小于所述基准帧率时补帧包括：在任一视频数据的当前帧率小于所述基准帧率时，根据所述基准帧率除以所述当前帧率得到补帧因子；若所述补帧因子为整数，根据帧数和所述补帧因子补帧；若所述补帧因子为非整数，根据所述基准时钟下的周期和所述补帧因子补帧。5.根据权利要求1所述的方法，其特征在于，在对所述至少两个音视频数据分离之前，包括：当所述音视频数据的信号源是网络流或文件时通过解码得到所述至少两个音视频数据；在对所述至少两个音视频数据分离之后，包括：得到至少两个视频数据，控制所述至少两个视频数据连通、不连通或动态关闭，其中，所述连通用于控制所述至少两个视频数据传送和处理，所述不连通用于控制所述至少两个视频数据停止传送和处理，所述动态关闭用于远程控制信号源关闭。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据预设的颜色空间对所述帧率统一后的至少两个视频数据进行内存布局的转换，得到内存布局转换后的至少两个视频数据；
获取至少...
【专利技术属性】
技术研发人员：彭泽波，宋向阳，张志广，
申请(专利权)人：安徽文香科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。