一种超高清音视频通信方法、系统及计算机可读存储介质技术方案

本发明专利技术公开了一种超高清音视频通信方法、系统及计算机可读存储介质，该超高清音视频通信方法，通过多路4K超高清采集设备采集4K超高清细腻的视频画面，可以满足用户使用超高清设备进行超高清音视频通信，实现清晰高效的沟通。超高清音视频通信系统具有自适应硬件编解码模块，可自动选择使用最佳的显卡，提高工作效率；使用GPU渲染图像，加快渲染速度，使客户可以流畅的观看4K超高清视频；采用优化的画中画算法，以支持多路4K视频流高效缩放叠加形成画中画，满足用户对于多种不同场景下进行4K超高清音视频通信。高清音视频通信。高清音视频通信。

【技术实现步骤摘要】
一种超高清音视频通信方法、系统及计算机可读存储介质


[0001]本专利技术涉及超高清通信
，特别涉及一种超高清音视频通信方法、系统及计算机可读存储介质，计算机可读存储介质被处理器执行时能实现超高清音视频通信方法。

技术介绍

[0002]随着5G高速网络的普及，音视频通信技术飞速发展，功能日新月异。传统的音视频通信软件，由于清晰度，分辨率，音质画质等问题，逐渐不满足中高端音视频通信应用的需求。特别是对于4K超高清（即4K分辨率Ultra HD）视频通信场景，现有的音视频通信方式存在编解码缓慢、传输丢帧、延时极大等问题，无法满足多种多样尤其是超高清视频通信的需求。因此，研发一种能满足流畅进行4K超高清音视频通信方式是个亟待解决的问题。

技术实现思路

[0003]本专利技术所要解决的技术问题是提供一种超高清音视频通信方法，存储有被执行时实现上述方法的计算机程序的计算机可读存储介质，包括该存储介质的系统，该超高清音视频通信方法能够维持清晰流畅的4K超高清实时通信。
[0004]提供一种超高清音视频通信方法，在当前设备上实现音视频的采集、播放和向外传输，包括如下步骤：高清音视频多路采集步骤，通过多路4K画面采集设备采集视频数据，通过输入音频采集设备采集音频数据；格式匹配步骤，识别所述多路4K画面采集设备各自采集的视频数据的画面的格式是否为YUV格式，若存在视频数据的画面为非YUV格式，则将其对应的4K画面采集设备所采集的视频数据进行解码处理，通过转码处理将其画面转为YUV格式后再进行编码处理，从而输出格式匹配、的视频数据；音视频同步步骤，对所采集的视频数据和音频数据进行时间同步处理得到音视频数据；若所述格式匹配步骤中存在视频数据的画面为非YUV格式，则在时间同步处理中将与该视频数据对应的音频数据延迟该视频数据解码处理、转码处理和编码处理所需总时长；画中画处理步骤，在当前设备上对所采集的音视频进行播放时，根据用户的输入操作对多个所述4K画面采集设备采集的视频数据的画面进行像素叠加处理和缩放处理，将经过所述像素叠加处理和缩放处理的视频数据显示在用户指定区域；传输步骤，将经过所述时间同步处理的音视频数据以数据包分片的形式向外传输，所述数据包分片的大小与所述格式匹配步骤中的非YUV格式视频数据数量和画中画处理步骤中进行像素叠加处理和缩放处理的视频数据数量均负相关。
[0005]优选地，所述高清音视频多路采集步骤中，4K画面采集设备包括4K摄像头和4K采集卡。
[0006]优选地，所述画中画处理步骤还包括画面透明通道调整步骤，对进行像素叠加处
理的多层画面分别增强透明度以实现画中画处理的叠加画面的透明显示。
[0007]优选地，所述画中画处理步骤中，包括对从外部接收的多个音视频进行画中画处理时执行的音频匹配步骤，识别各个音视频画面所对应的音频数据，得到语音识别结果；基于所述语音识别结果，获取所述语音数据相匹配的多个画面采集通道进行所述画中画处理。
[0008]优选地，所述语音数据相匹配是指语音重复性达预设程度，则择一显示这些语音数据所对应4K画面采集设备采集的画面。
[0009]优选地，所述语音数据相匹配是指多路4K画面采集设备采集的画面所对应的音频数据具有连续性，则禁用对这些画面的画中画处理。
[0010]优选地，所述音视频同步步骤中，包括音频标签插入步骤，对所述音视频数据：获取其音频数据在预设时间节点的音频帧的低通幅值作为音频标签；在同一预设时间节点分别抽取全部视频数据的视频帧，通过离散余弦变换的图像压缩将所述音频标签分别嵌入各个视频帧中。
[0011]优选地，所述低通幅值作为音频标签是指：对所述低通幅值依次进行多阶处理以得到多阶矩阵，将多阶矩阵的全部多阶矩阵特征值的序列作为音频标签。
[0012]优选地，多阶处理是指一阶矩处理和二阶矩处理，所述音频标签是指组成二阶矩阵的二阶矩阵特征值的序列。
[0013]优选地，将所述音频标签分别嵌入各个视频帧是指：分别提取各个视频帧预设区域的YUV数据的亮度分量，在进行离散余弦变换的图像压缩采处理时，以音频标签的序列的值来修改所述亮度分量在离散余弦变换中的交流分量的中高频系数，从而将所述音频帧嵌入所述视频帧中。
[0014]优选地，包括在高清音视频多路采集步骤之前执行的自动设备检测步骤，包括摄像头扫描自检，判断是否完成预设的4K分辨率在预设帧率下的采集；以及包括麦克风扫描自检，通过录音并播放所录制的音频对比以识别麦克风录制和播放状态。
[0015]优选地，包括在高清音视频多路采集步骤之前执行的显卡检测步骤：读取配置信息选择最新使用的显卡，通过硬件编解码对预设的标准数据进行编解码，若编解码后和原始数据像素值对比，每个像素位置的Y、U、V数据的对比不超过4，则判断显卡正常。
[0016]还提供一种超高清音视频通信系统，包括处理器以及分别与所述处理器通信的多路4K画面采集设备和输入音频采集设备，还包括预先存储的上述计算机可读存储介质，该计算机可读存储介质上的计算机程序可被处理器执行。
[0017]有益效果：该超高清音视频通信方法，通过多路4K超高清采集设备采集4K超高清细腻的视频画面，可以满足用户使用超高清设备进行超高清音视频通信，实现清晰高效的沟通。超高清音视频通信系统具有自适应硬件编解码模块，可自动选择使用最佳的显卡，提高工作效率；使用GPU渲染图像，加快渲染速度，使客户可以流畅的观看4K超高清视频；采用优化的画中画算法，以支持多路4K视频流高效缩放叠加形成画中画，满足用户对于多种不同场景下进行4K超高清音视频通信。
附图说明
[0018]图1是超高清音视频通信方法的步骤流程图。
[0019]图2是超高清音视频通信方法的逻辑处理流程示意图。
具体实施方式
[0020]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0021]本实施例的超高清音视频通信系统包括自动设备检测模块，4K多路采集模块、自适应硬件编解码模块、高效网络传输模块、快速裁剪显示处理模块、多平台高性能渲染模块和画中画模块，各个模块分别连接处理器并通过处理器执行预先录制的计算机程序实现各个模块功能。该超高清音视频的多路4K画面采集设备和输入音频采集设备可用于远程问诊，视频会议，远程开户等诸多金融，医疗领域，让用户体验到超高清的音视频通话，告别模糊，卡顿的低画质不流畅体验，有效的帮助人类提高了信息表达和传递的效率，扩展了音视频通话的使用场景，具有较广泛的实用价值。
[0022]本实施例的4K超高清音视频通信系统的通信过程通过如下4K超高清音视频通信方法实现，该方法首先通过自动设备检测保障设备可用；其次同时采集多路4K音视频流，将多路视频流进行画中画叠加成一路视频流；然后本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种超高清音视频通信方法，其特征是，包括如下步骤：高清音视频多路采集步骤，通过多路4K画面采集设备采集视频数据，通过输入音频采集设备采集音频数据；格式匹配步骤，识别所述多路4K画面采集设备各自采集的视频数据的画面的格式是否为YUV格式，若存在视频数据的画面为非YUV格式，则将其对应的4K画面采集设备所采集的视频数据进行解码处理，通过转码处理将其画面转为YUV格式后再进行编码处理，从而输出格式匹配、的视频数据；音视频同步步骤，对所采集的视频数据和音频数据进行时间同步处理得到音视频数据；若所述格式匹配步骤中存在视频数据的画面为非YUV格式，则在时间同步处理中将与该视频数据对应的音频数据延迟该视频数据解码处理、转码处理和编码处理所需总时长；画中画处理步骤，根据用户的输入操作对多个所述4K画面采集设备采集的视频数据的画面进行像素叠加处理和缩放处理，将经过所述像素叠加处理和缩放处理的视频数据显示在用户指定区域；传输步骤，将经过所述时间同步处理的音视频数据以数据包分片的形式向外传输，所述数据包分片的大小与所述格式匹配步骤中的非YUV格式视频数据数量和画中画处理步骤中进行像素叠加处理和缩放处理的视频数据数量均负相关。2.根据权利要求1所述的超高清音视频通信方法，其特征是，所述高清音视频多路采集步骤中，4K画面采集设备包括4K摄像头和4K采集卡。3.根据权利要求1所述的超高清音视频通信方法，其特征是，所述画中画处理步骤还包括画面透明通道调整步骤，对进行像素叠加处理的多层画面分别增强透明度以实现画中画处理的叠加画面的透明显示。4.根据权利要求1或3所述的超高清音视频通信方法，其特征是，所述音视频同步步骤中，包括音频标签插入步骤，对所述音视频数据：获取其音频数据在预设时间节点的音频帧的低通幅值作为...

【专利技术属性】
技术研发人员：王先来，
申请(专利权)人：广州佰锐网络科技有限公司，
类型：发明
国别省市：