【技术实现步骤摘要】
本申请涉及音视频会议，尤其涉及一种音视频会议的实现方法及系统。
技术介绍
1、音视频会议系统作为现代通信的一个重要组成部分，随着远程工作和虚拟交互的普及，其应用范围和技术要求不断扩大。尽管技术的快速进步使得音视频会议的质量和效率有了显著的提升，但在实际应用中仍面临多种挑战。其中，音视频同步性问题是尤为突出的一个，用户常常会遭遇音频延迟或提前于视频，影响会议的流畅性和交流的自然度。此外，随着会议参与者数量的增加，如何保证每个参与者都能获得高质量的音视频体验也是一个技术难题。
2、此外，现有的音视频会议系统在处理高动态、复杂场景的音视频数据流时，往往需要消耗大量的计算资源，同时，音视频数据的安全性和隐私保护也是用户和服务提供者极为关注的问题，如何在保证数据安全的前提下实现高效的数据传输和处理，是现有技术亟待解决的重大挑战。
技术实现思路
1、本申请提供了一种音视频会议的实现方法及系统，用于提高了会议的音视频展示效果并提高了会议的安全性。
2、第一方面，本申请提供了一种音视频会议的实现方法，所述音视频会议的实现方法包括：
3、采用时间平移模块与二维卷积神经网络对第一用户终端采集的原始音视频数据流进行预处理和时间视觉特征同步，得到第一音视频数据流；
4、对所述第一音视频数据流进行自注意力和交叉注意力处理，得到第二音视频数据流；
5、采用动态三元组损失和多项式损失函数对所述第二音视频数据流进行编码，并通过modeformer模型进行
6、基于注意力的数据同步和分发机制对多个第二用户终端进行音视频同步和分发路径构建，得到每个第二用户终端的音视频同步和分发路径；
7、定义每个音视频同步和分发路径的数据传输和数据加密策略，并根据所述数据传输和数据加密策略将所述第三音视频数据流分发至多个第二用户终端，同时，通过所述多个第二用户终端进行音视频展示。
8、第二方面，本申请提供了一种音视频会议的实现装置，所述音视频会议的实现装置包括：
9、预处理模块，用于采用时间平移模块与二维卷积神经网络对第一用户终端采集的原始音视频数据流进行预处理和时间视觉特征同步，得到第一音视频数据流；
10、处理模块，用于对所述第一音视频数据流进行自注意力和交叉注意力处理，得到第二音视频数据流；
11、编码模块，用于采用动态三元组损失和多项式损失函数对所述第二音视频数据流进行编码，并通过modeformer模型进行音频和视频嵌入特征提取，得到第三音视频数据流；
12、构建模块，用于基于注意力的数据同步和分发机制对多个第二用户终端进行音视频同步和分发路径构建，得到每个第二用户终端的音视频同步和分发路径；
13、分发模块，用于定义每个音视频同步和分发路径的数据传输和数据加密策略，并根据所述数据传输和数据加密策略将所述第三音视频数据流分发至多个第二用户终端，同时，通过所述多个第二用户终端进行音视频展示。
14、本申请第三方面提供了一种音视频会议的实现设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述音视频会议的实现设备执行上述的音视频会议的实现方法。
15、本申请的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的音视频会议的实现方法。
16、本申请提供的技术方案中，通过结合时间平移模块与二维卷积神经网络，本专利技术有效地提高了音视频数据的时间视觉特征同步。有效处理视频帧与音频帧之间的时间对齐问题，从而确保视频会议中音视频流的流畅性和一致性。引入自注意力和交叉注意力处理不仅增强了音视频数据流中的关键信息提取，还改善了音频与视频之间的相互关系理解，通过采用动态三元组损失和多项式损失函数，结合modeformer模型进行音频和视频嵌入特征的提取，在保证音视频数据压缩效率的同时，还优化了特征匹配和编码过程。这样的技术创新提供了更高的数据处理效率和更低的传输延迟。通过智能分析每个终端用户的网络状况和数据处理能力，动态构建音视频同步和分发路径。这种个性化的数据流管理策略确保了即使在网络条件不稳定或参与者众多的情况下，每个用户仍能获得最佳的音视频质量。定义并实施高级的数据传输和加密策略，包括端到端加密技术，确保会议中的数据传输安全和信息的私密性。通过高效地整合文件共享、屏幕共享、白板及实时投票交互功能，本专利技术提升了会议的交互性和多功能性。这使得参与者可以更灵活地在会议中共享和编辑内容，从而增强协作效率。
本文档来自技高网...【技术保护点】
1.一种音视频会议的实现方法，其特征在于，所述音视频会议的实现方法包括：
2.根据权利要求1所述的音视频会议的实现方法，其特征在于，所述采用时间平移模块与二维卷积神经网络对第一用户终端采集的原始音视频数据流进行预处理和时间视觉特征同步，得到第一音视频数据流，包括：
3.根据权利要求1所述的音视频会议的实现方法，其特征在于，所述对所述第一音视频数据流进行自注意力和交叉注意力处理，得到第二音视频数据流，包括：
4.根据权利要求1所述的音视频会议的实现方法，其特征在于，所述采用动态三元组损失和多项式损失函数对所述第二音视频数据流进行编码，并通过ModEFormer模型进行音频和视频嵌入特征提取，得到第三音视频数据流，包括：
5.根据权利要求1所述的音视频会议的实现方法，其特征在于，所述基于注意力的数据同步和分发机制对多个第二用户终端进行音视频同步和分发路径构建，得到每个第二用户终端的音视频同步和分发路径，包括：
6.根据权利要求1所述的音视频会议的实现方法，其特征在于，所述定义每个音视频同步和分发路径的数据传输和数据加密策略，
7.根据权利要求1所述的音视频会议的实现方法，其特征在于，所述音视频会议的实现方法还包括：
8.一种音视频会议的实现装置，其特征在于，所述音视频会议的实现装置包括：
9.一种音视频会议的实现设备，其特征在于，所述音视频会议的实现设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述的音视频会议的实现方法。
...【技术特征摘要】
1.一种音视频会议的实现方法，其特征在于，所述音视频会议的实现方法包括：
2.根据权利要求1所述的音视频会议的实现方法，其特征在于，所述采用时间平移模块与二维卷积神经网络对第一用户终端采集的原始音视频数据流进行预处理和时间视觉特征同步，得到第一音视频数据流，包括：
3.根据权利要求1所述的音视频会议的实现方法，其特征在于，所述对所述第一音视频数据流进行自注意力和交叉注意力处理，得到第二音视频数据流，包括：
4.根据权利要求1所述的音视频会议的实现方法，其特征在于，所述采用动态三元组损失和多项式损失函数对所述第二音视频数据流进行编码，并通过modeformer模型进行音频和视频嵌入特征提取，得到第三音视频数据流，包括：
5.根据权利要求1所述的音视频会议的实现方法，其特征在于，所述基于注意力的数据同步和分发机制对多个第二用户终端进行音视频同步和分发路径构...
【专利技术属性】
技术研发人员：庞文超，
申请(专利权)人：深圳市顺恒利科技工程有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。