本发明专利技术公开了基于数字孪生的视频会议重构方法、装置及系统，实时监控采集视频会议的每个发言人的行为信号，并从行为信号中提取音频信号，基于音频信号获取时间‑音频二维空间数组；通过数字孪生技术形成匹配每个发言人的数字人，搭建视频会议虚拟场景；重构孪生音频数据，将所有发言人的时间‑音频二维空间数组按照时序依次顺次排列在孪生时间序列上，以形成一个集成所有发言人的时间‑音频孪生数组，并分区标记不同音频分段对应的发言人信息；将不同音频分段标记的发言人信息分别与每个发言人的数字人进行集成，形成孪生动态可视化的视频会议视频；本发明专利技术能够记录完整的会议内容。
【技术实现步骤摘要】
本专利技术涉及视频会议，具体涉及基于数字孪生的视频会议重构方法、装置及系统。
技术介绍
1、数字孪生是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程。
2、现有对于视频会议的记录大多为个人撰写，记录内容比较分散，且不易复盘完整的会议内容（如发言人的发言顺序以及每个发言人的具体发言内容），更不容易将完整的会议内容进行保存，对于一些比较重要性的会议来说，现有技术中还没有涉及到如何完整的将视频会议内容重现的技术方案。
技术实现思路
1、本专利技术的目的在于提供基于数字孪生的视频会议重构方法、装置及系统，以解决现有技术中没有涉及到如何完整的将视频会议内容重现的方案的技术问题。
2、为解决上述技术问题，本专利技术具体提供下述技术方案：
3、基于数字孪生的视频会议重构方法、装置及系统，包括以下步骤：
4、实时监控采集视频会议的每个发言人的行为信号，并从所述行为信号中提取音频信号，基于所述音频信号获取时间-音频二维空间数组；
5、通过数字孪生技术形成数字人，搭建视频会议虚拟场景，且将数字人集成到所述视频会议虚拟场景内；
6、重构孪生音频数据，将所有发言人的时间-音频二维空间数组按照时序依次顺次无重叠排列在孪生时间序列上，以形成一个集成所有发言人的时间-音频孪生数组，并分区标记不同音频分段对应的发言人信息；
>7、将不同音频分段标记的发言人信息分别与每个所述发言人的数字人进行集成，使得所述视频会议虚拟场景内的每个发言人按照原始发言顺序依次发言，形成按照所述视频会议还原的动态可视化孪生视频会议。8、作为本专利技术的一种优选方案，将所有发言人的时间-音频二维空间数组按照时序依次顺次排列在孪生时间序列上的实现方式为：
9、从每个发言人的时间-音频二维空间数组中获取具有音频数据的音频分段；
10、将所有发言人的音频分段对应的持续时间进行对比，标记所述发言人的持续时间存在重叠时域的音频分段，对存在重叠时域的所述音频分段进行解析降噪，使得降噪后的音频分段仅包含每个发言人的音频数据；
11、将存在重叠时域的音频分段根据所述音频分段的起始时间的差异分为参照对象和判定目标，且所述参照对象的起始时间早于所述判定目标的起始时间，存在重叠时域的音频分段作为延时因子，将所述判定目标的重叠时域的音频数据以独立排列方式排列在孪生时间序列上；
12、将所有发言人的所述音频分段依次按照时序顺序和时序间隔排列在孪生时间序列上，形成一个集成所有发言人的时间-音频孪生数组。
13、作为本专利技术的一种优选方案，对存在重叠时域的所述音频分段进行解析降噪的实现方式为：
14、获取所有发言人的时间-音频二维空间数组，且统计每个所述发言人的存在音频数据对应的音频分段，并统计该音频分段的持续时间；
15、以每个所述发言人的音频分段进行快速傅里叶变换，得到频域特征，依设定滤波器对每个所述发言人的音频分段进行降噪，以滤除与其他发言人的音频分段存在重叠时域的音频数据，以使得降噪后的音频分段仅包含每个发言人的音频数据。
16、作为本专利技术的一种优选方案，所述判定目标的重叠时域的音频数据以独立排列方式排列在孪生时间序列上的实现方式为：
17、判断存在重叠时域的音频数据的所述参照对象与所述判定目标的持续时间之间的包含关系，基于包含关系来调整所述参照对象与所述判定目标的音频分段在所述孪生时间序列上的编码时序。
18、作为本专利技术的一种优选方案，判断存在重叠时域的音频数据的所述参照对象与所述判定目标的持续时间之间的包含关系时，以两个所述发言人的音频分段进行依次循环对比，具体的实现方式为：
19、以音频分段的起始时间进行对比，将起始时间靠前的所述音频分段作为参照对象，并确定参照对象的音频分段的持续时间；
20、基于每个音频分段的持续时间，从其他的发言人的音频分段中筛选出与参照对象在音频重叠的音频分段；
21、筛选出与参照对象在音频重叠的音频分段中选择起始时间相对靠前的所述音频分段作为判定对象，根据所述判定对象与所述参照对象对应的音频分段的持续时间之间的包含关系，来选定将所述判定对象编码至重构的所述孪生时间序列上的时序坐标；
22、以判定目标作为参照对象，重复上述步骤，以所述判定目标重构的时序坐标作为参考值，确定与该判定目标存在音频重叠的音频分段在所述孪生时间序列上的时序坐标。
23、作为本专利技术的一种优选方案，根据所述判定对象与所述参照对象的音频分段的持续时间之间的包含关系，来选定对所述判定对象编码至重构的所述孪生时间序列内的时序坐标的具体实现方法为：
24、当存在重叠时域的音频分段的持续时间为交叉关系时，则将所述判定对象的音频分段解析后添加在所述参照对象的音频分段后面，使得所述判定对象的音频分段的时序坐标值大于所述参照对象的音频数据的时序坐标值；
25、当判定对象的音频分段的持续时间被包含在所述参照对象的音频分段的持续时间时，则进一步将所述判定对象的音频分段的持续时间的最大时序坐标值与所述参照对象的音频分段的持续时间的最大时序坐标值进行对比，根据对比结果确定所述判定对象的时序坐标。
26、作为本专利技术的一种优选方案，设定时序差值阈值t，并获取所述判定对象的持续时间的最大时序坐标值与所述参照对象的持续时间的最大时序坐标值的差值，将该差值与时序差值阈值t进行对比；
27、若差值大于时序差值阈值t，则将所述参照对象的音频分段以所述判定对象的持续时间的起始点和结束点作为分割点，将所述参照对象的音频数据拆分为两段音频数据，并在重构的孪生时间序列内将所述判定对象的音频数据以顺次排列方式插入至所述参照对象被拆分的两段音频数据之间；
28、若差值小于等于时序差值阈值t，则将所述判定对象的音频数据排列在所述参照对象的音频数据的后段。
29、作为本专利技术的一种优选方案，将所述时间-音频孪生数组与发言人信息之间构建二维空间映射关系，使得所述时间-音频孪生数组以所述发言人信息划分为不同的音频数块；
30、以每个所述音频数块的发言人信息为媒介，从所述视频会议虚拟场景中选择对应的数字人，以使得音频和视频同步。
31、进一步的，本专利技术还提供了基于数字孪生的视频会议记录的三维场景重构方法的装置，包括：
32、前端监控组件，用于实时监控采集视频会议的每个发言人的行为信号；
33、数据处理中心，与所述前端监控组件通讯连接，用于获取所述前端监控组件的采集数据，并通过数字孪生构建虚拟视频会议三维场景。
34、进一步的，本专利技术还提供了基于数字孪生的视频会议记录的三维场景重构方法的系统，包括：
35、前端监控模块，用于实时监控采集视频会议的每本文档来自技高网...
【技术保护点】
1.基于数字孪生的视频会议重构方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于数字孪生的视频会议重构方法，其特征在于，
3.根据权利要求2所述的基于数字孪生的视频会议重构方法，其特征在于，
4.根据权利要求2所述的基于数字孪生的视频会议重构方法，其特征在于，
5.根据权利要求4所述的基于数字孪生的视频会议重构方法，其特征在于，
6.根据权利要求5所述的基于数字孪生的视频会议重构方法，其特征在于，
7.根据权利要求6所述的基于数字孪生的视频会议重构方法，其特征在于，
8.根据权利要求7所述的基于数字孪生的视频会议重构方法，其特征在于，
9.一种应用于权利要求1-8任一项所述的基于数字孪生的视频会议重构方法的装置，其特征在于，包括：
10.一种基于权利要求1-8任一项所述的基于数字孪生的视频会议重构方法的系统，其特征在于，包括：
【技术特征摘要】
1.基于数字孪生的视频会议重构方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于数字孪生的视频会议重构方法，其特征在于，
3.根据权利要求2所述的基于数字孪生的视频会议重构方法，其特征在于，
4.根据权利要求2所述的基于数字孪生的视频会议重构方法，其特征在于，
5.根据权利要求4所述的基于数字孪生的视频会议重构方法，其特征在于，
6.根据权利要求5所述的...
【专利技术属性】
技术研发人员：请求不公布姓名，林实立，
申请(专利权)人：深圳云天畅想信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。