【技术实现步骤摘要】
本专利技术涉及数字孪生，具体涉及一种孪生视频会议的回放互动方法、装置及系统。
技术介绍
1、一般情况下，真实空间内的视频会议的每个发言人处于不同的空间内，因此即使将会议视频存储进行播放，也是以个体为第一视角，其他的发言人为第二视角进行播放，因此使得视频会议记录的动态播放存在不直观的问题，因此提出通过孪生视频会议的方式将参与视频会议的所有人集成到一个视频会议虚拟场景内，从而实现可视化的集成面对面式的会议模式。
2、而现有对视频会议的回放为：对视频会议从开始到结束阶段的所有内容进行播放，其中包含无音频数据的时长，导致在回放视频会议内容时的回放时间长，为了缩短时长，现有大多采用快进倍速的方式进行回放，快进播放方法虽然可以缩短视频会议回放的时间，但是很明显会影响对会议重要内容的提取。
技术实现思路
1、本专利技术的目的在于提供一种孪生视频会议的回放互动方法、装置及系统，以解决现有技术中，视频会议记录的动态播放存在不直观，以及现有大多采用快进倍速的方式进行回放，快进播放方法很明显会影响对会议重要内容的提取的技术问题。
2、为解决上述技术问题，本专利技术具体提供下述技术方案：
3、一种孪生视频会议的回放互动方法，包括以下步骤：
4、实时监控采集视频会议的每个发言人的行为信号，将所述行为信号分为视频信号和音频信号，其中，基于所述视频信号获取时间-动作二维空间数组，基于所述音频信号获取时间-音频二维空间数组；
5、通过数字孪生技术将所述时
6、将所有发言人的时间-音频二维空间数组按照音频分段的时序，逐次集成到同一个孪生音频时间序列，使得所述孪生音频时间序列上的音频分段顺序无重叠无时隙的依次排列；
7、将每个所述发言人的时间-动作二维空间数组的视频片段按照所述孪生音频时间序列形成的新序列进行调整，以使得每个所述发言人的时间-动作二维空间数组的视频片段的时间序列与所述孪生音频时间序列上对应发言人的音频分段的时间序列一一匹配；
8、将所有发言人重新调整时序后的时间-动作二维空间数组按照视频片段的时序，逐次集成到同一个孪生视频时间序列内，将所述孪生音频时间序列与所述孪生视频时间序列的发言人对应在所述视频会议虚拟场景内动态播放，以使得每个所述发言人依次无时隙的发言互动，以缩短孪生视频会议的播放时间。
9、作为本专利技术的一种优选方案，将所有发言人的时间-音频二维空间数组按照时序依次顺次排列在孪生音频时间序列上的实现方式为：
10、从每个发言人的时间-音频二维空间数组中获取具有音频数据的音频分段；
11、将所有发言人的音频分段对应的持续时间进行对比，标记所述发言人的持续时间存在重叠时域的音频分段；
12、将存在重叠时域的音频分段根据所述音频分段的起始时间的差异分为参照对象和判定目标，且所述参照对象的起始时间早于所述判定目标的起始时间，将存在重叠时域的音频分段作为调整因子，将所述判定目标的重叠时域的音频数据以独立排列方式排列在孪生音频时间序列上；
13、将所有发言人的所述音频分段依次按照时序顺序排列在孪生音频时间序列上，形成一个集成所有发言人的时间-音频孪生数组。
14、作为本专利技术的一种优选方案，将所述判定目标的重叠时域的音频数据以独立排列方式排列在孪生音频时间序列上的实现方法为：
15、以时间作为索引轴，将索引轴从所述时间-音频二维空间数组的起点向时间轴移动；
16、将索引的第一个所述音频分段作为参照对象，将索引的第二个所述音频分段作为判定目标，使得所述索引轴单次仅能检索两个所述音频分段；
17、先将所述参照对象的音频数据复制至所述孪生音频时间序列上，然后将所述判定目标的音频数据无时隙复制至所述参照对象的后端；
18、重复上述步骤，直至将所有发言人的音频数据依次复制至所述孪生音频时间序列上，且使得所述孪生音频时间序列上的音频分段顺序无重叠无时隙的依次排列。
19、作为本专利技术的一种优选方案，对存在重叠时域的所述音频分段进行解析降噪；
20、以降噪后的音频数据覆盖替换每个所述发言人的时间-音频二维空间数组，使得降噪后的每个所述发言人的时间-音频二维空间数组的音频分段仅包含每个发言人的音频数据。
21、作为本专利技术的一种优选方案，对每个所述发言人的时间-音频二维空间数组中获取具有音频数据的音频分段进行标记；
22、在所述索引轴同一时间同时检索到两个所述音频分段时，将索引的第一个所述音频分段作为参照对象后，将所述参照对象的音频数据复制至所述孪生音频时间序列上，同时解除将该音频分段作为参照对象的认定，将所述判定目标调整为参照对象，重复上述步骤，直至将所有发言人中具有音频数据的音频分段依次在所述孪生音频时间序列上无重叠无时隙的排列；
23、在所述索引轴同一时间仅检索到一个所述音频分段时，在该音频分段结束索引时，将该音频分段的音频数据按照无时隙无重叠方式依次复制至所述孪生音频时间序列上。
24、作为本专利技术的一种优选方案，标记从每个发言人的时间-音频二维空间数组中获取具有音频数据的每个音频分段的原始时序；
25、将所述音频数据复制至所述孪生音频时间序列上时，建立孪生时序-发言人-原始时序的映射关系，以使得每个音频分段在所述孪生音频时间序列上的持续时间对应一个发言人的信息，同时对应该发言人在所述时间-音频二维空间数组的原始时序。
26、作为本专利技术的一种优选方案，将每个所述发言人的时间-动作二维空间数组的视频片段的时间序列与所述孪生音频时间序列上对应发言人的音频分段的时间序列一一匹配的实现方式为：
27、确定所述孪生音频时间序列上的每个音频分段对应的持续时间和发言人信息；
28、以发言人信息为第一优先级，从所有发言人中选择匹配的发言人；
29、以所述原始时序为第二优先级，从该发言人对应的时间-动作二维空间数组中截取与原始时序相同的视频片段；
30、将所述视频片段按照孪生时序依次在所述孪生视频时间序列内按照无重叠无时隙顺序排列。
31、作为本专利技术的一种优选方案，将所述孪生音频时间序列与所述孪生视频时间序列的发言人对应在所述视频会议虚拟场景内动态播放的实现方式为：
32、对所述视频会议虚拟场景内的数字人进行标记，使得每个数字人与每个发言人一一对应匹配；
33、以所述孪生视频时间序列内每个视频片段对应的发言人信息为触发条件，从所述视频会议虚拟场景内选择发言的数字人，且以触发条件从所述孪生音频时间序列中选择并播放对应的音频分段的音频数据。
34、进一步的，本专利技术还提供了一种应用于视频会议回放互动方法的装置，包括：
35、前端监控组件，用于实时监控采集视频会议的每个发言人的行为信号；
36、数据处理中心本文档来自技高网...
【技术保护点】
1.一种孪生视频会议的回放互动方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种孪生视频会议的回放互动方法，其特征在于，
3.根据权利要求2所述的一种孪生视频会议的回放互动方法，其特征在于，
4.根据权利要求2或3所述的一种孪生视频会议的回放互动方法，其特征在于，
5.根据权利要求3所述的一种孪生视频会议的回放互动方法，其特征在于，
6.根据权利要求2所述的一种孪生视频会议的回放互动方法，其特征在于，
7.根据权利要求6所述的一种孪生视频会议的回放互动方法，其特征在于，
8.根据权利要求7所述的一种孪生视频会议的回放互动方法，其特征在于，
9.一种基于权利要求1-8任一项所述的视频会议回放互动方法的装置，其特征在于，包括：
10.一种基于权利要求1-8任一项所述的视频会议回放互动方法的系统，其特征在于，包括：
【技术特征摘要】
1.一种孪生视频会议的回放互动方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种孪生视频会议的回放互动方法，其特征在于，
3.根据权利要求2所述的一种孪生视频会议的回放互动方法，其特征在于，
4.根据权利要求2或3所述的一种孪生视频会议的回放互动方法，其特征在于，
5.根据权利要求3所述的一种孪生视频会议的回放互动方法，其特征在于，
6.根据权利...
【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，
申请(专利权)人：深圳云天畅想信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。