一种基于多屏幕协同的实时互动方法及相关装置制造方法及图纸

本发明专利技术涉及屏幕互动技术领域，公开了一种基于多屏幕协同的实时互动方法及相关装置，用于实现多屏幕协同的实时互动并提高多屏幕协同的显示准确率和效率

【技术实现步骤摘要】
一种基于多屏幕协同的实时互动方法及相关装置


[0001]本专利技术涉及屏幕互动
，尤其涉及一种基于多屏幕协同的实时互动方法及相关装置
。

技术介绍

[0002]随着多屏幕技术和互动技术的不断发展，多屏幕协同系统在各种场景中得到了广泛应用，包括团队协作
、
教育
、
娱乐等领域
。
这种系统允许多个屏幕设备之间实现实时互动，为用户提供更加丰富的体验
。
[0003]在传统的多屏幕协同系统中，常常存在一些问题，例如通信协议不同导致的兼容性问题
、
屏幕互动操作的实时响应性不佳
、
画面分发和渲染的效率不高等
。

技术实现思路

[0004]本专利技术提供了一种基于多屏幕协同的实时互动方法及相关装置，用于实现多屏幕协同的实时互动并提高多屏幕协同的显示准确率和效率
。
[0005]本专利技术第一方面提供了一种基于多屏幕协同的实时互动方法，所述基于多屏幕协同的实时互动方法包括：基于预置的协同互动中心和多个目标屏幕构建第一多屏幕协同网络，并根据所述第一多屏幕协同网络确定每个目标屏幕与所述协同互动中心的画面分发通道；基于所述第一多屏幕协同网络分别监听每个目标屏幕的屏幕互动操作，并对所述屏幕互动操作进行编码和排序处理，得到操作编码排序数据；基于所述协同互动中心对所述操作编码排序数据进行实时互动响应，生成对应的互动画面数据流，并通过所述画面分发通道对所述互动画面数据流进行分发和自适应渲染，得到每个目标屏幕的目标渲染互动画面；获取所述屏幕互动操作的响应延迟数据，并对所述响应延迟数据进行特征提取，得到多个响应延迟特征值，以及对每个目标屏幕的目标渲染互动画面进行画面特征计算，得到多个画面特征值；对所述多个响应延迟特征值以及所述多个画面特征值进行向量编码和向量融合，得到目标特征向量；将所述目标特征向量输入预置的多屏幕协同网络分析模型进行多屏幕协同网络分析，生成目标网络优化策略，并根据所述目标网络优化策略对所述第一多屏幕协同网络进行网络参数优化，得到第二多屏幕协同网络
。
[0006]结合第一方面，在本专利技术第一方面的第一种实现方式中，所述基于预置的协同互动中心和多个目标屏幕构建第一多屏幕协同网络，并根据所述第一多屏幕协同网络确定每个目标屏幕与所述协同互动中心的画面分发通道，包括：通过预置的云服务平台创建协同互动中心，并对所述协同互动中心以及多个目标屏幕建立通信连接，得到初始多屏幕协同网络；
对所述多个目标屏幕进行标识分配，得到每个目标屏幕的目标标识符，并基于所述目标标识符对所述多个目标屏幕与所述协同互动中心进行通信协议匹配，得到每个目标屏幕对应的目标通信协议；根据所述目标通信协议，对所述初始多屏幕协同网络进行协议转换分析，得到协议转换分析结果；根据所述协议转换分析结果，对所述初始多屏幕协同网络进行网络通道配置，得到第一多屏幕协同网络；对所述第一多屏幕协同网络进行画面分发通道解析，得到每个目标屏幕与所述协同互动中心的画面分发通道
。
[0007]结合第一方面，在本专利技术第一方面的第二种实现方式中，所述基于所述第一多屏幕协同网络分别监听每个目标屏幕的屏幕互动操作，并对所述屏幕互动操作进行编码和排序处理，得到操作编码排序数据，包括：基于所述第一多屏幕协同网络分别监听每个目标屏幕的屏幕互动操作；对所述屏幕互动操作进行操作解析，得到每个屏幕互动操作的至少一个目标动作，其中，所述目标动作包括以下任一种：触摸
、
点击及拖动；获取所述至少一个目标动作的屏幕坐标数据，并根据所述屏幕坐标数据对每个屏幕互动操作的至少一个目标动作进行动作编码，得到初始动作编码数据；获取所述至少一个目标动作对应的时间戳数据，并根据所述时间戳数据对所述初始动作编码数据进行排序处理，得到操作编码排序数据
。
[0008]结合第一方面，在本专利技术第一方面的第三种实现方式中，所述基于所述协同互动中心对所述操作编码排序数据进行实时互动响应，生成对应的互动画面数据流，并通过所述画面分发通道对所述互动画面数据流进行分发和自适应渲染，得到每个目标屏幕的目标渲染互动画面，包括：通过所述协同互动中心实时接收并响应所述操作编码排序数据，以及通过所述协同互动中心确定所述多个目标屏幕的原始画面数据；根据所述操作编码排序数据对所述原始画面数据进行画面数据流转换，生成对应的互动画面数据流；通过所述协同互动中心创建所述互动画面数据流的数据分发参数组合，并根据所述数据分发参数组合，通过所述画面分发通道将所述互动画面数据流分发至对应的目标屏幕；在所述目标屏幕接收到所述互动画面数据流后，分别对所述互动画面数据流进行屏幕参数自适应渲染，得到每个目标屏幕的目标渲染互动画面
。
[0009]结合第一方面，在本专利技术第一方面的第四种实现方式中，所述获取所述屏幕互动操作的响应延迟数据，并对所述响应延迟数据进行特征提取，得到多个响应延迟特征值，以及对每个目标屏幕的目标渲染互动画面进行画面特征计算，得到多个画面特征值，包括：分别计算所述屏幕互动操作的响应延迟数据，并对所述响应延迟数据进行曲线拟合，得到每个目标屏幕的响应延迟曲线；对每个目标屏幕的响应延迟曲线进行曲线特征点提取，得到每个响应延迟曲线的多个曲线特征点；
根据每个响应延迟曲线的多个曲线特征点，生成每个目标屏幕的多个响应延迟特征值；对每个目标屏幕的目标渲染互动画面进行画面识别，得到每个目标屏幕的画面识别结果；对每个目标屏幕的画面识别结果进行特征值映射，得到每个目标屏幕的多个画面特征值
。
[0010]结合第一方面，在本专利技术第一方面的第五种实现方式中，所述对所述多个响应延迟特征值以及所述多个画面特征值进行向量编码和向量融合，得到目标特征向量，包括：对所述多个响应延迟特征值进行归一化处理，得到多个归一化延迟特征，并对所述多个归一化延迟特征进行向量编码，得到每个目标屏幕的延迟特征向量；对所述所述多个画面特征值进行归一化处理，得到多个归一化画面特征，并对所述多个归一化画面特征进行向量编码，得到每个目标屏幕的画面特征向量；对所述延迟特征向量以及所述画面特征向量进行权重分配，得到所述延迟特征向量的第一向量权重以及所述画面特征向量的第二向量权重；根据所述第一向量权重计算所述延迟特征向量的第一加权特征向量，并根据所述第二向量权重计算所述画面特征向量的第二加权特征向量；对所述第一加权特征向量以及所述第二加权特征向量进行向量融合，得到每个目标屏幕的目标特征向量
。
[0011]结合第一方面，在本专利技术第一方面的第六种实现方式中，所述将所述目标特征向量输入预置的多屏幕协同网络分析模型进行多屏幕协同网络分析，生成目标网络优化策略，并根据所述目标网络优化策略对所述第一多屏幕协同网络进行网络参数优化，得到第二多屏幕协同网络，包括：将所述目标特征向量输入预置的多屏幕协同网络分析模型，其中，所述多屏幕协同网络分析模型包括多个双向长短时记忆层
、
多个单向门限循环层以及策略优本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多屏幕协同的实时互动方法，其特征在于，所述基于多屏幕协同的实时互动方法包括：基于预置的协同互动中心和多个目标屏幕构建第一多屏幕协同网络，并根据所述第一多屏幕协同网络确定每个目标屏幕与所述协同互动中心的画面分发通道；基于所述第一多屏幕协同网络分别监听每个目标屏幕的屏幕互动操作，并对所述屏幕互动操作进行编码和排序处理，得到操作编码排序数据；基于所述协同互动中心对所述操作编码排序数据进行实时互动响应，生成对应的互动画面数据流，并通过所述画面分发通道对所述互动画面数据流进行分发和自适应渲染，得到每个目标屏幕的目标渲染互动画面；获取所述屏幕互动操作的响应延迟数据，并对所述响应延迟数据进行特征提取，得到多个响应延迟特征值，以及对每个目标屏幕的目标渲染互动画面进行画面特征计算，得到多个画面特征值；对所述多个响应延迟特征值以及所述多个画面特征值进行向量编码和向量融合，得到目标特征向量；将所述目标特征向量输入预置的多屏幕协同网络分析模型进行多屏幕协同网络分析，生成目标网络优化策略，并根据所述目标网络优化策略对所述第一多屏幕协同网络进行网络参数优化，得到第二多屏幕协同网络
。2.
根据权利要求1所述的基于多屏幕协同的实时互动方法，其特征在于，所述基于预置的协同互动中心和多个目标屏幕构建第一多屏幕协同网络，并根据所述第一多屏幕协同网络确定每个目标屏幕与所述协同互动中心的画面分发通道，包括：通过预置的云服务平台创建协同互动中心，并对所述协同互动中心以及多个目标屏幕建立通信连接，得到初始多屏幕协同网络；对所述多个目标屏幕进行标识分配，得到每个目标屏幕的目标标识符，并基于所述目标标识符对所述多个目标屏幕与所述协同互动中心进行通信协议匹配，得到每个目标屏幕对应的目标通信协议；根据所述目标通信协议，对所述初始多屏幕协同网络进行协议转换分析，得到协议转换分析结果；根据所述协议转换分析结果，对所述初始多屏幕协同网络进行网络通道配置，得到第一多屏幕协同网络；对所述第一多屏幕协同网络进行画面分发通道解析，得到每个目标屏幕与所述协同互动中心的画面分发通道
。3.
根据权利要求1所述的基于多屏幕协同的实时互动方法，其特征在于，所述基于所述第一多屏幕协同网络分别监听每个目标屏幕的屏幕互动操作，并对所述屏幕互动操作进行编码和排序处理，得到操作编码排序数据，包括：基于所述第一多屏幕协同网络分别监听每个目标屏幕的屏幕互动操作；对所述屏幕互动操作进行操作解析，得到每个屏幕互动操作的至少一个目标动作，其中，所述目标动作包括以下任一种：触摸
、
点击及拖动；获取所述至少一个目标动作的屏幕坐标数据，并根据所述屏幕坐标数据对每个屏幕互动操作的至少一个目标动作进行动作编码，得到初始动作编码数据；
获取所述至少一个目标动作对应的时间戳数据，并根据所述时间戳数据对所述初始动作编码数据进行排序处理，得到操作编码排序数据
。4.
根据权利要求1所述的基于多屏幕协同的实时互动方法，其特征在于，所述基于所述协同互动中心对所述操作编码排序数据进行实时互动响应，生成对应的互动画面数据流，并通过所述画面分发通道对所述互动画面数据流进行分发和自适应渲染，得到每个目标屏幕的目标渲染互动画面，包括：通过所述协同互动中心实时接收并响应所述操作编码排序数据，以及通过所述协同互动中心确定所述多个目标屏幕的原始画面数据；根据所述操作编码排序数据对所述原始画面数据进行画面数据流转换，生成对应的互动画面数据流；通过所述协同互动中心创建所述互动画面数据流的数据分发参数组合，并根据所述数据分发参数组合，通过所述画面分发通道将所述互动画面数据流分发至对应的目标屏幕；在所述目标屏幕接收到所述互动画面数据流后，分别对所述互动画面数据流进行屏幕参数自适应渲染，得到每个目标屏幕的目标渲染互动画面
。5.
根据权利要求4所述的基于多屏幕协同的实时互动方法，其特征在于，所述获取所述屏幕互动操作的响应延迟数据，并对所述响应延迟数据进行特征提取，得到多个响应延迟特征值，以及对每个目标屏幕的目标渲染互动画面进行画面特征计算，得到多个画面特征值，包括：分别计算所述屏幕互动操作的响应延迟数据，并对所述响应延迟数据进行曲线拟合，得到每个目标屏幕的响应延迟曲线；对每个目标屏...

【专利技术属性】
技术研发人员：王博江，邹志伟，潘会湘，
申请(专利权)人：深圳康荣电子有限公司，
类型：发明
国别省市：