一种信息处理方法、装置、设备及可读存储介质制造方法及图纸

本申请公开了一种信息处理方法、装置、设备及可读存储介质，涉及通信技术领域，以降低交互延时。该方法包括：获取至少一帧手部图片；识别当前帧手部图片中的手部关键点信息，所述当前帧手部图片为所述至少一帧手部图片中的任一帧图片；在所述手部关键点信息满足预设要求的情况下，对所述当前帧手部图片进行渲染；在所述手部关键点信息不满足预设要求的情况下，对所述手部关键点信息进行语义识别，并根据语义识别结果对所述当前帧手部图片进行渲染；向终端发送渲染结果。本申请实施例可以降低交互延时。低交互延时。低交互延时。

【技术实现步骤摘要】
一种信息处理方法、装置、设备及可读存储介质


[0001]本申请涉及通信
，尤其涉及一种信息处理方法、装置、设备及可读存储介质。

技术介绍

[0002]MR(Mixed Reality，混合现实)通过将真实世界和虚拟世界混合在一起，产生新的可视化环境。在MR技术中，重新绘制现实世界，再将现实世界叠加上虚拟信息，并且虚拟信息能够与重绘的现实世界进行交互，从而实现虚拟与真实之间的部分保留与自由切换。
[0003]MR交互部分有一项很重要的交互方式是手势交互，通过对手部姿态的识别触发指令，即可添加虚拟信息，是一种最有效、最直观的人机交互(Human
‑
Computer Interaction)方式之一。其中，裸手手势交互是不需要借助一切外部设备辅助交互的方式。MR手势交互过程中经常会使用手势指示动作，所以对手势指示的识别至关重要，直接影响虚拟信息的叠加效果。
[0004]现有技术中，用户裸手与终端进行交互，并通过终端设备本身的算力实现用户手部跟踪、建模等操作。但是由于终端处理能力有限，采用这种处理方式将增加交互延时。

技术实现思路

[0005]本申请实施例提供一种信息处理方法、装置、设备及可读存储介质，以降低交互延时。
[0006]第一方面，本申请实施例提供了一种信息处理方法，由云端节点执行，包括：
[0007]获取至少一帧手部图片；
[0008]识别当前帧手部图片中的手部关键点信息，所述当前帧手部图片为所述至少一帧手部图片中的任一帧图片；/>[0009]在所述手部关键点信息满足预设要求的情况下，对所述当前帧手部图片进行渲染；在所述手部关键点信息不满足预设要求的情况下，对所述手部关键点信息进行语义识别，并根据语义识别结果对所述当前帧手部图片进行渲染；
[0010]向终端发送渲染结果。
[0011]其中，所述在所述手部关键点信息满足预设要求的情况下，对所述当前帧手部图片进行渲染，包括：
[0012]将手部关键点在手指局部坐标系下的坐标转换为手部关键点在虚拟世界坐标系下的坐标；
[0013]计算所述手部关键点在虚拟世界坐标系下的坐标和预设的虚拟坐标之间的距离；
[0014]在所述距离小于预设距离阈值的情况下，对所述当前帧手部图片进行渲染。
[0015]其中，所述将手部关键点在手指局部坐标系下的坐标转换为手部关键点在虚拟世界坐标系下的坐标，包括：
[0016]根据手势关键点模型，获取所述手部关键点在手指局部坐标系下的第一坐标；
[0017]将所述第一坐标转换为所述手部关键点在真实世界坐标系下的第二坐标；
[0018]将所述第二坐标转换为所述手部关键点在虚拟世界坐标系下的坐标。
[0019]其中，在所述手部关键点信息不满足预设要求的情况下，对所述手部关键点信息进行语义识别，并根据语义识别结果对所述当前帧手部图片进行渲染，包括：
[0020]利用深度学习算法对所述当前帧手部图片中的手部关键点信息进行语义识别，获得所述当前帧手部图片的手势语义标签；
[0021]将所述手势语义标签和预设的手势语义标签进行匹配；
[0022]在所述手势语义标签和预设的手势语义标签匹配的情况下，对所述当前帧手部图片进行渲染。
[0023]第二方面，本申请实施例提供了一种信息处理方法，由终端执行，包括：
[0024]获取手部视频流；
[0025]向云端节点发送所述手部视频流，以使所述云端节点对所述手部视频流进行渲染；
[0026]接收所述云端节点发送的渲染结果；
[0027]根据所述渲染结果，显示手势定位信息。
[0028]其中，所述向云端节点发送所述手部视频流，包括：
[0029]通过基站向所述云端节点发送所述手部视频流；
[0030]所述接收所述云端节点发送的渲染结果，包括：
[0031]通过基站接收所述云端节点发送的渲染结果。
[0032]其中，所述获取手部视频流，包括：
[0033]采集用户的图像；
[0034]对所述图像进行预处理，获取用户的手部图像；
[0035]将所述手部图像进行编码压缩，形成所述手部视频流。
[0036]第三方面，本申请实施例提供了一种信息处理装置，应用于云端节点，包括：
[0037]第一获取模块，用于获取至少一帧手部图片；
[0038]第一识别模块，用于识别当前帧手部图片中的手部关键点信息，所述当前帧手部图片为所述至少一帧手部图片中的任一帧图片；
[0039]第一处理模块，用于在所述手部关键点信息满足预设要求的情况下，对所述当前帧手部图片进行渲染；
[0040]第二处理模块，用于在所述手部关键点信息不满足预设要求的情况下，对所述手部关键点信息进行语义识别，并根据语义识别结果对所述当前帧手部图片进行渲染；
[0041]第一发送模块，用于向终端发送渲染结果。
[0042]可选的，所述第一处理模块包括：
[0043]第一转换子模块，用于将手部关键点在手指局部坐标系下的坐标转换为手部关键点在虚拟世界坐标系下的坐标；
[0044]第一计算子模块，用于计算所述手部关键点在虚拟世界坐标系下的坐标和预设的虚拟坐标之间的距离；
[0045]第一渲染子模块，用于在所述距离小于预设距离阈值的情况下，对所述当前帧手部图片进行渲染。
[0046]可选的，所述第一转换子模块包括：
[0047]第一获取单元，用于根据手势关键点模型，获取所述手部关键点在手指局部坐标系下的第一坐标；
[0048]第一转换单元，用于将所述第一坐标转换为所述手部关键点在真实世界坐标系下的第二坐标；
[0049]第二转换单元，用于将所述第二坐标转换为所述手部关键点在虚拟世界坐标系下的坐标。
[0050]可选的，所述第二处理模块包括：
[0051]第一获取子模块，用于利用深度学习算法对所述当前帧手部图片中的手部关键点信息进行语义识别，获得所述当前帧手部图片的手势语义标签；
[0052]第一匹配子模块，用于将所述手势语义标签和预设的手势语义标签进行匹配；
[0053]第一渲染子模块，用于在所述手势语义标签和预设的手势语义标签匹配的情况下，对所述当前帧手部图片进行渲染。
[0054]第四方面，本申请实施例提供了一种信息处理装置，应用于终端，包括：
[0055]第一获取模块，用于获取手部视频流；
[0056]第一发送模块，用于向云端节点发送所述手部视频流，以使所述云端节点对所述手部视频流进行渲染；
[0057]第一接收模块，用于接收所述云端节点发送的渲染结果；
[0058]第一显示模块，用于根据所述渲染结果，显示手势定位信息。
[0059]可选的，所述第一发送模块，用于通过基站向所述云端节点发送所述手部视频流；所述第一接收模块，用于通过基站接收本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信息处理方法，由云端节点执行，其特征在于，包括：获取至少一帧手部图片；识别当前帧手部图片中的手部关键点信息，所述当前帧手部图片为所述至少一帧手部图片中的任一帧图片；在所述手部关键点信息满足预设要求的情况下，对所述当前帧手部图片进行渲染；在所述手部关键点信息不满足预设要求的情况下，对所述手部关键点信息进行语义识别，并根据语义识别结果对所述当前帧手部图片进行渲染；向终端发送渲染结果。2.根据权利要求1所述的方法，其特征在于，所述在所述手部关键点信息满足预设要求的情况下，对所述当前帧手部图片进行渲染，包括：将手部关键点在手指局部坐标系下的坐标转换为手部关键点在虚拟世界坐标系下的坐标；计算所述手部关键点在虚拟世界坐标系下的坐标和预设的虚拟坐标之间的距离；在所述距离小于预设距离阈值的情况下，对所述当前帧手部图片进行渲染。3.根据权利要求2所述的方法，其特征在于，所述将手部关键点在手指局部坐标系下的坐标转换为手部关键点在虚拟世界坐标系下的坐标，包括：根据手势关键点模型，获取所述手部关键点在手指局部坐标系下的第一坐标；将所述第一坐标转换为所述手部关键点在真实世界坐标系下的第二坐标；将所述第二坐标转换为所述手部关键点在虚拟世界坐标系下的坐标。4.根据权利要求1所述的方法，其特征在于，在所述手部关键点信息不满足预设要求的情况下，对所述手部关键点信息进行语义识别，并根据语义识别结果对所述当前帧手部图片进行渲染，包括：利用深度学习算法对所述当前帧手部图片中的手部关键点信息进行语义识别，获得所述当前帧手部图片的手势语义标签；将所述手势语义标签和预设的手势语义标签进行匹配；在所述手势语义标签和预设的手势语义标签匹配的情况下，对所述当前帧手部图片进行渲染。5.一种信息处理方法，由终端执行，其特征在于，包括：获取手部视频流；向云端节点发送所述手部视频流，以使所述云端节点对所述手部视频流进行渲染；接收所述云端节点发送的渲染结果；根据所述渲染结果，显示手势定位信息。6.根据权利要求5所述的方法，其特征在于，所述向云端节点发送所述手部视频流，包括：通过基站向所述云端节点发送所述手部视频流；所述接收所述云端节点发送的渲染结果，包括：通过基站接收所述云端节点发送的渲染结果。7.根据权利要求5所述的方法，其特征在于，所述获取手部视频流，包括：采集用户的图像；
对所述图像进行预处理，获取用户...

【专利技术属性】
技术研发人员：滕瑞，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：