一种数字孪生WEB应用隔空手势交互方法及系统技术方案

本发明专利技术属于人机交互技术领域，本发明专利技术公开了一种数字孪生WEB应用隔空手势交互方法及系统；包括：采集用户端设备摄像头的实时视频流，并将实时视频流进行预处理；得到X个手部区域框；将X个手部区域框输入到预设的基于生成对抗网络的手部关键点检测模型中，得到手部关键点坐标数据；基于手部关键点坐标数据获取手部骨骼模型；根据手部骨骼模型获取关节角度和手部运动轨迹；将手部骨骼模型映射到数字孪生虚拟场景中，在数字孪生虚拟场景中预设n种手势指令模式，将手部骨骼模型、关节角度和手部运动轨迹与手势指令模式进行匹配；提供了个性化、可扩展的手势交互能力，丰富了人机交互的方式。

【技术实现步骤摘要】

本专利技术涉及人机交互，更具体地说，本专利技术涉及一种数字孪生web应用隔空手势交互方法及系统。

技术介绍

1、申请公开号为cn112394811a的专利公开了一种隔空手势的交互方法及电子设备，涉及终端
和ai
，例如ai图像识别领域，可提高用户与电子设备进行隔空交互时的使用体验，降低隔空手势的误操作率；包括：电子设备显示第一应用的第一显示界面；所述电子设备通过摄像头检测到用户输入第一隔空手势；响应于所述第一隔空手势，所述电子设备沿所述第一隔空手势在预设方向上的移动轨迹移动所述第一显示界面中的指示图标；响应于所述第一隔空手势，所述电子设备显示所述第一应用的第二显示界面。

2、但是传统的人机交互方式，如键盘、鼠标和触摸屏等缺乏自然性和便捷性，无法实现随时随地的交互体验；用户需要直接接触硬件设备，交互方式单一，给用户带来诸多不便；现有的手势识别技术存在准确率不高、鲁棒性差的问题，难以适应复杂的应用场景；手势识别中的手部关键点检测和手势分类精度有待提高；并且在准确检测手部关键点位置和区分相似手势方面存在一定困难，影响了整体识别效果；现有手本文档来自技高网...

【技术保护点】

1.一种数字孪生WEB应用隔空手势交互方法，其特征在于，包括：S1、采集用户端设备摄像头的实时视频流，并将实时视频流进行预处理；得到X个手部区域框；

2.根据权利要求1所述的一种数字孪生WEB应用隔空手势交互方法，其特征在于，所述将实时视频流进行预处理的方式包括：

3.根据权利要求2所述的一种数字孪生WEB应用隔空手势交互方法，其特征在于，所述输出特征图的公式为：y＝F(x,Wi)+x；其中，y为残差块输出的特征图；x是输入的图像帧；F(x,Wi)是残差函数；Wi为第i个残差块的可学习参数；

4.根据权利要求3所述的一种数字孪生WEB应用隔空手势交互方...

【技术特征摘要】

1.一种数字孪生web应用隔空手势交互方法，其特征在于，包括：s1、采集用户端设备摄像头的实时视频流，并将实时视频流进行预处理；得到x个手部区域框；

2.根据权利要求1所述的一种数字孪生web应用隔空手势交互方法，其特征在于，所述将实时视频流进行预处理的方式包括：

3.根据权利要求2所述的一种数字孪生web应用隔空手势交互方法，其特征在于，所述输出特征图的公式为：y＝f(x,wi)+x；其中，y为残差块输出的特征图；x是输入的图像帧；f(x,wi)是残差函数；wi为第i个残差块的可学习参数；

4.根据权利要求3所述的一种数字孪生web应用隔空手势交互方法，其特征在于，所述实时调整手部区域框的大小和位置的方式包括：

5.根据权利要求4所述的一种数字孪生web应用隔空手势交互方法，其特征在于，所述手部关键点检测模型的预设方式包括：

【专利技术属性】
技术研发人员：刘军，吴迅，
申请(专利权)人：江苏安防科技有限公司，
类型：发明
国别省市：