【技术实现步骤摘要】
本专利技术涉及计算机，具体而言，涉及一种应用于虚拟现实的人体姿态识别与交互方法及系统。
技术介绍
1、目前，由于在直播间进行虚拟场景的设置已经十分普遍，而对于虚拟现实的交互通常采用对现实物体进行虚拟的形状来进行交互，但这样的交互通常需要预虚拟物体相同或相似的物体进行交互，不相似的物体不容易进行交互。如通过选择旋转按钮对收音机进行调试，一般情况下需要在现实物体有旋转按钮的一厕进行交互，但是由于在虚拟场景的构建中，为了使得虚拟形象的构建能够接近于不同的尺寸和型号，而虚拟按钮和现实按钮会产生不一样的情况，所以需要在这个情况下，对虚拟现实进行交互。
技术实现思路
1、本专利技术的目的在于提供了一种应用于虚拟现实的人体姿态识别与交互方法及系统，用以解决现有技术中存在的上述问题。
2、第一方面，本专利技术实施例提供了一种应用于虚拟现实的人体姿态识别与交互方法，包括：
3、获取双目摄像机拍摄的多组拍摄图像；每组拍摄图像包含两张拍摄图像；所述拍摄图像为包含人体的图像；
4、将两张拍摄图像分别进行校正，校正后进行像素点匹配，得到人体深度图；所述人体深度图表示记录双目摄像机到场景中各点的距离；
5、根据所述人体深度图，构建虚拟场景；所述虚拟场景为虚拟的物体代替真实的物体的场景；
6、基于所述人体深度图，进行人体轮廓识别，得到人体轮廓图；多组拍摄图像对应获取多个人体深度图和多个人体轮廓图；
7、根据人体轮廓图和虚拟场景，判断人体是否
8、若人体接触可交互的物体的连续时间长度大于接触阈值，根据多个人体深度图和人体轮廓图，判断多个时间点的人体姿态变化，得到姿态类型；
9、若人体接触可交互的物体，根据所述姿态类型，进行交互。
10、可选的，所述若人体接触可交互的物体的连续时间长度大于接触阈值，根据多个人体深度图和人体轮廓图，判断多个时间点的人体姿态变化，得到姿态类型，包括：
11、根据所述人体轮廓图，通过人体关键点网络，得到人体关键点信息；所述人体关键点信息包括多个人体关键点的位置和标号；
12、将所述人体关键点根据标号进行连接，得到整体人体姿态；
13、根据相邻时间点的两个人体轮廓图的重心，将人两个人体轮廓图进行重合；
14、采用整体人体姿态替代对应的人体轮廓图中人体，通过计算豪斯多夫距离作为整体相似值；
15、若所述整体相似值大于整体相似阈值且对应的整体姿态类型相同，根据所述人体关键点信息和人体深度图，得到手势姿态类型；
16、若所述手势姿态类型相同，将所述整体人体姿态和手势姿态类型作为姿态类型。
17、可选的，所述若所述整体相似值大于整体相似阈值且对应的整体姿态类型相同，根据所述人体关键点信息和人体深度图，得到手势姿态类型，包括：
18、根据所述人体关键点信息中的标号，设置位置框，提取人体深度图中位置框的图像，得到手势图像；
19、根据所述手势图像，通过边缘检测算法，得到手势轮廓；
20、根据所述手势图像，进通过手势粗分类网络，进行粗分类，得到大体手势类别；所述大体手势类别包括握拳、张开和伸出指节；
21、多个时间点对应多个手势图像、多个手势轮廓和多个大体手势类别；
22、基于所述大体手势类别、手势轮廓图像和手势图像，通过手势判别网络，得到手势姿态类型。
23、可选的，所述基于所述大体手势类别、手势轮廓图像和手势图像，通过手势判别网络，得到手势姿态类型，包括：
24、所述手势判别网络包括时间卷积网络和手势相似网络；
25、将多个时间点的大体手势类别，判断是否为循环变化手势或不变化手势；
26、若为循环变化手势或不变化手势，根据循环中同一次序，将所述多个时间点的手势轮廓图像和手势图像分别放入手势轮廓集合和多个手势集合；
27、将多个时间点的手势轮廓图像输入时间卷积网络，获取手势轮廓的变化情况，得到变化手势姿态类型；
28、将多个手势集合中的图像输入手势相似网络，进行相似判断，得到手势相似值；
29、若所述手势相似值大于手势相似阈值，将变化手势姿态类型设为手势姿态类型。
30、可选的，所述将多个手势集合中的图像输入手势相似网络，进行相似判断，得到手势相似值，包括：
31、所述手势相似网络包括第一手势提取网络、第二手势提取网络和判别网络；
32、获取第一手势图像和第二手势图像；所述第二手势图像为第一手势图像相邻时间点的手势图像；所述第二手势图像获取时间点早于第一手势图像的时间点；
33、将所述第一手势图像输入第一手势提取网络，提取第一手势图像特征，得到第一手势特征；
34、将所述第二手势图像输入第二手势提取网络，提取第二手势图像特征，得到第二手势特征；
35、将所述第一手势特征和第二手势特征输入判别网络，得到判别值；
36、将判别值减去0.5的绝对值设为手势相似值。
37、可选的，所述人体关键点网络，包括：
38、获得训练集；所述训练集包括多个训练图像和多个标注数据；所述训练图像包括训练人体图像和训练人体轮廓图像；所述标注数据包括标记手、胳膊、头、躯干，双腿的位置和标号；
39、将所述训练人体图像输入第一人体关键点网络，提取人体特征，得到第一训练特征；
40、将所述训练人体轮廓图像输入第二人体关键点网络，提取人体姿态特征，得到第二训练特征；
41、将所述第一训练特征和第二训练特征进行融合，得到人体关键点输出值；
42、将所述人体关键点输出值与标注数据求取损失，训练人体关键点网络。
43、可选的，所述根据人体轮廓图和虚拟场景，判断人体是否接触可交互的物体，包括：
44、根据人体与现实固定物体在图像中的位置的距离，找到人体到双目摄像头的距离，第一人体距离；
45、将第一人体距离减去虚拟物体到双目摄像头的距离，求取绝对值，得到第一横距离；
46、根据所述虚拟场景中的可交互虚拟物体，找到交互物体之间平面的距离，得到第一纵距离；
47、基于所述第一横距离和第一纵距离通过勾股定理计算，得到第一物体距离；
48、根据第一人体距离，获取接触阈值；所述接触阈值小于第一人体距离；
49、若第一物体距离小于接触阈值，设人体可接触可交互的物体；
50、若第一物体距离大于或等于接触阈值，设人体未接触可交互的物体。
51、可选的，所述根据所述人体深度图，构建虚拟场景，包括：
52、获取虚拟物体信息；所述虚拟物体信息包括设置的物体的外观和位置；
53、获取现实场景图像；所述现实场景图像为双目摄像机拍摄的现实生活中物体的深度图；
54、根本文档来自技高网...
【技术保护点】
1.一种应用于虚拟现实的人体姿态识别与交互方法，其特征在于，包括：
2.根据权利要求1所述的应用于虚拟现实的人体姿态识别与交互方法，其特征在于，所述若人体接触可交互的物体的连续时间长度大于接触阈值，根据多个人体深度图和人体轮廓图，判断多个时间点的人体姿态变化，得到姿态类型，包括：
3.根据权利要求2所述的应用于虚拟现实的人体姿态识别与交互方法，其特征在于，所述若所述整体相似值大于整体相似阈值且对应的整体姿态类型相同，根据所述人体关键点信息和人体深度图，得到手势姿态类型，包括：
4.根据权利要求3所述的应用于虚拟现实的人体姿态识别与交互方法，其特征在于，所述基于所述大体手势类别、手势轮廓图像和手势图像，通过手势判别网络，得到手势姿态类型，包括：
5.根据权利要求4所述的应用于虚拟现实的人体姿态识别与交互方法，其特征在于，所述将多个手势集合中的图像输入手势相似网络，进行相似判断，得到手势相似值，包括：
6.根据权利要求2所述的应用于虚拟现实的人体姿态识别与交互方法，其特征在于，所述人体关键点网络，包括：
7.根据
8.根据权利要求1所述的应用于虚拟现实的人体姿态识别与交互方法，其特征在于，所述根据所述人体深度图，构建虚拟场景，包括：
9.根据权利要求1所述的应用于虚拟现实的人体姿态识别与交互方法，其特征在于，所述根据所述姿态类型和操作位置，判断人体是否交互，包括：
10.一种应用于虚拟现实的人体姿态识别与交互系统，其特征在于，包括：
...【技术特征摘要】
1.一种应用于虚拟现实的人体姿态识别与交互方法，其特征在于，包括：
2.根据权利要求1所述的应用于虚拟现实的人体姿态识别与交互方法，其特征在于，所述若人体接触可交互的物体的连续时间长度大于接触阈值，根据多个人体深度图和人体轮廓图，判断多个时间点的人体姿态变化，得到姿态类型，包括：
3.根据权利要求2所述的应用于虚拟现实的人体姿态识别与交互方法，其特征在于，所述若所述整体相似值大于整体相似阈值且对应的整体姿态类型相同，根据所述人体关键点信息和人体深度图，得到手势姿态类型，包括：
4.根据权利要求3所述的应用于虚拟现实的人体姿态识别与交互方法，其特征在于，所述基于所述大体手势类别、手势轮廓图像和手势图像，通过手势判别网络，得到手势姿态类型，包括：
5.根据权利要求4所述的应用于虚拟现实的人体姿...
【专利技术属性】
技术研发人员：吴未，付竞达，徐扬，黄海力，武士程，
申请(专利权)人：深圳市创想数维科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。