一种三维场景匹配交互方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种三维场景匹配交互方法、装置、设备及存储介质，依托图像采集技术、三维检索技术以及人机交互技术，在真实的应用场景中，采集用户视野中的二维的VR图像。通过提供的基于场景的模型匹配算法，通过三维模型库中与场景物体相似模型匹配检索算法以及用户虚拟视野中三维模型随用户姿态主动调整技术，实现沉浸式人机交互的效果。现沉浸式人机交互的效果。现沉浸式人机交互的效果。

【技术实现步骤摘要】
一种三维场景匹配交互方法、装置、设备及存储介质


[0001]本专利技术涉及虚拟现实
，特别是涉及一种三维场景匹配交互方法、装置、设备及存储介质。

技术介绍

[0002]虚拟现实(VR)技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境。通过VR技术，用户得以构建一个多源信息融合的、人机无缝交互式的三维动态视景和实体行为仿真系统。
[0003]虚实结合的三维场景匹配技术是随着计算机软硬件的发展而开始拥有应用需求的一种新型显示匹配技术。虚实结合技术能够将虚拟环境融合到用户周围的真实场景中,从而提供直观和增强的使用体验；而三维匹配技术在三维空间中拥有更高操作自由度，从而形成更加直观与真实的感受。
[0004]现有技术中的VR系统中，双目立体视觉系统起了很大作用。双目立体视觉系统由左右双目光波导显示模组和视觉传感器组成。数字图像的获取是立体视觉的信息来源。常用的立体视觉图像一般由不同位置的两台摄像机经过移动或者旋转拍摄同一幅场景，获取立体图像。图像获取的方式有多种，主要由具体运用的场合和目的决定。
[0005]然而，双目立体视觉系统在实现时用户的两只眼睛看到的不同图像是分别产生的，通常需要显示在不同的显示器上。有的系统采用单个显示器，用户带上特殊的眼镜后，一只眼睛只能看到奇数帧图像，另一只眼睛只能看到偶数帧图像，奇、偶帧之间的不同也就是视差就产生了立体感。可见，现有技术中采用双目立体视觉系统在向提供用户立体视觉图像时，需要设置两个显示器或者需要特殊的眼镜，增加了设备制作成本。
[0006]同时，现有技术中在对用户头部进行跟踪时，通常采用单纯的视觉建图(SLAM)算法，然而单纯的视觉SLAM在相机的快速运动中，会出现运动模糊、帧间重叠区域小，导致特征匹配难度高、鲁棒性差，定位精度低。

技术实现思路

[0007]鉴于上述问题，本专利技术提供用于克服上述问题或者至少部分地解决上述问题的一种三维场景匹配交互方法、装置、设备及存储介质。
[0008]本专利技术提供了如下方案：
[0009]一种三维场景匹配交互方法，包括：
[0010]获取当前时刻用户视野中的二维图像及视角信息、焦距信息、景深信息；所述二维图像包括目标物体；
[0011]利用所述视角信息、所述焦距信息、所述景深信息将所述二维图像与三维模型库中的三维模型进行匹配，获得与所述目标物体相似的目标三维模型；
[0012]获取当前时刻用户头部的姿态数据，利用所述姿态数据确定所述用户的头部位姿与所述目标三维模型的相对运动关系；
[0013]根据所述姿态数据确定图像选取框的倾角、图像选取框的中心点与所述目标物体的对应位置关系；
[0014]结合所述图像选取框的倾角、所述图像选取框的中心点与所述目标物体的对应位置关系以及所述相对运动关系，将所述目标三维模型调整至目标位姿并放入所述图像选取框内。
[0015]优选地：获取当前时刻用户视野中的二维图像及视角信息、焦距信息、景深信息；包括：
[0016]通过图像采集模块采集像素分量，所述图像采集模块包括若干光传感组件；
[0017]检测视野中的光线，通过三元色滤色器排列在各自的光传感组件方格上形成马赛克彩色滤色阵列；
[0018]通过对得到的各个颜色信息进行插值处理，得到每个像素点的绿色分量、红色分量、蓝色分量；
[0019]根据所述用户的人体姿态及动作进行判定并将信号传入多视图模型中，获得当前时刻用户视野中的二维图像及视角信息、焦距信息、景深信息。
[0020]优选地：利用所述视角信息、所述焦距信息、所述景深信息将所述二维图像与三维模型库中的三维模型进行匹配，获得与所述目标物体相似的目标三维模型；包括：
[0021]通过所述二维图像获取所述用户与所述目标物体之间的几何距离；
[0022]利用所述几何距离、所述视角信息、所述焦距信息以及所述景深信息结合三维轮廓匹配模型所述三维模型库中选择对应轮廓相近的若干备选三维模型；
[0023]通过特征匹配方法由若干所述备选三维模型中获得所述目标三维模型。
[0024]优选地：所述特征匹配方法，包括：
[0025]获取所述二维图像包含的图像特征以及若干所述备选三维模型的若干模型特征；
[0026]利用特征映射模型将所述图像特征分别和若干所述模型特征在统一的特征空间中进行映射，根据所述图像特征与若干所述模型特征各自之间的距离获得若干相似度值；
[0027]将相似度值最高的所述模型特征对应的所述备选三维模型作为所述目标三维模型。
[0028]优选地：所述用户头部的姿态数据包括头部所处位置、头部转动角度以及头部转动方向。
[0029]优选地：获取当前时刻用户头部的姿态数据，包括：
[0030]获取陀螺仪采集到的当前头部的侧倾角度；同时结合固定式定位器追踪头戴式显示器上光子感应器的信息，获得当前时刻所述用户头部的姿态数据。
[0031]一种三维场景匹配交互装置，所述装置包括：
[0032]二维图像获取单元，用于获取当前时刻用户视野中的二维图像及视角信息、焦距信息、景深信息；所述二维图像包括目标物体；
[0033]目标三维模型获取单元，用于利用所述视角信息、所述焦距信息、所述景深信息将所述二维图像与三维模型库中的三维模型进行匹配，获得与所述目标物体相似的目标三维模型；
[0034]相对运动关系确定单元，用于获取当前时刻用户头部的姿态数据，利用所述姿态数据确定所述用户的头部位姿与所述目标三维模型的相对运动关系；
[0035]对应位置关系确定单元，用于根据所述姿态数据确定图像选取框的倾角、图像选取框的中心点与所述目标物体的对应位置关系；
[0036]目标三维模型调整单元，用于结合图像选取框的倾角、所述图像选取框的中心点与所述目标物体的对应位置关系以及所述相对运动关系，将所述目标三维模型调整至目标位姿并放入所述图像选取框内。
[0037]一种三维场景匹配交互设备，所述设备包括处理器以及存储器：
[0038]所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
[0039]所述处理器用于根据所述程序代码中的指令执行上述的三维场景匹配交互方法。
[0040]一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述的三维场景匹配交互方法。
[0041]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：
[0042]本申请实施例提供的一种三维场景匹配交互方法、装置、设备及存储介质，依托图像采集技术、三维检索技术以及人机交互技术，在真实的应用场景中，采集用户视野中的二维的VR图像。通过提供的基于场景的模型匹配算法，通过三维模型库中与场景物体相似模型匹配检索算法以及用户虚拟视野中三维模型随用户姿态主动调整技术，实现沉浸式人机交互的效果。
[0043]当然，实施本专利技术的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维场景匹配交互方法，其特征在于，包括：获取当前时刻用户视野中的二维图像及视角信息、焦距信息、景深信息；所述二维图像包括目标物体；利用所述视角信息、所述焦距信息、所述景深信息将所述二维图像与三维模型库中的三维模型进行匹配，获得与所述目标物体相似的目标三维模型；获取当前时刻用户头部的姿态数据，利用所述姿态数据确定用户的头部位姿与所述目标三维模型的相对运动关系；根据所述姿态数据确定图像选取框的倾角、图像选取框的中心点与所述目标物体的对应位置关系；结合所述图像选取框的倾角、所述图像选取框的中心点与所述目标物体的对应位置关系以及所述相对运动关系，将所述目标三维模型调整至目标位姿并放入所述图像选取框内。2.根据权利要求1所述的三维场景匹配交互方法，其特征在于，获取当前时刻用户视野中的二维图像及视角信息、焦距信息、景深信息；包括：通过图像采集模块采集像素分量，所述图像采集模块包括若干光传感组件；检测视野中的光线，通过三元色滤色器排列在各自的光传感组件方格上形成马赛克彩色滤色阵列；通过对得到的各个颜色信息进行插值处理，得到每个像素点的绿色分量、红色分量、蓝色分量；根据用户的人体姿态及动作进行判定并将信号传入多视图模型中，获得当前时刻用户视野中的二维图像及视角信息、焦距信息、景深信息。3.根据权利要求1所述的三维场景匹配交互方法，其特征在于，利用所述视角信息、所述焦距信息、所述景深信息将所述二维图像与三维模型库中的三维模型进行匹配，获得与所述目标物体相似的目标三维模型；包括：通过所述二维图像获取所述用户与所述目标物体之间的几何距离；利用所述几何距离、所述视角信息、所述焦距信息以及所述景深信息结合三维轮廓匹配模型在所述三维模型库中选择对应轮廓相近的若干备选三维模型；通过特征匹配方法由若干所述备选三维模型中获得所述目标三维模型。4.根据权利要求3所述的三维场景匹配交互方法，其特征在于，所述特征匹配方法，包括：获取所述二维图像包含的图像特征以及若干所述备选三维模型的若干模型特征；利用特征映射模型将所述图像特征分别和若干...

【专利技术属性】
技术研发人员：戴健，吴锐，刘歆浏，祝本明，任珍文，
申请(专利权)人：中国兵器装备集团自动化研究所有限公司，
类型：发明
国别省市：