增强现实的虚实融合装置及其虚实融合方法、设备、介质制造方法及图纸

本申请涉及一种增强现实的虚实融合装置及其虚实融合方法、设备、介质。该装置包括：双目视觉采集模块、处理模块、双目图像呈现模块；双目视觉采集模块与处理模块连接，处理模块与双目图像呈现模块连接；双目视觉采集模块包括左目视觉图像采集模块、右目视觉图像采集模块、惯导采集模块；左右目视觉图像采集模块分别同时采集现实场景中真实对象的图像，惯导采集模块采集人体在运动过程中的角速度和加速度；处理模块通过对真实对象的左右目图像、角速度和加速度、虚拟对象的左右目图像分别进行处理，以得到左右目虚实融合的图像；双目图像呈现模块将左右目虚实融合的图像分别在人体双目处对应呈现出来。利用该装置，可以增强真实感。

Augmented Reality Virtual-Real Fusion Device and Its Virtual-Real Fusion Method, Equipment and Media

This application relates to an augmented reality virtual-real fusion device and its virtual-real fusion method, equipment and media. The device includes: binocular vision acquisition module, processing module and binocular image presentation module; binocular vision acquisition module is connected with processing module and processing module is connected with binocular image presentation module; binocular vision acquisition module includes left vision image acquisition module, right vision image acquisition module and inertial navigation acquisition module; left and right vision image acquisition module is adopted simultaneously. The image of the real object in the real scene is collected, and the angular velocity and acceleration of the human body are collected by INS acquisition module. The processing module separately processes the left and right eye images of the real object, the angular velocity and acceleration, and the left and right eye images of the virtual object, so as to get the fusion image of the left and right eyes. The binocular image rendering module divides the fusion image of the left and right eyes. Do not appear in the human binocular correspondence. The device can enhance the sense of reality.

【技术实现步骤摘要】
增强现实的虚实融合装置及其虚实融合方法、设备、介质
本申请涉及立体视觉增强现实
，特别是涉及一种增强现实的虚实融合装置及其虚实融合方法、设备、介质。
技术介绍
随着随身电子产品处理器运算能力的提升，增强现实技术的用途越来越广泛。增强现实技术是一种实时地计算摄影机影像的位置及角度，并加上相应图像、视频、3D模型的技术，其最终可以在屏幕上把虚拟世界套在现实世界中，并使两者进行互动。传统的增强现实技术中，一般采用的是单目采集图像，之后将单目采集的虚拟图像和现实图像进行叠加处理，接着用同视角渲染两眼的图像，最后将渲染后的图像在双眼处统一显示。但是上述方法用同视角渲染两眼的图像，由于人的两眼存在视觉误差，因此易导致最终呈现的图像立体信息缺失，真实感不强。
技术实现思路
基于此，有必要针对上述方法用同视角渲染两眼的图像，由于人的两眼存在视觉误差，因此易导致最终呈现的图像立体信息缺失，真实感不强的问题，提供一种增强现实的虚实融合装置及其虚实融合方法、设备、介质。第一方面，本申请实施例提供一种增强现实的虚实融合装置，所述装置包括：双目视觉采集模块、处理模块、双目图像呈现模块；所述双目视觉采集模块与所述处理模块连接，所述处理模块与所述双目图像呈现模块连接；所述双目视觉采集模块包括左目视觉图像采集模块、右目视觉图像采集模块、惯导采集模块；所述左目视觉图像采集模块以及右目视觉图像采集模块在佩戴时位于人体双目前方，分别同时采集现实场景中真实对象的图像，所述惯导采集模块采集人体在运动过程中的角速度和加速度；所述处理模块通过对左右目视觉图像采集模块采集的现实场景中真实对象的图像、所述惯导采集模块采集的人体在运动过程中的角速度和加速度、虚拟场景中左右目虚拟相机采集的虚拟对象的左右目图像分别进行处理，以得到左右目虚实融合的图像，所述左右目虚实融合的图像为虚实对齐之后融合的图像，所述虚拟场景与现实场景之间具有对应关系，所述虚拟对象为在虚拟场景中添加的对象，所述虚实对齐指的是虚拟场景的坐标系与现实场景的坐标系一致；所述双目图像呈现模块将所述左右目虚实融合的图像分别在人体双目处对应呈现出来。在其中一个实施例中，所述处理模块还用于：获取现实场景中真实对象的左右目图像、所述人体在运动过程中的角速度和加速度；根据现实场景中真实对象的左右目图像以及人体在运动过程中的角速度和加速度，得到所述左目视觉图像采集模块的位姿、所述右目视觉图像采集模块的位姿；根据所述左目视觉图像采集模块的位姿、所述右目视觉图像采集模块的位姿以及预先设置的左目视觉图像采集模块的内部参数和右目视觉图像采集模块的内部参数，确定虚拟场景中左目虚拟相机的位姿以及右目虚拟相机的位姿，并根据所述左目虚拟相机的位姿以及所述右目虚拟相机的位姿在虚拟场景中添加虚拟对象以及所述虚拟对象的三维图形信息；所述左目视觉图像采集模块的内部参数和所述右目视觉图像采集模块的内部参数包括左目视觉图像采集模块的焦距以及像素大小、右目视觉图像采集模块的焦距以及像素大小；所述左目虚拟相机和右目虚拟相机分别对应所述左目视觉图像采集模块和右目视觉图像采集模块；获取所述左目虚拟相机、所述右目虚拟相机分别同时采集的虚拟场景中虚拟对象的左右目图像，并对真实对象的左目图像和虚拟对象的左目图像进行渲染，以及对真实对象的右目图像和虚拟对象的右目图像进行渲染，得到左右目虚实结合的图像。在其中一个实施例中，所述装置还包括：保护罩、外壳、双目视力矫正与护目模块；所述保护罩与所述外壳连接，并与所述外壳之间形成一空间；所述双目视觉采集模块以及所述处理模块设置在所述空间内靠近所述保护罩的一侧；所述双目视力矫正与护目模块设置在所述空间内靠近所述外壳的一侧；所述双目图像呈现模块设置在所述空间内，一侧与所述处理模块连接，另一侧与所述双目视力矫正与护目模块连接。在其中一个实施例中，所述装置还包括：镜架；所述镜架设置在所述空间内，所述双目图像呈现模块、所述双目视力矫正与护目模块均设置在所述镜架上，且所述双目图像呈现模块与所述镜架连接。在其中一个实施例中，所述保护罩上设置有两个通孔，所述保护罩包括：两个镜片；所述两个镜片分别设置在所述两个通孔内；所述左目视觉图像采集模块和所述右目视觉图像采集模块分别透过所述两个镜片采集现实场景中真实对象的图像，所述两个通孔的横截面积不小于所述左目视觉图像采集模块的横截面积以及所述右目视觉图像采集模块的横截面积。在其中一个实施例中，所述双目图像呈现模块为两个内置显示器的独立显示镜片，所述独立显示镜片为半反半透显示镜片。第二方面，本申请实施例提供一种增强现实的虚实融合方法，所述方法包括：获取现实场景中真实对象的左右目图像、所述人体在运动过程中的角速度和加速度；根据现实场景中真实对象的左右目图像以及人体在运动过程中的角速度和加速度，得到所述左目视觉图像采集模块的位姿、所述右目视觉图像采集模块的位姿；根据所述左目视觉图像采集模块的位姿、所述右目视觉图像采集模块的位姿以及预先设置的左目视觉图像采集模块的内部参数和右目视觉图像采集模块的内部参数，确定虚拟场景中左目虚拟相机的位姿以及右目虚拟相机的位姿，并根据所述左目虚拟相机的位姿以及所述右目虚拟相机的位姿在虚拟场景中添加虚拟对象以及所述虚拟对象的三维图形信息；所述左目视觉图像采集模块的内部参数和所述右目视觉图像采集模块的内部参数包括左目视觉图像采集模块的焦距以及像素大小、右目视觉图像采集模块的焦距以及像素大小；所述左目虚拟相机和右目虚拟相机分别对应所述左目视觉图像采集模块和右目视觉图像采集模块；获取所述左目虚拟相机、所述右目虚拟相机分别同时采集的虚拟场景中虚拟对象的左右目图像，并对真实对象的左目图像和虚拟对象的左目图像进行渲染，以及对真实对象的右目图像和虚拟对象的右目图像进行渲染，得到左右目虚实结合的图像。在其中一个实施例中，所述根据现实场景中真实对象的左右目图像以及人体在运动过程中的角速度和加速度，得到所述左目视觉图像采集模块的位姿、所述右目视觉图像采集模块的位姿，包括：获取现实场景中真实对象的左目多帧图像、现实场景中真实对象的右目多帧图像、人体在运动过程中的多个角速度和多个加速度，其中，左右目视觉图像采集模块在同一时刻分别采集一帧图像，左目图像的帧数、右目图像的帧数、角速度的个数、加速度的个数相同；根据所述多帧左目图像，利用尺度不变特征描述方法，得到每帧左目图像上的多个第一特征点，所述多帧左目图像中每帧左目图像上的多个第一特征点构成第一特征点集合；根据所述每帧左目图像上的多个第一特征点，得到每帧右目图像上对应的多个第二特征点，所述多帧右目图像中每帧右目图像上的多个第二特征点构成第二特征点集合；所述第一特征点的数量与所述第二特征点的数量相同；根据所述第一特征点集合、所述第二特征点集合以及人体在运动过程中的多个角速度和多个加速度，利用最小化马氏距离求解法，得到所述左目视觉图像采集模块的位姿、右目视觉图像采集模块的位姿。在其中一个实施例中，所述对真实对象的左目图像和虚拟对象的左目图像进行渲染，以及对真实对象的右目图像和虚拟对象的右目图像进行渲染，得到左右目虚实结合的图像，包括：根据所述真实对象的左目图像以及真实对象的右目图像，得到真实对象的左右目图像对应的第一景深图，所本文档来自技高网...

【技术保护点】
1.一种增强现实的虚实融合装置，其特征在于，所述装置包括：双目视觉采集模块、处理模块、双目图像呈现模块；所述双目视觉采集模块与所述处理模块连接，所述处理模块与所述双目图像呈现模块连接；所述双目视觉采集模块包括左目视觉图像采集模块、右目视觉图像采集模块、惯导采集模块；所述左目视觉图像采集模块以及右目视觉图像采集模块在佩戴时位于人体双目前方，分别同时采集现实场景中真实对象的图像，所述惯导采集模块采集人体在运动过程中的角速度和加速度；所述处理模块通过对左右目视觉图像采集模块采集的现实场景中真实对象的图像、所述惯导采集模块采集的人体在运动过程中的角速度和加速度、虚拟场景中左右目虚拟相机采集的虚拟对象的左右目图像分别进行处理，以得到左右目虚实融合的图像，所述左右目虚实融合的图像为虚实对齐之后融合的图像，所述虚拟场景与现实场景之间具有对应关系，所述虚拟对象为在虚拟场景中添加的对象，所述虚实对齐指的是虚拟场景的坐标系与现实场景的坐标系一致；所述双目图像呈现模块将所述左右目虚实融合的图像分别在人体双目处对应呈现出来。

【技术特征摘要】
1.一种增强现实的虚实融合装置，其特征在于，所述装置包括：双目视觉采集模块、处理模块、双目图像呈现模块；所述双目视觉采集模块与所述处理模块连接，所述处理模块与所述双目图像呈现模块连接；所述双目视觉采集模块包括左目视觉图像采集模块、右目视觉图像采集模块、惯导采集模块；所述左目视觉图像采集模块以及右目视觉图像采集模块在佩戴时位于人体双目前方，分别同时采集现实场景中真实对象的图像，所述惯导采集模块采集人体在运动过程中的角速度和加速度；所述处理模块通过对左右目视觉图像采集模块采集的现实场景中真实对象的图像、所述惯导采集模块采集的人体在运动过程中的角速度和加速度、虚拟场景中左右目虚拟相机采集的虚拟对象的左右目图像分别进行处理，以得到左右目虚实融合的图像，所述左右目虚实融合的图像为虚实对齐之后融合的图像，所述虚拟场景与现实场景之间具有对应关系，所述虚拟对象为在虚拟场景中添加的对象，所述虚实对齐指的是虚拟场景的坐标系与现实场景的坐标系一致；所述双目图像呈现模块将所述左右目虚实融合的图像分别在人体双目处对应呈现出来。2.根据权利要求1所述的装置，其特征在于，所述处理模块还用于：获取现实场景中真实对象的左右目图像、所述人体在运动过程中的角速度和加速度；根据现实场景中真实对象的左右目图像以及人体在运动过程中的角速度和加速度，得到所述左目视觉图像采集模块的位姿、所述右目视觉图像采集模块的位姿；根据所述左目视觉图像采集模块的位姿、所述右目视觉图像采集模块的位姿以及预先设置的左目视觉图像采集模块的内部参数和右目视觉图像采集模块的内部参数，确定虚拟场景中左目虚拟相机的位姿以及右目虚拟相机的位姿，并根据所述左目虚拟相机的位姿以及所述右目虚拟相机的位姿在虚拟场景中添加虚拟对象以及所述虚拟对象的三维图形信息；所述左目视觉图像采集模块的内部参数和所述右目视觉图像采集模块的内部参数包括左目视觉图像采集模块的焦距以及像素大小、右目视觉图像采集模块的焦距以及像素大小；所述左目虚拟相机和右目虚拟相机分别对应所述左目视觉图像采集模块和右目视觉图像采集模块；获取所述左目虚拟相机、所述右目虚拟相机分别同时采集的虚拟场景中虚拟对象的左右目图像，并对真实对象的左目图像和虚拟对象的左目图像进行渲染，以及对真实对象的右目图像和虚拟对象的右目图像进行渲染，得到左右目虚实结合的图像。3.根据权利要求1所述的装置，其特征在于，所述装置还包括：保护罩、外壳、双目视力矫正与护目模块；所述保护罩与所述外壳连接，并与所述外壳之间形成一空间；所述双目视觉采集模块以及所述处理模块设置在所述空间内靠近所述保护罩的一侧；所述双目视力矫正与护目模块设置在所述空间内靠近所述外壳的一侧；所述双目图像呈现模块设置在所述空间内，一侧与所述处理模块连接，另一侧与所述双目视力矫正与护目模块连接。4.根据权利要求3所述的装置，其特征在于，所述装置还包括：镜架；所述镜架设置在所述空间内，所述双目图像呈现模块、所述双目视力矫正与护目模块均设置在所述镜架上，且所述双目图像呈现模块与所述镜架连接。5.根据权利要求3所述的装置，其特征在于，所述保护罩上设置有两个通孔，所述保护罩包括：两个镜片；所述两个镜片分别设置在所述两个通孔内；所述左目视觉图像采集模块和所述右目视觉图像采集模块分别透过所述两个镜片采集现实场景中真实对象的图像，所述两个通孔的横截面积不小于所述左目视觉图像采集模块的横截面积以及所述右目视觉图像采集模块的横截面积。6.根据权利要求1所述的装置，其特征在于，所述双目图像呈现模块为两个内置显示器的独立显示镜片，所述独立显示镜片为半反半透显示镜片。7.一种增强现实的虚实融合方法，其特征在于，所述方法包括：获取现实场景中真实对象的左右目图像、所述人体在运动过程中的角速度和加速度；根据现实场景中真实对象的左右目图像以及人体在运动过程中的角速度和加速度，得到所述左目视觉图像采集模块的位姿、所述右目视觉图像采集模块的位姿；根据所述左目视觉图像采集模块的位姿、所述右目视觉图像采集模块的位姿以及预先设置的左目视觉图像采集模块的内部参数和右目视觉图像采集模块的内部参数，确定虚拟场景中左目虚拟相机的位姿以及右目虚拟相机的位姿，并根据所述左目虚拟相机的位姿以及所述右目虚拟相机的位姿在虚拟场景中添加虚拟对象以及所述虚拟对象的三维图形信息；所述左目视觉图像采集模块的内部参数和所述右目视觉图像采集模块的内部参数包括左目视觉图像采集模块的焦距以及像素大小、右目视觉图像采集模块的焦距以及像素大小；所述左目虚拟相机和右目虚拟相机分别对应所述左目视觉图像采集模块和右目视觉图像采集模块；获取所述左目虚拟相机、所述右目虚拟相机分别同时采...

【专利技术属性】
技术研发人员：孙超，李巍，王松勇，徐晟，彭安琪，吴伟桐，
申请(专利权)人：上海北冕信息科技有限公司，
类型：发明
国别省市：上海,31