一种虚拟场景与真实场景融合的模型系统与方法技术方案

本发明专利技术提供一种用于虚拟场景与真实场景融合的模型系统与方法。本发明专利技术拍摄用户所在真实场景的影像，在用户视角下提取真实场景对象，并全面采集真实环境中的各种环境参数；进而，本发明专利技术判断各个真实场景对象和真实环境因素在用户进入虚拟现实的过程中对用户感知的影响权重；根据该影响权重的排序，选取其中影响权重较高的真实场景对象和真实环境因素与虚拟场景相融合，而忽略其中影响权重低于阈值的对象和因素；并且综合考虑影响权重的大小以及真实场景对象本身的空间位置，协调真实场景对象与虚拟场景对象共同显示；对于真实场景对象，判定其与虚拟场景的兼容程度，并相应调整真实场景对象的成像模型。

【技术实现步骤摘要】

本专利技术属于计算机
，具体涉及一种虚拟场景与真实场景融合的模型系统与方法。
技术介绍
近年来非常热门的虚拟现实技术，是在综合应用了计算机三维图形技术、传感技术、人机交互技术、三维显示技术的基础上，为用户呈现高度逼真的三维视觉感观，并且实现三维显示世界与用户真实世界行为之间的高实时性交互，使用户感受到无限趋近于真实世界的体验。能够产生沉浸效应是虚拟现实技术区别于其它图形显示和人机交互技术的重要特征，所谓沉浸指的是通过高度逼真的显示以及自然无缝的人机交互，使用户的注意力完全集中在虚拟现实所营造的环境中，而难以有意识和下意识地进行虚拟现实世界与真实世界的分界。用户所在场景环境的营造是利用虚拟现实技术达到沉浸效应的关键一环。因为不论是将虚拟现实技术应用在电影放映、角色模拟游戏当中，还是应用在具有真实环境还原效果的飞行、驾驶、体育训练当中，用户都是首先置身于具体的场景环境之中，并产生对场景环境的感知辨识，进而才会随着场景的变化与切换而将自身代入到故事、游戏或训练的情节，最终达到沉浸效果。用户在进入虚拟现实技术下的电影、游戏和训练时，一方面，用户所面对的是为电影、游戏和训练所营造的虚拟场景，例如，在角色模拟游戏中，虚拟现实技术所呈现给用户的可能是根据游戏情景而设计的古堡房间、海盗船舱、太空站、战斗机驾驶舱等脱离现实而虚构出来的场景；另一方面，用户也无法避免地会面对和感受到其身体所在实际世界的真实场景，例如，用户所在房间的家具摆设等可以进入用户视野内或者用户触手可及的物品，来自真实环境的光照、阴影、温度、湿度和声音等，甚至是用户身边存在的其他人。为了达到理想的沉浸效应，不能忽视来自实际世界的真实场景对用户直接或潜在的影响，特别是如果真实场景与虚拟场景存在明显的不相融合，则必然会在用户体验上造成不协调，最终无法产生沉浸效应。例如，如果虚拟场景展示的是昏暗和潮湿的阴雨画面，而同时用户却能明显感受到真实场景中户外明媚阳光的照射，则这种虚拟场景和真实场景的强烈反差必然对用户心理产生示意作用，使用户明确意识到虚拟场景中的所见所闻都是虚构的，从而会有意识或潜意识地把虚拟场景与其自身所在的真实环境分离看待。针对这一问题，现有的一种做法是将隔离用户对真实环境因素的感知，从而屏蔽真实场景对用户的影响，例如，让用户带上封闭式头盔从而只能看到虚拟场景的画面，并且利用音效掩盖外界真实环境的声音。然而，在相当多的实际应用中，我们并不希望对用户完全隔离真实场景，而是通过将虚拟场景与真实场景平滑地融合为一体，使用户能够感受到真实环境因素并做出相应响应，但同时又能够充分将自身代入到虚拟场景所构造的情境之中并达到沉浸效应。举例来说，我们希望虚拟场景中的天气、光照等因素与用户所在真实环境中的天气、光照相一致，从而达到用户在虚拟场景中对环境条件的感受与其对真实场景中环境条件的感受产生同一性。又例如，真实场景中用户周围的物品乃至人物可以以适当方式呈现在虚拟场景之中，成为虚拟场景中的虚拟对象，从而，用户在真实场景中对这些物品和人物所执行的动作，也可以投射为虚拟场景之中对虚拟对象的交互。现有技术中存在将虚拟场景对象与真实场景中的物体共同呈现在虚拟现实画面的技术手段。例如，可以以摄像设备采集真实场景的影像，并且提供表示该真实场景影像的拍摄视角的参数；生成虚拟场景的显示影像，虚拟场景影像的成像视角一般采用观看虚拟显示显示画面的用户视角；根据真实场景拍摄视角与虚拟场景成像视角的差异，以虚拟场景成像视角为基准，调整真实场景影像，使之成像视角与虚拟场景成像视角相一致；根据视角调整后的真实场景影像，将其与虚拟场景影像相叠加，形成真实场景与虚拟场景相叠加的显示影像。另一种方式是，以上述视角调整后的真实场景影像为原本，为该真实场景影像中的物体建立模型并渲染，生成代表真实场景物体的对象；将真实场景内的对象根据其在上述成像视角下的位置，放置在虚拟场景的成像空间内，从而与虚拟场景中原有的对象共同构成显示影像。在实际应用中我们发现，上述技术手段存在的主要缺陷是：首先，现有技术单纯在成像视角一致性的基础上根据对象彼此之间的空间位置关系实现真实场景对象与虚拟场景对象的融合，但是，真实环境中的各种对象和因素给用户感知带来的影响程度并不总是取决于这些对象和因素所在的空间位置；真实场景中的有些对象，虽然处于用户视角下的中心位置，但是用户沉浸在虚拟现实的过程中这些对象并不能给用户带来明显的感知上的影响；而真实环境中的另外一些对象和因素，虽然在用户视角下的空间位置上处于次要位置，甚至是不可见的(例如真实环境的温度和湿度，或者上文提到的真实环境中的天气和光照)，但是对用户感知却具有较强的影响；故而，从实现沉浸效应的角度看，在真实场景融合到虚拟场景的过程中，应优先考虑真实场景当中对用户感知影响程度较大的对象和因素，而降低对用户感知影响程度相对较小对对象和因素的优先级和权重。其次，在虚拟现实的游戏、电影和各种模拟训练当中，主要还是依靠虚拟场景中的对象和内容来展示故事情节和引导用户互动，融合真实场景的主要目的是避免其与虚拟场景不协调而破坏沉浸效应；因此，当真实场景中包含的各种物体和因素比较多或比较复杂的情况下，如果过多和过于复杂的真实场景对象被融合进来，则会削弱用户将注意力集中在虚拟场景对象当中，而且过多的真实场景对象也会挤占虚拟场景的显示空间，甚至有可能造成对象之间显示重叠。第三，不论是将真实场景影像直接叠加，还是以真实场景的物体为原本建模成像，最终形成的显示影像中，来自真实场景的对象与虚拟场景原有对象在视觉效果上都容易发生不相兼容的状况。例如，如果虚拟场景所展示的是古堡房间的陈设，而被融合进来的真实场景对象却是各种现代风格的物品，例如手机等，则必然会严重破坏原本追求的沉浸效果。
技术实现思路
针对现有技术的上述缺陷，本专利技术提供了一种用于虚拟场景与真实场景融合的模型系统与方法。本专利技术拍摄用户所在真实场景的影像，在用户视角下提取真实场景对象，并全面采集真实环境中的各种环境参数；进而，本专利技术判断各个真实场景对象和真实环境因素在用户进入虚拟现实的过程中对用户感知的影响权重；根据该影响权重的排序，选取其中影响权重较高的真实场景对象和真实环境因素与虚拟场景相融合，而忽略其中影响权重低于阈值的对象和因素；并且综合考虑影响权重的大小以及真实场景对象本身的空间位置，协调真实场景对象与虚拟场景对象共同显示；对于真实场景对象，判定其与虚拟场景的兼容程度，并相应调整真实场景对象的成像模型。本专利技术提供了一种虚拟场景与真实场景融合的模型系统，其特征在于，包括：真实场景拍摄单元，用于以接近用户视角的拍摄视角拍摄真实场景影像，并且提供表示该真实场景影像的拍摄视角的参数；真实场景对象提取单元，用于以用户视角为基准，调整所述真实场景影像，使调整后的真实场景影像的成像视角与用户视角相一致；并且从调整后的真实场景影像中识别并提取出真实场景对象；真实环境参数采集单元，用于采集用户所在真实环境的真实环境参数；用户行为拍摄和识别单元，用于拍摄用户的实时画面，从中识别和提取用户的行为动作，并确定用户的行为动作与真实场景对象的关联度；虚拟场景生成单元，用于以所述用户视角作为虚拟场景影像的成像视角，生成初始的虚拟场景影像，所述虚拟场景本文档来自技高网...

【技术保护点】
一种虚拟场景与真实场景融合的模型系统，其特征在于，包括：真实场景拍摄单元，用于以接近用户视角的拍摄视角拍摄真实场景影像，并且提供表示该真实场景影像的拍摄视角的参数；真实场景对象提取单元，用于以用户视角为基准，调整所述真实场景影像，使调整后的真实场景影像的成像视角与用户视角相一致；并且从调整后的真实场景影像中识别并提取出真实场景对象；真实环境参数采集单元，用于采集用户所在真实环境的真实环境参数；用户行为拍摄和识别单元，用于拍摄用户的实时画面，从中识别和提取用户的行为动作，并确定用户的行为动作与真实场景对象的关联度；虚拟场景生成单元，用于以所述用户视角作为虚拟场景影像的成像视角，生成初始的虚拟场景影像，所述虚拟场景影像包括至少一个虚拟成像对象；影响权重计算单元，用于根据所述真实场景对象在用户视角下的真实场景影像中所处于的空间位置，以及根据所述用户的行为动作与真实场景对象的关联度，计算各个真实场景对象对用户感知的影响权重；以及根据预定的经验性标准计算真实环境参数对用户感知的的影响权重；融合目标判定单元，用于根据所述影响权重，选取其中影响权重较高的真实场景对象和真实环境因素作为与虚拟场景融合的融合目标；真实场景对象模型单元，针对作为融合目标的真实场景对象，为该真实场景对象建立真实场景对象模型并渲染，作为初始的真实场景对象影像；真实场景对象模型重构单元，用于根据作为融合目标的真实场景对象在用户视角下所处的空间位置，计算其与虚拟成像对象的最小距离；当该最小距离小于距离阈值时，根据该真实场景对象的影响权重，缩小其真实场景对象模型的尺度，并根据缩小后的真实场景对象模型重新渲染生成最终真实场景对象影像；虚拟场景调整单元，根据作为融合目标的真实环境因素，判定该真实环境因素与初始的虚拟场景影像的匹配度；当匹配度不满足预定匹配阈值时，调整所述虚拟场景影像；场景融合单元，用于根据作为融合目标的真实场景对象在用户视角下所处的空间位置，将最终真实场景对象影像放置在虚拟场景影像的成像空间内，从而与虚拟场景影像共同构成显示影像。...

【技术特征摘要】
1.一种虚拟场景与真实场景融合的模型系统，其特征在于，包括：真实场景拍摄单元，用于以接近用户视角的拍摄视角拍摄真实场景影像，并且提供表示该真实场景影像的拍摄视角的参数；真实场景对象提取单元，用于以用户视角为基准，调整所述真实场景影像，使调整后的真实场景影像的成像视角与用户视角相一致；并且从调整后的真实场景影像中识别并提取出真实场景对象；真实环境参数采集单元，用于采集用户所在真实环境的真实环境参数；用户行为拍摄和识别单元，用于拍摄用户的实时画面，从中识别和提取用户的行为动作，并确定用户的行为动作与真实场景对象的关联度；虚拟场景生成单元，用于以所述用户视角作为虚拟场景影像的成像视角，生成初始的虚拟场景影像，所述虚拟场景影像包括至少一个虚拟成像对象；影响权重计算单元，用于根据所述真实场景对象在用户视角下的真实场景影像中所处于的空间位置，以及根据所述用户的行为动作与真实场景对象的关联度，计算各个真实场景对象对用户感知的影响权重；以及根据预定的经验性标准计算真实环境参数对用户感知的的影响权重；融合目标判定单元，用于根据所述影响权重，选取其中影响权重较高的真实场景对象和真实环境因素作为与虚拟场景融合的融合目标；真实场景对象模型单元，针对作为融合目标的真实场景对象，为该真实场景对象建立真实场景对象模型并渲染，作为初始的真实场景对象影像；真实场景对象模型重构单元，用于根据作为融合目标的真实场景对象在用户视角下所处的空间位置，计算其与虚拟成像对象的最小距离；当该最小距离小于距离阈值时，根据该真实场景对象的影响权重，缩小其真实场景对象模型的尺度，并根据缩小后的真实场景对象模型重新渲染生成最终真实场景对象影像；虚拟场景调整单元，根据作为融合目标的真实环境因素，判定该真实环境因素与初始的虚拟场景影像的匹配度；当匹配度不满足预定匹配阈值时，调整所述虚拟场景影像；场景融合单元，用于根据作为融合目标的真实场景对象在用户视角下所处的空间位置，将最终真实场景对象影像放置在虚拟场景影像的成像空间内，从而与虚拟场景影像共同构成显示影像。2.根据权利要求1所述的虚拟场景与真实场景融合的模型系统，其特征在于，所述用户行为拍摄和识别单元利用眼球追踪技术从拍摄的用户实时画面中判定用户的视线方向，并判定视线方向所指向的真实场景对象；对于用户视线方向所指向的真实场景对象赋予高关联度值，而对于视线方向未指向的真实场景对象赋予低关联度值；以累计计数值的形式为各个真实场景对象统计各自对应的总关联度值。3.根据权利要求1所述的虚拟场景与真实场景融合的模型系统，其特征在于，所述用户行为拍摄和识别单元从拍摄的用户实时画面中提取其手部的空间位置，并将该位置对应到真实场景影像的成像空间坐标当中；进而判定用户手部空间位置与真实场景影像中各个真实场景对象空间位置的空间距离，当该空间距离为零或距离接近到预定程度以内时，则对相应的真实场景对象赋予高关联度值；当该空间距离未接近到预定程度以内时，则对相应的真实场景对象赋予低关联度值；以累计计数值的形式为各个真实场景对象统计各自对应的总关联度值。4.根据权利要求2或3所述的虚拟场景与真实场景融合的模型系统，其特征在于，所述影响权重计算单元判断真实场景影像当中各个真实场景对象在所处的空间位置与用户视角下的视域中心区域的接近程度，并根据该接近程度为各个真实场景对象定义初始影响权重值；并且，从用户行为拍摄和识别单元获得用户的行为动作与各个真实场景对象的总关联度值，利用该总关联度值对各个真实场景对象具有的初始影响权重值进行修正，获得各个真实场景对象对用户感知的影响权重。5.根据权利要求4所述的虚拟场景与真实场景融合的模型系统，其特征在于，所述真实场景对象模型单元判定作为融合目标的真实场景对象的对象类型，并提取该对象类型相应的预定模型模版，将真实场景对象的尺度参数代入预定模型模版获得所述真实场景对象...

【专利技术属性】
技术研发人员：左曾旭衡，
申请(专利权)人：深圳前海小橙网科技有限公司，
类型：发明
国别省市：广东;44