全景扫描融合现实系统技术方案

本发明专利技术提供一种全景扫描融合现实系统，针对现有的混合现实设备容易引起延迟和眩晕的问题，提出了一种降低眩晕感的全景扫描融合现实系统；包括图像收集单元、中央处理单元和显示单元；所述图像收集单元用于实时采集使用者周围的图像形成全景的现实图像；所述中央处理单元用于接收所述现实图像，并将虚拟图像叠加到所述现实图像上形成全景的叠加图像；所述显示单元用于显示所述叠加图像在当前视角下的部分图像。本发明专利技术中，采用图像收集单元对使用者周边的环境进行全景采集，然后将虚拟图案叠加在现实图像中形成全景的叠加图像，预先形成全景的叠加图像，当用户进行任何动作时，只需要对图像的视角进行切换，从而，能够大大的提高图像的稳定性。

Panoramic Scanning Fusion Reality System

【技术实现步骤摘要】
全景扫描融合现实系统
本专利技术涉及一种全景扫描融合现实系统。
技术介绍
增强现实(AugmentedReality)，简称AR，是一种实时地计算摄影机摄像的位置及角度并加上相应的图像技术，在屏幕上把虚拟世界套在现实世界并进行互动，把原本在现实世界的一定时间空间范围内很难体验到的实体信息，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。已有的增强现实系统最大的问题在于人的头部摆动所造成的视野高速运动，带来的互动操作定位困难和图像处理延时。这两个问题严重的影响了增强现实的体验效果，本专利技术将致力于解决这个问题。
技术实现思路
针对上述问题，本专利技术提供一种能够降低使用者眩晕感的全景扫描融合现实系统。为达到上述目的，本专利技术提供一种全景扫描融合现实系统，包括图像收集单元、中央处理单元和显示单元；所述图像收集单元用于实时采集使用者周围的图像形成全景的现实图像；所述中央处理单元用于接收所述现实图像，并将虚拟图像叠加到所述现实图像上形成全景的叠加图像；所述显示单元用于显示所述叠加图像在当前视角下的部分图像。进一步地，所述中央处理单元采用流式处理方式形成叠加图像。进一步地，所述图像收集单元还用于采集所述使用者的肢体图像。进一步地，所述中央处理单元将所述使用者的肢体图像与所述虚拟图像中的元素形成对应关系，并依据所述肢体图像控制对应的元素。进一步地，所述中央处理单元依据所述现实图像建立现实坐标系，将所述虚拟图像与所述现实坐标系对应。进一步地，所述现实坐标系依据所述所述现实图像中的静态元素建立。进一步地，所述图像收集单元包括一个全景摄像装置，或者；所述图像收集单元包括若干摄像头，所述中央处理单元接收各摄像头采集的图像并处理成为全景图像。进一步地，所述中央处理器收集所述使用者当前视角信息，依据所述使用者视角信息，控制所述显示单元显示当前视角下的图像。进一步地，所述中央处理器将所述全景的现实图像中的静态元素进行提取形成静态环境图像，将所述虚拟图像与所述静态环境图像合成为叠加图像。进一步地，所述中央处理器将所述全景现实图像中的动态元素进行提取，并实时采集所述动态元素的信息，将所述动态元素与所述叠加图像进行合成。本专利技术中，采用图像收集单元对使用者周边的环境进行全景采集，然后将虚拟图案叠加在现实图像中形成全景的叠加图像，这样，在用户尚无动作的情况下，已经预先形成了全景的叠加图像，当用户进行任何动作时，只需要对图像的视角进行切换，从而，能够大大的提高图像的稳定性。具体实施方式下面对本专利技术做进一步的描述。实施例1本实施例提供一种全景扫描融合现实系统，包括包括图像收集单元、中央处理单元和显示单元；所述图像收集单元用于实时采集使用者周围的图像形成全景的现实图像；图像收集单元可以采用现成的全景摄像装置采集全景图像，也可以采用多个摄像头进行各个不同角度的图像采集，再通过图像的合成和拼接形成全景的图像。此处收集的全景图像可以为使用者的前、后、左、右四个方向，或者包括前、后、左、右、上、下六个方向的图像，可以依据具体的情形进行选择。如果其应用场景仅限于其中两个方向，也可以选用两个方向。所述中央处理单元用于接收所述现实图像，并将虚拟图像叠加到所述现实图像上形成全景的叠加图像；中央处理单元存储或从其他设备接收虚拟图像，该虚拟图像应当为全景的虚拟图像，中央处理单元从图像采集单元接收现实图像，然后将全景的现实图像与全景的虚拟图像进行叠加，叠加后，形成全景的叠加图像。中央处理单元采用流式数据处理的方式，不断的对现实图像和虚拟图像进行叠加，在使用者进行动作前预先形成全景的叠加图像，该图像不受用户的摆动或其他动作影响，只是在用户的动作过程中产生视角变换，基本上不会造成图像的延迟和产生额眩晕感。所述显示单元用于显示所述叠加图像在当前视角下的部分图像；依据正常的观察规律，全景的图像通常不会被全部观察到，因此，需要通过收集用户当前的视角信息，通过中央处理单元对视角信息进行判断和处理，将应当展现在用户当前视角下的部分图像进行展示。本实施例中，预先生成全景的图像，在用户视角的发生变化时，只需要对全景的图像进行视角的转换即可，不会产生因图像处理而发生的图像延迟和产生眩晕感。实施例2本实施例提供一种全景扫描融合现实系统，本实施例与实施例1的不同之处在于，本实施例中的图像收集单元还用于采集所述使用者的肢体图像。本实施例中，图像采集单元采集使用者的肢体图像，并依据使用者的肢体图像的运动规律计算使用者所作出的动作，该技术可以采用现有的技术实现，例如采用kinect或psvr的技术实现。本实施例中，采用图像收集单元收集用户的肢体动作并计算出用户的动作，对于穿戴设备来说，采集用户肢体动作的图像采集装置与用户平时的观察规律相符合，因此，能够减少计算量，也能够增加图像与用户动作之间的吻合度。在上述的基础上，通过中央处理单元将所述使用者的肢体图像与所述虚拟图像中的元素形成对应关系，并依据所述肢体图像控制对应的元素。例如，将用户的手部动作与虚拟的乒乓球拍关联，依据用户手部动作控制乒乓球拍的动作，这样，能够使用户进行虚拟的乒乓球训练。实施例3在实施例1的基础上，本实施例中的中央处理单元依据所述现实图像建立现实坐标系，将所述虚拟图像与所述现实坐标系对应。具体操作是采用中央处理器将所述全景的现实图像中的静态元素进行提取形成静态环境图像，将所述虚拟图像与所述静态环境图像合成为叠加图像。本实施例中，中央处理器依据周边环境进行建立坐标系，这样，建立坐标系的方式与使用者平时生活的坐标系相同，从而，能够使用户具有更加真实的体验。为了更加贴近真实，本实施例中可以进一步的将现实坐标系依据所述所述现实图像中的静态元素建立。该静态元素可以为地面、墙面、屋顶或者静止的摆设等；这样，虚拟图像与静态元素进行匹配，从而能够使虚拟元素的动作都是相对于虚拟元素进行动作，而使用者的任何动作都是相对于虚拟元素进行的，从而能够使使用者的动作和虚拟图像的动作在同一静止的参考系中，使画面变的更加协调。另外，采用静止场景作为参照物，由于场景为静止的，可以采用固定的同一场景进行连续处理，而不需要实时采集，从而减少计算量，减少延迟。实施例4在上述实施例3的基础上，本实施例中的中央处理器将所述全景现实图像中的动态元素进行提取，并实时采集所述动态元素的信息，将所述动态元素与所述叠加图像进行合成。动态元素可以包括在环境中活动的人物、动物、机械或者车辆等与静态元素发生相对运动的元素。本实施例中，在实施例3的基础上，实时的采集动态元素，从而使使用者除了静态元素外还能够感受到动态元素与虚拟图像之间的关系，从而，能够进一步增加使用者的真实感。并且，由于仅仅对动态元素进行计算，而不是对全景的图像进行运算，能够大大减少计算量，减少延迟时间。以上，仅为本专利技术的较佳实施例，但本专利技术的保护范围并不局限于此，任何熟悉本
的技术人员在本专利技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本专利技术的保护范围之内。因此，本专利技术的保护范围应该以权利要求所界定的保护范围为准。本文档来自技高网...

【技术保护点】
1.一种全景扫描融合现实系统，其特征在于：包括图像收集单元、中央处理单元和显示单元；所述图像收集单元用于实时采集使用者周围的图像形成全景的现实图像；所述中央处理单元用于接收所述现实图像，并将虚拟图像叠加到所述现实图像上形成全景的叠加图像；所述显示单元用于显示所述叠加图像在当前视角下的部分图像。

【技术特征摘要】
1.一种全景扫描融合现实系统，其特征在于：包括图像收集单元、中央处理单元和显示单元；所述图像收集单元用于实时采集使用者周围的图像形成全景的现实图像；所述中央处理单元用于接收所述现实图像，并将虚拟图像叠加到所述现实图像上形成全景的叠加图像；所述显示单元用于显示所述叠加图像在当前视角下的部分图像。2.如权利要求1所述全景扫描融合现实系统，其特征在于：所述中央处理单元采用流式处理方式形成叠加图像。3.如权利要求1所述全景扫描融合现实系统，其特征在于：所述图像收集单元还用于采集所述使用者的肢体图像。4.如权利要求3所述全景扫描融合现实系统，其特征在于：所述中央处理单元将所述使用者的肢体图像与所述虚拟图像中的元素形成对应关系，并依据所述肢体图像控制对应的元素。5.如权利要求1所述全景扫描融合现实系统，其特征在于：所述中央处理单元依据所述现实图像建立现实坐标系，将所述虚拟图像与所述现实坐标系对应。6....

【专利技术属性】
技术研发人员：邓迪，
申请(专利权)人：深圳远为文化有限公司，
类型：发明
国别省市：广东,44