一种基于增强现实的新型社交方法及系统技术方案

本发明专利技术公开了一种基于增强现实的新型社交方法及系统，通过虚实融合切实增强用户视觉感知及交互体验，并且不影响用户正常社交行为，可以交互设置并切换不同社交群体及模式，具有广泛的适用性。它包括如下模块：环境感知模块，目标识别模块，网络服务模块，增强显示模块，人机交互模块。其有益效果在于：通过本发明专利技术利用可穿戴增强现实眼镜，实现日常生活中自然地分享信息和评论沟通，这种方式颠覆了已有传统网络社交模式，将虚拟空间对象与真实物理世界有机融合，并且在传统网络论坛互动基础上实现虚实互动，大大提升人与人的社交体验及交互带宽，将网络社交有机融入日常生活中，相比于传统网络社交模式，该发明专利技术内容具有更广泛的适用性及发展前景。

A new social method and system based on Augmented Reality

The invention discloses a new social method and system based on augmented reality, which can effectively enhance the user's visual perception and interactive experience through virtual reality integration, and does not affect the user's normal social behavior, can interactively set and switch different social groups and modes, and has wide applicability. It includes the following modules: environment perception module, target recognition module, network service module, enhanced display module, human-computer interaction module. The beneficial effect is that: through the invention, the wearable augmented reality glasses are used to naturally share information and comment communication in daily life, which overturns the existing traditional network social mode, organically integrates the virtual space object with the real physical world, and realizes the virtual real interaction on the basis of the traditional network forum interaction, greatly improving the social experience between people and Compared with the traditional network social mode, the content of the invention has a broader applicability and development prospects.

【技术实现步骤摘要】
一种基于增强现实的新型社交方法及系统
本专利技术属于一种社交方法及系统，具体涉及一种基于增强现实的新型社交方法及系统。
技术介绍
增强现实(AugmentedReality，AR)将真实世界环境和虚拟世界信息“无缝”集成，并被人类无差异地感知，从而达到超越现实的感官体验，增强现实将成为继键盘、鼠标和触屏智能手机之后的下一代新型人机交互界面。基于位置的服务(LocationBasedService，LBS)，是通过移动运营商的无线电通讯网络或外部定位方式(如北斗、GPS)获取移动终端用户的位置信息，在地理信息平台支持下，为用户提供相应服务的一种增值业务。随着增强现实技术的发展，以及可穿戴计算设备的逐渐成熟，将二者结合的应用受到广泛关注，移动增强现实(MobileAugmentedReality，MAR)近几年成为国内外研究的热门方向，可穿戴增强现实眼镜很可能作为人们必备的通信、社交终端，与智能手机配合甚至取代智能手机，成为人们在正常生产活动中获取外部信息的必需手段。关于对现实世界目标的信息查询及评论，人们往往通过论坛、社交软件的方式进行分享，但是这种方式存在几个弊端：一是人们只能通过计算机、智能手机等终端登录相应软件，输入文字或上传图片进行分享，这需要在特定场合完成，需要低头专注于这种输入输出，从而必须中断正常的社交或操作活动；二是人们在进行查询和评论时视线必须与客观目标分开，无法实现二者共享视野空间，更无法针对目标的具体细节特征实现分享，这种交互方式本质上是串行的，不符合人们感知物理世界的实际；三是查询或分享的信息没有与目标的客观物理位置相结合，使得人们在感受时无法与空间拓扑关系进行关联，更无法针对用户当前所处的物理位置进行主动性推送。随着增强现实技术的逐步成熟，增强现实头戴式设备将快速普及，甚至就像我们日常佩戴眼睛或者携带智能手机一样普通，这给本方案中提到的新型社交方法及系统的应用提供了客观条件。
技术实现思路
本专利技术的目的是提供一种基于增强现实的新型社交方法及系统，通过虚实融合切实增强用户视觉感知及交互体验，并且不影响用户正常社交行为，可以交互设置并切换不同社交群体及模式，具有广泛的适用性。本专利技术的技术方案如下：一种基于增强现实的新型社交系统，它包括如下模块：环境感知模块，目标识别模块，网络服务模块，增强显示模块，人机交互模块，所述环境感知模块通过视觉、深度相机和雷达手段获取周围边境几何结构，从而实现对物理世界的精确三维重建；所述目标识别模块基于感知模块获取的目标图像，抽取目标外观特征，结合当前位置等信息，实现对目标本身的精确识别；所述网络服务模块，根据ID标识检索无线网络云数据服务器中的目标属性及其评论信息；所述增强显示模块，将返回信息以文字、图片、图形、语音、视频等多媒体方式进行组织；所述人机交互模块，用户可以看、听获取的目标多媒体信息，可以通过交互支持用户根据对目标的评论，通过语音、手势等交互手段，输入信息。它所述环境感知模块基于环境三维重建结果，以及惯性测量单元(IMU)等信号，通过北斗、GPS等全球定位手段，实现对观察者自身绝对位置的确定，以及对观察者当前视线方向的获取。所述的环境感知模块由摄像头、深度相机、小型雷达和IMU其中的一种或者多个组合而成。所述的目标识别模块基于目标识别结果，确定其唯一ID标识，以便用于网络信息查询检索。所述的目标识别模块由以CPU、GPU为核心的计算单元构成。所述的网路服务模块，根据用户的权限确定其能否访问这些信息，根据权限返回相应信息。所述的网络服务模块由移动通信单元及相应软件服务接口构成。所述的增强显示模块，将多媒体信息以用户界面方式叠加到用户视野中，并实现与真实目标的对齐。所述的增强显示模块由自由曲面或光波导等光学处理单元构成。所述的人机交互模块，将信息转化为文字、语音或者图片信息，并能够将这些信息保存到云数据服务器中，供其他用户共享访问。所述的人机交互模块则由语音、手势、眼动、肌电或其他可穿戴输入单元组成，这些模块之间可以通过有线或无线方式进行连接，确保构成完整可穿戴软硬件系统。一种基于增强现实的新型社方法，包括如下步骤，(1)用户在室外环境下通过增强现实眼镜看到关于目标的属性及各种评论，这些信息叠加在目标之上并保持正确的透视关系；(2)用户通过文字、语音等多种手段增加对目标的评论信息，这些信息以文字或多媒体方式存储到网络数据库中；(3)其他用户可以对存储于网络数据库中的数据实现按权限分享，分享后的信息同样可以以增强现实方式呈现于目标之上。本专利技术的有益效果在于：通过本专利技术利用可穿戴增强现实眼镜，实现日常生活中自然地分享信息和评论沟通，这种方式颠覆了已有传统网络社交模式，将虚拟空间对象与真实物理世界有机融合，并且在传统网络论坛互动基础上实现虚实互动，大大提升人与人的社交体验及交互带宽，将网络社交有机融入日常生活中，相比于传统网络社交模式，该
技术实现思路
具有更广泛的适用性及发展前景。此外，不同社交群体可以确保不同的信息获取权限，确保隐私安全；并且不同社交群体、不同虚拟对象能够同时共享共同的物理空间，这将使得对目标的展现内容无限延展。附图说明图1为本专利技术所提供的一种基于增强现实的新型社交系统网络部署示意图；图2为实际应用场景示意图；图3为信息处理流程图。具体实施方式下面结合附图及具体实施例对本专利技术作进一步详细说明。如图1所示，本专利技术一种基于增强现实的新型社交系统及方法依托无线移动通信网络将虚拟对象通过视觉手段增强至特定物理空间中(可与真实环境某地理位置中的固定标志物融合，例如景点雕像、建筑设施或其它)，基于增强现实设备并且具备特定权限的用户就可以在真实物理空间中看到虚实融合的场景且可以通过语音、手势、文字、图片和视频等多种方式对虚拟对象进行评论交流，交流内容同样是以虚拟对象方式存在，通过网络可以增强至其他用户视野空间中，从而在不同社交群体内部实现共享。虚拟对象虽然与真实环境高度融合，但其并不占用实际物理空间，提供给不同社交群体的虚拟对象可以共享同一物理空间。这些虚拟对象及其评论信息存储在网络化云数据库中，当用户视点发生变换时，这些信息可以根据用户视野空间变化实时通过网络实现动态加载，从而确保虚实无缝融合。本专利技术中涉及的几个术语：(1)增强现实设备(如增强现实眼镜)：让人们除了能够看到正常物理世界之外，还可以将生成的虚拟对象叠加到现实的物理世界之上，并且当人们移动时，这些虚拟的物理对象会与真实物理世界一样保持正确的透视关系，就好像它们在那里一样。增强现实眼镜外观与正常眼镜类似，但是具备环境感知单元、计算处理单元、数据存储单元和网络通信单元，它可将信息显示自然叠加到人们的视野中，避免低头看手机影响正常的操作活动。(2)目标：是指客观物理世界中的典型固定设施，例如，景点标志性建筑、热门商家店面、重大事件发生地等等，本文档来自技高网...

【技术保护点】
1.一种基于增强现实的新型社交系统，其特征在于：它包括如下模块：环境感知模块、目标识别模块、网络服务模块、增强显示模块和人机交互模块；/n所述环境感知模块通过视觉、深度相机和雷达手段获取周围边境几何结构，从而实现对物理世界的精确三维重建，同时实现对用户自身位置、姿态以及视野参数的实时感知；/n所述目标识别模块基于感知模块获取的目标图像，抽取目标外观特征，结合当前位置、网络地理信息等数据，实现对目标本身的精确识别；/n所述网络服务模块，根据目标ID标识检索无线网络云数据服务器中的目标相关属性及其热点评论信息；/n所述增强显示模块，将网络云数据库的返回信息以文字、图片、图形、语音、视频等多媒体方式进行组织，增强显示在用户视野空间中，并与实际的物理空间位置对齐；/n所述人机交互模块，用户可以通过看、听获取到关于目标的多媒体信息，可以通过多种交互手段支持用户根据对目标的评论，通过语音、手势等交互手段，输入各种评价信息。/n

【技术特征摘要】
1.一种基于增强现实的新型社交系统，其特征在于：它包括如下模块：环境感知模块、目标识别模块、网络服务模块、增强显示模块和人机交互模块；
所述环境感知模块通过视觉、深度相机和雷达手段获取周围边境几何结构，从而实现对物理世界的精确三维重建，同时实现对用户自身位置、姿态以及视野参数的实时感知；
所述目标识别模块基于感知模块获取的目标图像，抽取目标外观特征，结合当前位置、网络地理信息等数据，实现对目标本身的精确识别；
所述网络服务模块，根据目标ID标识检索无线网络云数据服务器中的目标相关属性及其热点评论信息；
所述增强显示模块，将网络云数据库的返回信息以文字、图片、图形、语音、视频等多媒体方式进行组织，增强显示在用户视野空间中，并与实际的物理空间位置对齐；
所述人机交互模块，用户可以通过看、听获取到关于目标的多媒体信息，可以通过多种交互手段支持用户根据对目标的评论，通过语音、手势等交互手段，输入各种评价信息。


2.如权利要求1所述的一种基于增强现实的新型社交系统，其特征在于：所述环境感知模块基于环境三维重建结果，以及惯性测量单元(IMU)等信号，通过北斗、GPS等全球定位手段，实现对观察者自身绝对位置的确定，以及对观察者当前视线方向的获取。


3.如权利要求1或2所述的一种基于增强现实的新型社交系统，其特征在于：所述的环境感知模块由摄像头、深度相机、小型雷达和IMU其中的一种或者多个组合而成。


4.如权利要求1所述的一种基于增强现实的新型社交系统，其特征在于：所述的目标识别模块基于目标识别结果，确定其唯一ID标识，以便用于网络信息查询检索。


5.如权利要求1或4所述的一种基于增强现实的新型社交系统，其特征在于：所述的目标识别模块由以...

【专利技术属性】
技术研发人员：邓宝松，印二威，李靖，鹿迎，唐荣富，闫野，桂健钧，宋立，
申请(专利权)人：中国人民解放军军事科学院国防科技创新研究院，天津滨海人工智能军民融合创新中心，
类型：发明
国别省市：北京;11