基于slam测绘方法的增强现实交互方法、装置制造方法及图纸

本发明专利技术公开了一种基于slam测绘方法的增强现实交互方法、装置、计算机设备和存储介质，通过获取实际交互场景的视频图像，从视频图像提取场景的交互图，根据slam测绘算法对场景的交互图像进行匹配拼接，生成交互场景的数字化地图，根据交互用户输入的交互信息，将虚拟物体或者虚拟操作结果显示叠加在交互场景的数字化地图中，得到AR场景，采集交互动作所得到的执行数据，获取执行交互动作所对应的真实位姿信息，采用slam方法对执行数据进行处理得到交互动作对应的估计位姿信息，以在AR场景中控制目标对象的姿态，以在AR场景对目标对象进行准确控制，缩小AR场景与相应现实场景之间的差距，提升相应的用户体验。

Augmented reality interactive method and device based on slam mapping method

【技术实现步骤摘要】
基于slam测绘方法的增强现实交互方法、装置
本专利技术涉及增强现实
，尤其涉及一种基于slam测绘方法的增强现实交互方法、装置、计算机设备和存储介质。
技术介绍
增强现实场景通常涉及数字或虚拟图像信息的呈现，作为用户周围的实际世界的可视化的增强。目前比较常用的方法是通过slam算法根据输入端的数据计算场景3d信息，目前slam算法获得的数据主要用于地图数据重建，并未直接用户交互中。这样用户基于增强现实场景进行相应操作时，虚拟场景往往与现场场景的差距过大，容易影响相应的用户体验。
技术实现思路
针对以上问题，本专利技术提出一种基于slam测绘方法的增强现实交互方法、计算机设备和存储介质。为实现本专利技术的目的，提供一种基于slam测绘方法的增强现实交互方法，包括如下步骤：S10，获取实际交互场景的视频图像；S20，从所述视频图像提取场景的交互图，根据slam测绘算法对场景的交互图像进行匹配拼接，生成交互场景的数字化地图；S30，根据交互用户输入的交互信息，将虚拟物体或者虚拟操作结果显示叠加在交互场景的数字化地图中，得到AR场景；S40，采集用户发出的交互动作所得到的执行数据，并获取执行交互动作所对应的真实位姿信息，采用slam方法对执行数据进行处理得到交互动作对应的估计位姿信息，根据估计位姿信息在AR场景中控制目标对象的姿态。在一个实施例中，根据slam测绘算法对场景的交互图像进行匹配拼接包括：根据选取的实际参照平面基准从交互图中提取场景的每帧图像数据，对每帧图像数据进行匹配和拼接。作为一个实施例，根据选取的实际参照平面基准从交互图中提取场景的每帧图像数据，对每帧图像数据进行匹配和拼接包括：利用图像特征提取识别方法，从已经采集到的每帧图像数据中，随机抽取k帧图像数据，提取图像中物体的特征数据，获取当前帧图像中的特征数据与k帧图像数据的特征数据之间的相似度，若相似度大于等于阈值γ，则将当前帧数据在已采集数据中存在，形成闭环，若相似度小于阈值γ，则返回执行从已经采集到的每帧图像数据中，随机抽取k帧图像数据的过程；如果k帧数据中未检测形成闭环，则将当前帧数据作为关键帧数据存储在采集数据的关键帧集合中。在一个实施例中，在采集用户发出的交互动作所得到的执行数据之后，还包括：识别用户发出的交互动作，对AR场景中的目标对象执行相应的操作，同时将操作输出到交互结果输出端进行显示。作为一个实施例，识别用户发出的交互动作，对AR场景中的目标对象执行相应的操作包括：如果用户发出的交互动作是数据采集设备的姿态或运动方向数据，则需要与采集设备进行通信执行相应的操作，同时将相应交互操作数据的执行结果数据跟理论数据进行误差计算，在误差超过一定容差范围时，进行纠偏操作。一种基于slam测绘方法的增强现实交互装置，包括：获取模块，用于获取实际交互场景的视频图像；提取模块，用于从所述视频图像提取场景的交互图，根据slam测绘算法对场景的交互图像进行匹配拼接，生成交互场景的数字化地图；叠加模块，用于根据交互用户输入的交互信息，将虚拟物体或者虚拟操作结果显示叠加在交互场景的数字化地图中，得到AR场景。采集模块，用于采集用户发出的交互动作所得到的执行数据，并获取执行交互动作所对应的真实位姿信息，采用slam方法对执行数据进行处理得到交互动作对应的估计位姿信息，根据估计位姿信息在AR场景中控制目标对象的姿态。在一个实施例中，所述提取模块进一步用于：根据选取的实际参照平面基准从交互图中提取场景的每帧图像数据，对每帧图像数据进行匹配和拼接。作为一个实施例，所述提取模块进一步用于：利用图像特征提取识别方法，从已经采集到的每帧图像数据中，随机抽取k帧图像数据，提取图像中物体的特征数据，获取当前帧图像中的特征数据与k帧图像数据的特征数据之间的相似度，若相似度大于等于阈值γ，则将当前帧数据在已采集数据中存在，形成闭环，若相似度小于阈值γ，则返回执行从已经采集到的每帧图像数据中，随机抽取k帧图像数据的过程；如果k帧数据中未检测形成闭环，则将当前帧数据作为关键帧数据存储在采集数据的关键帧集合中。一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例的基于slam测绘方法的增强现实交互方法的步骤。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例的基于slam测绘方法的增强现实交互方法的步骤。上述基于slam测绘方法的增强现实交互方法、装置、计算机设备和存储介质，通过获取实际交互场景的视频图像，从所述视频图像提取场景的交互图，根据slam测绘算法对场景的交互图像进行匹配拼接，生成交互场景的数字化地图，根据交互用户输入的交互信息，将虚拟物体或者虚拟操作结果显示叠加在交互场景的数字化地图中，得到AR场景，采集用户发出的交互动作所得到的执行数据，并获取执行交互动作所对应的真实位姿信息，采用slam方法对执行数据进行处理得到交互动作对应的估计位姿信息，根据估计位姿信息在AR场景中控制目标对象的姿态，以在AR场景对目标对象进行准确控制，缩小AR场景与相应现实场景之间的差距，提升相应的用户体验。附图说明图1是一个实施例的基于slam测绘方法的增强现实交互方法流程图；图2是另一个实施例的基于slam测绘方法的增强现实交互方法流程图；图3是一个实施例的基于slam测绘方法的增强现实交互装置结构示意图；图4是一个实施例的计算机设备示意图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。在一个实施例中，如图1所示，提供了一种基于slam测绘方法的增强现实交互方法，包括以下步骤：S10，获取实际交互场景的视频图像。S20，从所述视频图像提取场景的交互图，根据slam测绘算法对场景的交互图像进行匹配拼接，生成交互场景的数字化地图。S30，根据交互用户输入的交互信息，将虚拟物体或者虚拟操作结果显示叠加在交互场景的数字化地图中，得到AR场景。S40，采集用户发出的交互动作所得到的执行数据，并获取执行交互动作所对应的真实位姿信息，采用slam方法对执行数据进行处理得到交互动作对应的估计位姿信息，根据估计位姿信息在AR场景中控制目标对象的姿态。本实施例可以根据输入端获取的实际交互本文档来自技高网...

【技术保护点】
1.一种基于slam测绘方法的增强现实交互方法，其特征在于，包括如下步骤：/nS10，获取实际交互场景的视频图像；/nS20，从所述视频图像提取场景的交互图，根据slam测绘算法对场景的交互图像进行匹配拼接，生成交互场景的数字化地图；/nS30，根据交互用户输入的交互信息，将虚拟物体或者虚拟操作结果显示叠加在交互场景的数字化地图中，得到AR场景；/nS40，采集用户发出的交互动作所得到的执行数据，并获取执行交互动作所对应的真实位姿信息，采用slam方法对执行数据进行处理得到交互动作对应的估计位姿信息，根据估计位姿信息在AR场景中控制目标对象的姿态。/n

【技术特征摘要】
1.一种基于slam测绘方法的增强现实交互方法，其特征在于，包括如下步骤：
S10，获取实际交互场景的视频图像；
S20，从所述视频图像提取场景的交互图，根据slam测绘算法对场景的交互图像进行匹配拼接，生成交互场景的数字化地图；
S30，根据交互用户输入的交互信息，将虚拟物体或者虚拟操作结果显示叠加在交互场景的数字化地图中，得到AR场景；
S40，采集用户发出的交互动作所得到的执行数据，并获取执行交互动作所对应的真实位姿信息，采用slam方法对执行数据进行处理得到交互动作对应的估计位姿信息，根据估计位姿信息在AR场景中控制目标对象的姿态。


2.根据权利要求1所述的基于slam测绘方法的增强现实交互方法，其特征在于，在一个实施方式中，根据slam测绘算法对场景的交互图像进行匹配拼接包括：
根据选取的实际参照平面基准从交互图中提取场景的每帧图像数据，对每帧图像数据进行匹配和拼接。


3.根据权利要求2所述的基于slam测绘方法的增强现实交互方法，其特征在于，在一个实施方式中，根据选取的实际参照平面基准从交互图中提取场景的每帧图像数据，对每帧图像数据进行匹配和拼接包括：
利用图像特征提取识别方法，从已经采集到的每帧图像数据中，随机抽取k帧图像数据，提取图像中物体的特征数据，获取当前帧图像中的特征数据与k帧图像数据的特征数据之间的相似度，若相似度大于等于阈值γ，则将当前帧数据在已采集数据中存在，形成闭环，若相似度小于阈值γ，则返回执行从已经采集到的每帧图像数据中，随机抽取k帧图像数据的过程；如果k帧数据中未检测形成闭环，则将当前帧数据作为关键帧数据存储在采集数据的关键帧集合中。


4.根据权利要求1所述的基于slam测绘方法的增强现实交互方法，其特征在于，在一个实施方式中，在采集用户发出的交互动作所得到的执行数据之后，还包括：
识别用户发出的交互动作，对AR场景中的目标对象执行相应的操作，同时将操作输出到交互结果输出端进行显示。


5.根据权利要求4所述的基于slam测绘方法的增强现实交互方法，其特征在于，在一个实施方式中，识别用户发出的交互动作，对AR场景中的目标对象执行相应的操作包括：
如果用户发出的交互...

【专利技术属性】
技术研发人员：陈旋，周海，李芳芳，
申请(专利权)人：江苏艾佳家居用品有限公司，
类型：发明
国别省市：江苏;32