增强现实的数据处理方法、装置、存储介质和计算机设备制造方法及图纸

本申请涉及一种增强现实的数据处理方法、装置、存储介质和计算机设备，所述方法包括：定期对当时所采集的现实场景的图像帧进行标记物识别；向管理地图集添加新识别的标记物的特征地图；在采集的图像帧中根据所述特征地图检测标记物成功时，得到相应标记物的位姿；分别根据管理地图集中每个特征地图和相应标记物的位姿，于在检测标记物成功的图像帧后采集的图像帧中跟踪标记物；输出跟踪到的标记物的位姿；输出的位姿，用于确定与跟踪到的标记物对应的虚拟对象的位姿，并按照确定的位姿在相应图像帧中叠加所述虚拟对象。本申请提供的方案可以用较小的代价实现基于多标记物的增强现实。

Augmented reality data processing methods, devices, storage media and computer equipment

The present application relates to an augmented reality data processing method, apparatus, storage medium and computer equipment, comprising: marker identification of the image frames of the real scene captured at that time on a regular basis; feature maps of newly recognized markers added to the management atlas; and feature maps based on the features in the captured image frames. The position and posture of the corresponding marker are obtained when the marker is successfully detected on the feature map; the marker is tracked in the image frame captured after the successful image frame of the marker is detected according to the position and posture of each feature map and the corresponding marker in the management atlas; the position and posture of the tracked marker are output; and the posture of the output is used to determine the position and posture of the marker. The posture of the virtual object corresponding to the tracked marker is superimposed on the corresponding image frame according to the determined posture. The scheme provided by this application can achieve multi marker augmented reality at a lower cost.

【技术实现步骤摘要】
增强现实的数据处理方法、装置、存储介质和计算机设备
本申请涉及增强现实
，特别是涉及一种增强现实的数据处理方法、装置、存储介质和计算机设备。
技术介绍
随着硬件能力的提升和图像处理技术的不断发展，出现了增强现实技术。增强现实技术可以在现实场景的图像上叠加虚拟对象，从视觉上呈现虚拟和现实相结合的应用场景。目前增强现实技术可以基于标记物(marker)实现，即marker-based实现方式。此实现方式需要事先准备好标记物放置在现实场景中，采集现实场景的图像帧，当从图像帧中检测到标记物时，就可以基于图像帧中标记物的形态在图像帧中放置虚拟对象。然而，目前增强现实的实现方式对硬件要求比较高，目前的手机等终端一般仅能够基于单个标记物实现增强现实，难以基于多标记物实现增强现实。
技术实现思路
基于此，有必要针对目前难以基于多标记物实现增强现实的技术问题，提供一种增强现实的数据处理方法、装置、计算机可读存储介质和计算机设备。一种增强现实的数据处理方法，包括：定期对当时所采集的现实场景的图像帧进行标记物识别；向管理地图集添加新识别的标记物的特征地图；在采集的图像帧中根据所述特征地图检测标记物成功时，得到相应标记物的位姿；分别根据管理地图集中每个特征地图和相应标记物的位姿，于在检测标记物成功的图像帧后采集的图像帧中跟踪标记物；输出跟踪到的标记物的位姿；输出的位姿，用于确定与跟踪到的标记物对应的虚拟对象的位姿，并按照确定的位姿在相应图像帧中叠加所述虚拟对象。一种增强现实的数据处理装置，包括：识别模块，用于定期对当时所采集的现实场景的图像帧进行标记物识别；地图管理模块，用于向管理地图集添加新识别的标记物的特征地图；检测模块，用于在采集的图像帧中根据所述特征地图检测标记物成功时，得到相应标记物的位姿；跟踪模块，用于分别根据管理地图集中每个特征地图和相应标记物的位姿，于在检测标记物成功的图像帧后采集的图像帧中跟踪标记物；输出跟踪到的标记物的位姿；输出的位姿，用于确定与跟踪到的标记物对应的虚拟对象的位姿，并按照确定的位姿在相应图像帧中叠加所述虚拟对象。一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行一种增强现实的数据处理方法。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行一种增强现实的数据处理方法。上述增强现实的数据处理方法、装置、计算机可读存储介质和计算机设备，定期进行标记物识别，从而将出现的标记物的特征地图添加到管理地图集中，从而不断发现新出现的标记物。这样当采集的图像帧中出现多个标记物时，多个标记物的特征地图就会添加到管理地图集中，尽量能够覆盖更多的标记物。经过标记物检测后，就可以基于管理地图集和通过检测得到的标记物的位姿进行持续的标记物跟踪，输出跟踪到的标记物的位姿以实现增强现实。标记物跟踪的效率比标记物检测的效率高很多，通过标记物定期识别、标记物检测和标记物跟踪的配合，能够用较小的代价实现基于多标记物的增强现实。附图说明图1为一个实施例中增强现实的数据处理方法的应用环境图；图2为一个实施例中增强现实的数据处理方法的流程示意图；图3为一个实施例中定期获取服务器从现实场景的图像帧中新识别到的标记物的特征地图的步骤的流程示意图；图4为一个实施例中定期根据本地标记物数据库对当时所采集的图像帧进行标记物识别的步骤的流程示意图；图5为一个实施例中跟踪标记物失败时触发标记物检测并继续跟踪标记物的步骤的流程示意图；图6为一个实施例中增强现实的数据处理方法的流程示意图的流程示意图；图7为一个实施例中增强现实的数据处理系统的架构图；图8为一个实施例中不同线程配合实现增强现实的数据处理方法的示意图；图9为另一个应用场景中现实场景的示意图；图10为一个应用场景中移动终端上实现增强现实以及相应管理地图集变化的示意图；图11为一个实施例中增强现实的数据处理装置的结构框图；图12位另一个实施例中增强现实的数据处理装置的结构框图；图13为一个实施例中计算机设备的结构框图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。图1为一个实施例中增强现实的数据处理方法的应用环境图。参照图1，该增强现实的数据处理方法应用于增强现实的数据处理系统。该增强现实的数据处理系统包括：终端110和服务器120。终端110和服务器120通过网络连接。终端110具体可以是台式终端或移动终端，移动终端具体可以是手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。如图2所示，在一个实施例中，提供了一种增强现实的数据处理方法。本实施例主要以该方法应用于上述图1中的终端110来举例说明。参照图2，该增强现实的数据处理方法具体包括如下步骤：步骤S202，定期对当时所采集的现实场景的图像帧进行标记物识别。定期表示周期性地执行动作，比如每隔设定的时长执行动作或者每到设定的时间点执行动作。设定的时长可以动态调整。定期的周期可按照时间长度来衡量，也可以按照间隔的图像帧数量来衡量。图像帧可按照固定帧率采集。当时所采集的现实场景的图像帧，是定期执行标记物识别的动作的时刻所采集到的现实场景的图像帧。标记物识别是从图像帧中识别出是否存在标记物的过程。标记物可以是二维图像或者三维物体，标记物可用来确定终端的位姿，从而确定虚拟对象的位姿。标记物可以采用可容纳信息的规范化图形表示；该规范化图形包括用于定位该种图形的定位特征，还包括信息容纳区域，信息在信息容纳区域的图像表达形式可根据预先定义的编码规则填充。在一个实施例中，终端可每隔设定的图像帧数量或者每隔设定的时长，对当时从现实场景采集的图像帧进行标记物识别。在一个实施例中，终端可定期根据本地标记物数据库对当时所采集的图像帧进行标记物识别；此种情况下，步骤S202可由检测线程执行。在一个实施例中，终端可定期通过服务器上的云端标记物数据库对终端当时所采集的图像帧进行标记物识别；此种情况下，步骤S202可由云识别线程执行。云端标记物数据库所覆盖的标记物，多于本地标记物数据库所覆盖的标记物。在一个实施例中，对图像帧进行标记物识别，具体可以对图像帧进行语义分割，得到不同的图形区域。提取图形区域的特征描述子，分别计算提取的特征描述子与标记物数据库中的每个标记物特征描述子间的相似度，选取计算到的相似度中最大相似度。若最大的相似度高于或等于预设相似度，则表示从图像帧中识别到标记物；若最大的相似度低于预设相似度，则表示未从图像帧中识别到标记物。一个图像的特征描述子，表示该图像的特征。特征描述子可以是向量形式。特征描述子可以采用SIFT(Scale-invariantfeaturetransform，尺度不变特征变换)描述子、SURF(SpeededUpRobustFeatures，加速稳健特征)描述子、LBP(LocalBinaryPattern),局部二值模式)描述子或HOG(HistogramofOrientedGradient，方向梯度直方图)描述子。本文档来自技高网...

【技术保护点】
1.一种增强现实的数据处理方法，包括：定期对当时所采集的现实场景的图像帧进行标记物识别；向管理地图集添加新识别的标记物的特征地图；在采集的图像帧中根据所述特征地图检测标记物成功时，得到相应标记物的位姿；分别根据管理地图集中每个特征地图和相应标记物的位姿，于在检测标记物成功的图像帧后采集的图像帧中跟踪标记物；输出跟踪到的标记物的位姿；输出的位姿，用于确定与跟踪到的标记物对应的虚拟对象的位姿，并按照确定的位姿在相应图像帧中叠加所述虚拟对象。

【技术特征摘要】
1.一种增强现实的数据处理方法，包括：定期对当时所采集的现实场景的图像帧进行标记物识别；向管理地图集添加新识别的标记物的特征地图；在采集的图像帧中根据所述特征地图检测标记物成功时，得到相应标记物的位姿；分别根据管理地图集中每个特征地图和相应标记物的位姿，于在检测标记物成功的图像帧后采集的图像帧中跟踪标记物；输出跟踪到的标记物的位姿；输出的位姿，用于确定与跟踪到的标记物对应的虚拟对象的位姿，并按照确定的位姿在相应图像帧中叠加所述虚拟对象。2.根据权利要求1所述的方法，其特征在于，所述在采集的图像帧中根据所述特征地图检测标记物成功时，得到相应标记物的位姿，由检测线程执行；所述分别根据管理地图集中每个特征地图和相应标记物的位姿，于在检测标记物成功的图像帧后采集的图像帧中跟踪标记物，以及所述输出跟踪到的标记物的位姿，由与所述检测线程相互独立的跟踪线程执行。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：定期获取服务器从现实场景的图像帧中新识别到的标记物的特征地图；将所述服务器新识别的标记物的特征地图添加到本地标记物数据库；所述定期对当时所采集的现实场景的图像帧进行标记物识别包括：定期根据本地标记物数据库对当时所采集的图像帧进行标记物识别。4.根据权利要求3所述的方法，其特征在于，所述定期获取服务器从现实场景的图像帧中新识别到的标记物的特征地图包括：定期向服务器发送对当时采集的图像帧进行标记物识别的云识别请求；接收服务器在根据云端标记物数据库新识别到标记物时反馈的识别结果；根据所述识别结果，将所述服务器新识别到的标记物的特征地图添加到本地标记物数据库。5.根据权利要求4所述的方法，其特征在于，所述识别结果包括所述服务器新识别到的标记物的标记物标识；所述根据所述识别结果，将所述服务器新识别到的标记物的特征地图添加到本地标记物数据库包括：向所述服务器发送携带所述标记物标识的查询请求；接收所述服务器所反馈的与所述标记物标识对应的特征地图；将接收到的特征地图添加到本地标记物数据库。6.根据权利要求3所述的方法，其特征在于，所述定期根据本地标记物数据库对当时所采集的图像帧进行标记物识别，及所述在采集的图像帧中根据所述特征地图检测标记物成功时，得到相应标记物的位姿，由检测线程执行；所述向管理地图集添加新识别的标记物的特征地图，由地图管理线程执行；所述分别根据管理地图集中每个特征地图和相应标记物的位姿，于在检测标记物成功的图像帧后采集的图像帧中跟踪标记物，以及所述输出跟踪到的标记物的位姿，由跟踪线程执行；所述定期获取服务器从现实场景的图像帧中新识别到的标记物的特征地图，以及所述将所述服务器新识别的标记物的特征地图添加到本地标记物数据库，由云识别线程执行；所述云识别线程、所述检测线程、所述跟踪线程和所述地图管理线程相互独立运行。7.根据权利...

【专利技术属性】
技术研发人员：伍敏慧，解洪文，
申请(专利权)人：广州腾讯科技有限公司，
类型：发明
国别省市：广东,44