面向移动端虚拟现实与增强现实的场景图谱生成方法技术

本发明专利技术提供面向移动端虚拟现实和增强现实的场景图谱生成方法，涉及场景图谱领域。包括：利用场景图谱样本集，提取视觉关系组合、常识信息；通过目标检测模型检测出图像中物体的物体框及其物体类别；获取与物体对应的语义信息，根据常识信息进一步构造常识知识图，生成视觉关系f1；提取物体框区域的视觉信息，生成视觉关系f2；结合常识信息和视觉信息，通过注意力机制将f1、f2结合，生成场景图谱，获得并优化场景图谱生成模型。本发明专利技术在移动端运行场景图谱生成模型，能快速识别虚拟现实或增强现实画面中目标物体及物体之间的关系，相比服务器端检测具有更高的检测效率，为面向移动端虚拟现实和增强现实进行场景图谱生成提供技术可行性。

Scene map generation method for mobile virtual reality and augmented reality

【技术实现步骤摘要】
面向移动端虚拟现实与增强现实的场景图谱生成方法
本专利技术涉及场景图谱表示学习相关领域，更具体地，涉及面向移动端虚拟现实与增强现实的场景图谱生成方法。
技术介绍
随着移动设备的普及和其计算能力的提高，在移动设备中虚拟现实与增强现实应用也随之发展。虚拟现实是利用计算机生成的一种模拟环境，使用户沉浸到该环境中。增强现实技术使现实世界信息和虚拟世界信息内容综合在一起，被人类感官所感知，从而实现超越现实的感官体验。为了使虚拟现实和增强现实的系统更好地被人类感知，系统有必要对现实世界进行理解，场景图谱是机器对现实世界图像进行理解的关键步骤。从现实场景对应的场景图谱中抽象出视觉关系，有利于机器对现实场景的理解。图像场景图谱是对一幅图像所描绘场景的抽象的、结构化的表示。具体来说，图像场景图谱以图像场景图谱视觉关系组合(主语物体、关系谓词、宾语物体)的方式记录了图像中的两个物体以及两个物体之间的关系，并且每个物体在图像中都有一个对应的物体框和物体类别。图像场景图谱最先由Johnson等人提出，近来在计算机视觉和人工智能领域受到了关注。其中视觉关系组合对图像理解、图像描述等任务有很大的帮助。以往的场景图谱生成方法，大多是利用图像的视觉信息，没有充分利用到与图像相关的一些常识信息，这些常识信息有利于为我们对图像上物体关系的理解，所以本专利技术提出了一个基于常识知识图的场景图谱生成方法，该方法结合了图像的视觉信息和收集的常识信息进行场景图谱生成。随着神经网络的发展和移动终端的普及，移动终端可以应用一些神经网络模型，与虚拟现实和增强现实技术结合，使得用户能有更好的体验。在移动端虚拟现实和增强现实场景下进行场景图谱生成，有助于机器对图像场景的理解，为后续有关图像问答、图像理解等技术提供支持。本专利技术为面向移动端虚拟现实和增强现实进行场景图谱生成提供技术可行性。
技术实现思路
为了解决现有技术所存在的问题，本专利技术提供面向移动端虚拟现实与增强现实的图像场景图谱生成方法，在移动端运行场景图谱生成模型，能够快速识别虚拟现实或增强现实画面中目标物体及物体之间的关系，相比服务器端的检测，具有更高的检测效率。本专利技术的技术方案如下：面向移动端虚拟现实与增强现实的图像场景图谱生成方法，包括以下步骤：S1、利用场景图谱样本集，提取并统计视觉关系组合，提取常识信息；S2、通过训练好的目标检测模型检测出场景图谱样本集图像中的物体，生成若干个候选区域，并预测出候选区域对应的物体类别；S3、根据步骤S2得到的物体类别获取与物体对应的语义信息，再根据步骤S1所提取的常识信息，进一步构造常识知识图，生成初步的视觉关系f1；S4、通过神经网络模型提取所述候选区域的视觉信息，包括视觉特征、空间特征和语义特征，生成初步的视觉关系f2；S5、结合视觉信息和常识信息，通过注意力机制，将初步的视觉关系f1、初步的视觉关系f2的检测结果结合，进行场景图谱生成，并得到场景图谱生成模型；S6、虚拟现实与增强现实系统包括移动端、计算机显示终端，对得到的场景图谱生成模型进行常识知识图和模型参数的优化，从而获取能够嵌入移动端的模型；以现实场景图像作为输入，并传输给计算及显示终端；计算及显示终端接收到现实场景图像，进行场景图谱生成，抽取对应现实场景图的视觉关系，叠加在现实场景图像中，获得当前现实或虚拟场景的场景图谱。与现有技术相比，本专利技术技术方案的有益效果是：在移动端虚拟现实与增强现实系统中应用场景图谱生成有利于系统对虚拟世界或现实世界的理解，有助于现实世界与虚拟世界的交互。所述场景图谱生成方法不仅利用了图像的视觉信息，还充分利用了数据集视觉关系组合隐藏的常识信息，通过结合注意力机制，生成图像场景图谱，能够提高图像场景图谱表示学习的效果。更进一步的，针对场景图谱生成模型的特点对模型进行优化，生成适用于移动端的场景图谱生成模型，可以缩小模型大小，并且提高模型的推理速度，为面向移动端虚拟现实和增强现实进行场景图谱生成提供技术可行性。附图说明图1为本专利技术实施例提供的场景图谱生成方法的流程示意图；图2为本专利技术实施例提供的场景图谱生成的框架中视觉信息的框架示意图；图3为本专利技术实施例提供的面向移动端虚拟现实与增强现实的场景图谱生成方法的流程示意图。具体实施方式下面结合附图和实施例对本专利技术做详细描述，可以理解的是，在本专利技术所描述的具体示例性实施方式仅用于解释本专利技术，而非对本专利技术进行限定，本专利技术的实施方式并不限于此。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分。对于本领域普通技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。本实施例的面向移动端虚拟现实与增强现实的场景图谱生成方法，样本集中的所有的图像记为所有的物体类别记为所有的关系类别记为输入图像I的场景图谱(所有的视觉关系组合)记为输入图像I的物体集合记为一条视觉关系组合记为其中本专利技术结合图像信息以及常识信息完成图像场景图谱生成任务。如图1所示，包括以下步骤：步骤1、利用场景图谱样本集，提取并统计视觉关系组合，提取常识信息；在场景图谱样本集中，一条视觉关系组合标记为(s,p,o)，其中s代表主语物体，o代表宾语物体，p代表关系谓词；S11、将场景图谱样本集进行采样得到样本数据集，作为场景图谱生成方法的输入；S12、提取样本数据集中的视觉关系组合，对视觉关系组合进行统计，根据样本数据集里的视觉关系组合提取出常识信息，构建常识图其中λ表示标记函数,表示两个物体之间的关系的一个条件概率：式中，表示两个物体之间的关系，表示物体类别。步骤2、通过训练好的目标检测模型检测出样本数据集上的图像I上的物体以及生成若干个物体框，并预测出物体框对应的物体类别；S21、首先对样本数据集中的图像用训练好的目标检测模型生成若干个候选区域，也就是物体框，并且预测出候选区域对应的物体类别。该步骤可以使用神经网络目标检测框架来实现。S22、基于步骤S21，提取出物体框，记为b＝(xmin,ymin,xmax,ymax)，其中xmin和ymin表示物体框左上角的坐标，xmax和ymax表示物体框右下角的坐标；S23、预测每个物体框对应的物体类别c；对于每个物体，表示为o＝(c,b)，其中c表示物体类别，b表示物体框，为后面步骤进行特征编码做准备。步骤3、根据步骤2得到的物体类别获取与物体对应的语义信息，再根据步骤1所提取的常识信息，进一步构造常识图，生成初步的视觉关系f1；本步骤所生成的初步的视觉关系f1与常识信息有关。本步骤将视觉关系组合的统计作为输入，根据步骤S2得到的物体类别c来获取与物体对应的语义信息，且语义信息也作为常识信息，再结合步骤1所提取的常识信息，进一步构造常识知识图，获得初步的视觉关系f1。其中视觉关系通过视觉关系组合的形式表示，即(s,p,o)，每个视觉关系组合对应一个概率，筛选出比阈值大的视觉本文档来自技高网...

【技术保护点】
1.面向移动端虚拟现实和增强现实的场景图谱生成方法，其特征在于，包括以下步骤：/nS1、利用场景图谱样本集，提取并统计视觉关系组合，提取常识信息；/nS2、通过训练好的目标检测模型检测出输入场景图谱样本集图像中的物体，生成若干个物体框，并预测出物体框对应的物体类别；/nS3、根据步骤S2得到的物体类别获取与物体对应的语义信息，再根据步骤S1所提取的常识信息，进一步构造常识知识图，生成初步的视觉关系f1；/nS4、通过神经网络模型提取所述物体框的视觉信息，包括视觉特征、空间特征和语义特征，生成初步的视觉关系f2；/nS5、结合视觉信息和常识信息，通过注意力机制，将初步的视觉关系f1、初步的视觉关系f2的检测结果结合，进行场景图谱生成，并得到场景图谱生成模型；/nS6、虚拟现实与增强现实系统包括移动端、计算机显示终端，对得到的场景图谱生成模型进行常识知识图和模型参数的优化，从而获取能够嵌入移动端的模型，以现实场景图像作为输入，并传输给计算及显示终端；计算及显示终端接收到现实场景图像，进行场景图谱生成，抽取对应现实场景图的视觉关系，叠加在现实场景图像中，获得当前现实或虚拟场景的场景图谱。/n

【技术特征摘要】
1.面向移动端虚拟现实和增强现实的场景图谱生成方法，其特征在于，包括以下步骤：
S1、利用场景图谱样本集，提取并统计视觉关系组合，提取常识信息；
S2、通过训练好的目标检测模型检测出输入场景图谱样本集图像中的物体，生成若干个物体框，并预测出物体框对应的物体类别；
S3、根据步骤S2得到的物体类别获取与物体对应的语义信息，再根据步骤S1所提取的常识信息，进一步构造常识知识图，生成初步的视觉关系f1；
S4、通过神经网络模型提取所述物体框的视觉信息，包括视觉特征、空间特征和语义特征，生成初步的视觉关系f2；
S5、结合视觉信息和常识信息，通过注意力机制，将初步的视觉关系f1、初步的视觉关系f2的检测结果结合，进行场景图谱生成，并得到场景图谱生成模型；
S6、虚拟现实与增强现实系统包括移动端、计算机显示终端，对得到的场景图谱生成模型进行常识知识图和模型参数的优化，从而获取能够嵌入移动端的模型，以现实场景图像作为输入，并传输给计算及显示终端；计算及显示终端接收到现实场景图像，进行场景图谱生成，抽取对应现实场景图的视觉关系，叠加在现实场景图像中，获得当前现实或虚拟场景的场景图谱。


2.根据权利要求1所述的面向移动端虚拟现实和增强现实的场景图谱生成方法，其特征在于，步骤S1所利用的场景图谱样本集中，视觉关系组合标记为(s,p,o)，其中s代表主语物体，o代表宾语物体，p代表关系谓词。


3.根据权利要求1所述的面向移动端虚拟现实和增强现实的场景图谱生成方法，其特征在于，步骤S1包括：
S11、将场景图谱样本集进行采样得到样本数据集，作为场景图谱生成方法的输入；
S12、提取样本数据集中的视觉关系组合，对视觉关系组合进行统计，根据样本数据集合里的视觉关系组合提取出常识信息，构建常识知识图其中λ表示标记函数,表示两个物体之间的关系的一个条件概率：



式中，表示两个物体之间的关系，cs、表示物体类别。


4.根据权利要求1所述的面向移动端虚拟现实和增强现实的场景图谱生成方法，其特征在于，步骤S1将场景图谱样本集进行采样得到样本数据集，作...

【专利技术属性】
技术研发人员：万海，欧佳玲，曾娟，王宝亿，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44