一种提示信息展示方法、装置、设备及存储介质制造方法及图纸

本公开提供了一种提示信息展示方法、装置、设备及存储介质，包括：获取AR设备拍摄的目标场景的实景图像；基于所述实景图像和预先建立的所述目标场景的三维场景模型，确定所述AR设备的位姿信息；其中，所述三维场景模型中标注有危险区域信息，所述危险区域信息通过预训练的语义分割模型进行识别；在检测到所述AR设备满足所述危险区域对应的危险提示信息的展示条件的情况下，输出提示信息以对用户进行提示。

【技术实现步骤摘要】
一种提示信息展示方法、装置、设备及存储介质
本公开涉及增强现实(AugmentedReality，AR)
，具体而言，涉及一种提示信息展示方法、装置、设备及存储介质。
技术介绍
随着AR技术的发展，AR技术已经逐渐应用到各行各业中。一般的，用户在观看AR展示画面时，用户所关注的内容在于AR展示画面中的虚拟物，沉浸感较强；然而这种方法容易导致用户在移动过程中，仅仅关注AR画面中的虚拟物而忽略当前所处的环境，进而导致危险事件的发生。例如，若位置点A处放置了一虚拟物，用户位于位置点B，从位置点B到位置点A之间存在台阶，用户在基于AR设备观看到位置点A的虚拟物之后，在向位置点A的移动过程中，可能会忽略现实场景中的台阶，进而发生跌倒等事故。
技术实现思路
本公开实施例至少提供一种提示信息展示方法、装置、设备及存储介质。第一方面，本公开实施例提供了一种提示信息展示方法，包括：获取AR设备拍摄的目标场景的实景图像；基于所述实景图像和预先建立的所述目标场景的三维场景模型，确定所述AR设备的位姿信息；其中，所述三维场景模型中标注有危险区域信息，所述危险区域信息通过预训练的语义分割模型进行识别；在检测到所述AR设备满足所述危险区域对应的危险提示信息的展示条件的情况下，输出提示信息以对用户进行提示。基于上述方法，可以基于语义分割模型在三维场景模型中标注危险区域信息，并在危险区域添加对应的危险提示信息，这样，在检测到AR设备满足危险区域对应的危险提示信息的展示条件的情况下，可以输出提示信息对用户进行提示，一方面，基于语义分割模型为三维场景模型添加危险区域标注，可以实现对于三维场景模型中危险区域的自动识别，基于添加了危险区域标注的三维场景模型，可以准确检测用户是否位于危险区域；另一方面，通过AR设备输出提示信息，丰富了提示信息的展示方式，也降低了用户在观看AR画面的过程中发生危险的概率，提升了用户观看AR画面时的安全性。一种可能的实施方式中，基于以下方法检测所述AR设备是否满足所述危险区域对应的危险提示信息的展示条件：基于所述实景图像中的特征点，查找所述三维场景模型中与所述特征点对应的匹配特征点；若查找到的所述匹配特征点标注有所述危险区域信息，则确定所述AR设备满足所述危险区域对应的危险提示信息的展示条件。若与实景图像中的特征点对应的匹配特征点标注有危险区域信息，则说明AR设备当前的位置距离危险区域较近，确定AR设备满足危险区域对应的危险提示信息的展示条件，可以在用户到达危险区域之前为用户展示危险提示信息，提高了AR画面展示过程中用户的安全性。一种可能的实施方式中，基于以下方法检测所述AR设备是否满足所述危险区域对应的危险提示信息的展示条件：当基于所述AR设备的位姿信息，确定所述AR设备与所述危险区域信息指示的危险区域之间的相对位姿关系满足预设条件的情况下，确定所述AR设备满足所述危险区域对应的危险提示信息的展示条件。一种可能的实施方式中，根据以下方法建立标注有危险区域信息所述三维场景模型：获取所述目标场景对应的全景图像，并基于所述全景图像，建立三维场景模型；基于训练的用于识别危险区域的语义分割模型对所述三维场景模型进行危险区域识别并进行标注。基于训练的语义分割模型对三维场景模型进行危险区域识别并进行自动标注，一方面可以精确的识别出三维场景模型中的危险区域，另一方面，避免了人工进行标注的过程，提高了标注效率。一种可能的实施方式中，在建立所述三维场景模型之后，所述方法还包括：基于所述三维场景模型中标注的危险区域信息所指示的危险区域，在所述三维场景模型中添加与该危险区域相匹配的危险提示信息。不同的危险区域可能需要用户执行不同的处理动作，因此为不同的危险区域，展示与该危险区域相匹配的危险提示信息，可以提升危险提示信息的提示效果。一种可能的实施方式中，基于训练的用于识别危险区域的语义分割模型对所述三维场景模型进行危险区域识别并进行标注，包括：基于所述目标场景对应的全景图像，确定所述目标场景中的各个位置区域对应的区域图像；以及基于所述三维场景模型，确定各个位置区域在所述三维场景模型中对应的点云点；基于预先训练的语义分割模型，检测每一张所述区域图像中是否包含危险区域；若是，则为所述三维场景模型中与所述区域图像中的危险区域对应的点云点标注危险区域信息。一种可能的实施方式中，所述危险提示信息为AR提示信息；所述在检测到所述AR设备满足所述危险区域对应的危险提示信息的展示条件的情况下，输出提示信息以对用户进行提示，包括：在检测到所述AR设备满足所述危险区域对应的危险提示信息的展示条件的情况下，基于所述AR设备的位姿信息，将所述危险提示信息与所述实景图像融合，并通过所述AR设备展示融合后的实景图像。一种可能的实施方式中，所述基于所述实景图像和预先建立的所述目标场景的三维场景模型，确定所述AR设备的位姿信息，包括：基于所述实景图像中的特征点，查找所述三维场景模型中与所述特征点对应的匹配特征点；基于所述匹配特征点对应的世界坐标系下的坐标信息，以及所述匹配特征点在所述实景图像对应的图像坐标系下的坐标信息，确定所述AR设备的位姿信息。第二方面，本公开实施例还提供一种提示信息展示装置，包括：获取模块，用于获取AR设备拍摄的目标场景的实景图像；确定模块，用于基于所述实景图像和预先建立的所述目标场景的三维场景模型，确定所述AR设备的位姿信息；其中，所述三维场景模型中标注有危险区域信息，所述危险区域信息通过预训练的语义分割模型进行识别；提示模块，用于在检测到所述AR设备满足所述危险区域对应的危险提示信息的展示条件的情况下，输出提示信息以对用户进行提示。一种可能的实施方式中，所述提示模块，用于基于以下方法检测所述AR设备是否满足所述危险区域对应的危险提示信息的展示条件：基于所述实景图像中的特征点，查找所述三维场景模型中与所述特征点对应的匹配特征点；若查找到的所述匹配特征点标注有所述危险区域信息，则确定所述AR设备满足所述危险区域对应的危险提示信息的展示条件。一种可能的实施方式中，所述提示模块，用于基于以下方法检测所述AR设备是否满足所述危险区域对应的危险提示信息的展示条件：当基于所述AR设备的位姿信息，确定所述AR设备与所述危险区域信息指示的危险区域之间的相对位姿关系满足预设条件的情况下，确定所述AR设备满足所述危险区域对应的危险提示信息的展示条件。一种可能的实施方式中，所述装置还包括建立模块，用于根据以下方法建立标注有危险区域信息所述三维场景模型：获取所述目标场景对应的全景图像，并基于所述全景图像，建立三维场景模型；基于训练的用于识别危险区域的语义分割模型对所述三维场景模型进行危险区域识别并进行标注。一种可能的实施方式中，所述建立模块，在建立所述三维场景本文档来自技高网...

【技术保护点】
1.一种提示信息展示方法，其特征在于，包括：/n获取AR设备拍摄的目标场景的实景图像；/n基于所述实景图像和预先建立的所述目标场景的三维场景模型，确定所述AR设备的位姿信息；其中，所述三维场景模型中标注有危险区域信息，所述危险区域信息通过预训练的语义分割模型进行识别；/n在检测到所述AR设备满足所述危险区域对应的危险提示信息的展示条件的情况下，输出提示信息以对用户进行提示。/n

【技术特征摘要】
1.一种提示信息展示方法，其特征在于，包括：
获取AR设备拍摄的目标场景的实景图像；
基于所述实景图像和预先建立的所述目标场景的三维场景模型，确定所述AR设备的位姿信息；其中，所述三维场景模型中标注有危险区域信息，所述危险区域信息通过预训练的语义分割模型进行识别；
在检测到所述AR设备满足所述危险区域对应的危险提示信息的展示条件的情况下，输出提示信息以对用户进行提示。


2.根据权利要求1所述的方法，其特征在于，基于以下方法检测所述AR设备是否满足所述危险区域对应的危险提示信息的展示条件：
基于所述实景图像中的特征点，查找所述三维场景模型中与所述特征点对应的匹配特征点；
若查找到的所述匹配特征点标注有所述危险区域信息，则确定所述AR设备满足所述危险区域对应的危险提示信息的展示条件。


3.根据权利要求1所述的方法，其特征在于，基于以下方法检测所述AR设备是否满足所述危险区域对应的危险提示信息的展示条件：
当基于所述AR设备的位姿信息，确定所述AR设备与所述危险区域信息指示的危险区域之间的相对位姿关系满足预设条件的情况下，确定所述AR设备满足所述危险区域对应的危险提示信息的展示条件。


4.根据权利要求1～3任一所述的方法，其特征在于，还包括：建立标注有危险区域信息所述三维场景模型，包括：
获取所述目标场景对应的全景图像，并基于所述全景图像，建立三维场景模型；
基于训练的用于识别危险区域的语义分割模型对所述三维场景模型进行危险区域识别并进行标注。


5.根据权利要求4所述的方法，其特征在于，在建立所述三维场景模型之后，所述方法还包括：
基于所述三维场景模型中标注的危险区域信息所指示的危险区域，在所述三维场景模型中添加与该危险区域相匹配的危险提示信息。


6.根据权利要求4所述的方法，其特征在于，基于训练的用于识别危险区域的语义分割模型对所述三维场景模型进行危险区域识别并进行标注，包括：
基于所述目标场景对应的全景图像，确定所述目标场景中的各个位置区域对应的区域图像；以及基于所述三维场景模型，确定各个位置区域在所述三维场景模型中对...

【专利技术属性】
技术研发人员：李宇飞，张建博，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：浙江;33