展品导览方法及相关装置、移动终端和存储介质制造方法及图纸

本申请公开了一种展品导览方法及相关装置、移动终端和存储介质，其中，展品导览方法包括：响应于在移动终端的拍摄画面中识别到目标展品，对拍摄画面进行检测，得到拍摄画面中目标展品的关键部位的图像位置；其中，目标展品为预先设有讲解数据的展品，且讲解数据包括目标展品各个关键部位的讲解信息；在图像位置处，显示AR指示标识；响应于用户触发AR指示标识，输出关键部位的讲解信息。上述方案，能够提升导览体验。升导览体验。升导览体验。

【技术实现步骤摘要】
展品导览方法及相关装置、移动终端和存储介质


[0001]本申请涉及计算机视觉
，特别是涉及一种展品导览方法及相关装置、移动终端和存储介质。

技术介绍

[0002]目前，通常由人工讲解来进行导览，成本较高。随着电子信息技术的发展，通过扫码、语音讲解器等方式来进行语音讲解，以实现导览，受到越来越多的欢迎。
[0003]然而，无论是扫码的方式，还是语音讲解器的方式，在导览过程中均鲜有交互，互动体验较差。故此，如何提升导览体验成为亟待解决的问题。

技术实现思路

[0004]本申请提供一种展品导览方法及相关装置、移动终端和存储介质。
[0005]本申请第一方面提供了一种展品导览方法，包括：响应于在移动终端的拍摄画面中识别到目标展品，对拍摄画面进行检测，得到拍摄画面中目标展品的关键部位的图像位置；其中，目标展品为预先设有讲解数据的展品，且讲解数据包括目标展品各个关键部位的讲解信息；在图像位置处，显示AR指示标识；响应于用户触发AR指示标识，输出关键部位的讲解信息。
[0006]因此，响应于在移动终端的拍摄画面中识别到目标展品，对拍摄画面进行检测，得到拍摄画面中目标展品的关键部位的图像位置，且目标展品为预先设有讲解数据的展品，讲解数据包括目标展品各个关键部位的讲解信息，基于此在图像位置处显示AR指示标识，并响应于用户触发AR指示标识，输出关键部位的讲解信息，故在展品导览过程中，用户能够通过移动终端拍摄展品进行识别，并在识别为目标展品的情况下，通过目标展品的关键部位在拍摄画面中图像位置上显示AR指示标识来与用户进行交互互动，从而能够通过互动触发讲解的交互形式实现展品导览，并提升讲解效率，进而能够提升导览体验。
[0007]其中，在响应于在移动终端的拍摄画面中识别到目标展品，对拍摄画面进行检测，得到拍摄画面中目标展品的关键部位的图像位置之前，还包括：将拍摄画面分别与各个展品模型进行匹配，得到匹配结果；其中，匹配结果包括：当前展品分别与各个展品模型的匹配度；基于匹配结果进行分析，得到拍摄画面的识别结果；其中，识别结果包括：当前展品是否为目标展品。
[0008]因此，将拍摄画面分别与各个展品模型进行匹配，得到匹配结果，且匹配结果包括当前展品分别与各个展品模型的匹配度，再基于匹配结果进行分析，得到拍摄画面的识别结果，且识别结果包括当前展品是否为目标展品，从而能够通过模型匹配的方式识别拍摄画面中是否存在目标展品，进而能够有利于提升展品识别的准确性。
[0009]其中，基于匹配结果进行分析，得到拍摄画面的识别结果，包括：响应于最大匹配度高于预设阈值，将最大匹配度对应的展品模型所属展品作为目标展品，并确定识别结果包括当前展品为目标展品。
[0010]因此，在最大匹配度大于预设阈值的情况下，将最大匹配度对应的展品模型所属展品作为目标展品，并确定识别结果包括当前展品为目标展品，故能够在展品识别过程中，筛选出与当前展品匹配度最大，且匹配度大于预设阈值的展品模型，并基于此确定出目标展品以及识别结果，故有利于进一步提升识别目标展品的准确性。
[0011]其中，展品模型所属展品包含若干关键部位，展品模型在关键部位对应的模型位置上标记有关键部位的讲解信息。
[0012]因此，展品模型所属展品包含若干关键部位，且展品模型在关键部位对应的模型位置上标记有关键部位的讲解信息，从而后续能够直接根据标记有讲解信息的模型位置来检测拍摄画面中的关键部位，并直接从展品模型获取关键部位的讲解信息，即检测关键部位和获取讲解信息均能够基于展品模型实现，有利于提升展品导览的效率。
[0013]其中，目标展品有多个关键部位，方法还包括：响应于存在未被检测到的关键部位，输出第一提示；其中，第一提示用于提示调整移动终端的拍摄位姿，以拍摄到未被检测到的关键部位。
[0014]因此，目标展品有多个关键部位，并响应于存在未被检测到的关键部位，输出第一提示，且第一提示用于提示调整移动终端的拍摄位姿，以拍摄到未被检测到的关键部位，故能够在目标照片有多个关键部位且尚存在未被检测到关键部位的情况下，通过输出第一提示对用户进行提示，以尽可能地使用户在参观目标展品的过程中了解到目标展品所有的关键部位，有利于提升展品导览的交互体验。
[0015]其中，在输出第一提示之前，方法还包括：获取未被检测到的关键部位在目标展品上的第一位置，并获取移动终端的当前位姿；基于第一位置和当前位姿进行分析，得到移动终端需要调整的拍摄位姿。
[0016]因此，在输出第一提示之前，先获取未被检测到的关键部位在目标展品上的第一位置，并获取移动终端的当前位姿，以及基于第一位置和当前位姿进行分析，得到移动终端需要调整的拍摄位姿，故在展品导览过程中，能够在存在未被检测到的关键部位的情况下，通过结合未被检测到的关键部位在目标展品上的第一位置和移动终端的当前位姿，确定出移动终端需要调整的拍摄位姿，故能够提升拍摄位姿的准确性。
[0017]其中，方法还包括：响应于用户调整移动终端至新的拍摄位姿且在移动终端新的拍摄画面中识别到目标展品，显示在新的拍摄位姿下的AR指示标识。
[0018]因此，响应于用户调整移动终端至新的拍摄位姿且在移动终端新的拍摄画面中识别到目标展品，显示在新的拍摄位姿下的AR指示标识，从而能够在用户调整拍摄位姿之后，能够支持AR指示标识跟随显示，进而能够有利于提升展品导览的交互体验。
[0019]其中，方法还包括：响应于展馆中存在与目标展品相关的关联展品，输出第二提示；其中，第二提示用于提示用户参观关联展品。
[0020]因此，响应于展馆中存在与目标展品相关的关联展品，输出第二提示，且第二提示用于提示用户参观关联展品，也就是说，展馆中存在与用户当前参观的目标展品相关的关联展品时，通过输出第二提示来提示用户参观关联展品，从而能够尽可能地满足用户对感兴趣展品的导览需求，进而能够提升展品导览的交互体验。
[0021]其中，在输出第二提示之后，方法还包括：响应于接收到用户关于参观关联展品的确认指令，获取关联展品在展馆中的第二位置，并获取移动终端的当前位姿；基于第二位置
和当前位姿，在移动终端的当前画面显示AR导航标识。
[0022]因此，在输出第二提示之后，响应于接收到用户关于参观关联展品的确认指令，获取关联展品在展馆中的第二位置，并获取移动终端的当前位姿，从而基于第二位置和当前位姿，在移动终端的当前画面显示AR导航标识，故在用户确定参观关联展品之后，能够结合关联展品在展馆中的第二位置和移动终端的当前位姿，通过在移动终端的当前画面显示AR导航标识对用户进行导航，有利于提升展品导览的交互体验。
[0023]本申请第二方面提供了一种展品导览装置，包括：检测模块、标识模块和交互模块，检测模块，用于响应于在移动终端的拍摄画面中识别到目标展品，对拍摄画面进行检测，得到拍摄画面中目标展品的关键部位的图像位置；其中，目标展品为预先设有讲解数据的展品，且讲解数据包括目标展品各个关键部位的讲解信息；标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种展品导览方法，其特征在于，包括：响应于在移动终端的拍摄画面中识别到目标展品，对所述拍摄画面进行检测，得到所述拍摄画面中所述目标展品的关键部位的图像位置；其中，所述目标展品为预先设有讲解数据的展品，且所述讲解数据包括所述目标展品各个所述关键部位的讲解信息；在所述图像位置处，显示AR指示标识；响应于用户触发所述AR指示标识，输出所述关键部位的讲解信息。2.根据权利要求1所述的方法，其特征在于，在所述响应于在移动终端的拍摄画面中识别到目标展品，对所述拍摄画面进行检测，得到所述拍摄画面中所述目标展品的关键部位的图像位置之前，还包括：将所述拍摄画面分别与各个展品模型进行匹配，得到匹配结果；其中，所述匹配结果包括：所述拍摄画面中当前展品分别与各个所述展品模型的匹配度；基于所述匹配结果进行分析，得到所述拍摄画面的识别结果；其中，所述识别结果包括：所述当前展品是否为所述目标展品。3.根据权利要求2所述的方法，其特征在于，所述基于所述匹配结果进行分析，得到所述拍摄画面的识别结果，包括：响应于最大所述匹配度高于预设阈值，将最大所述匹配度对应的展品模型所属展品作为所述目标展品，并确定所述识别结果包括所述当前展品为所述目标展品。4.根据权利要求2所述的方法，其特征在于，所述展品模型所属展品包含若干所述关键部位，所述展品模型在所述关键部位对应的模型位置上标记有所述关键部位的讲解信息。5.根据权利要求1至4任一项所述的方法，其特征在于，所述目标展品有多个所述关键部位，所述方法还包括：响应于存在未被检测到的关键部位，输出第一提示；其中，所述第一提示用于提示调整所述移动终端的拍摄位姿，以拍摄到所述未被检测到的关键部位。6.根据权利要求5所述的方法，其特征在于，在所述输出第一提示之前，所述方法还包括：获取所述未被检测到的关键部位在所述目标...

【专利技术属性】
技术研发人员：马骞女，揭志伟，孙红亮，王子彬，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：